生產級harbor可用的搭建

2022-01-02 馬哥Linux運維
Harbor簡介

Harbor是一個用於存儲和分發Docker鏡像的企業級Registry伺服器，通過添加一些企業必需的功能特性，例如安全、標識和管理等，擴展了開源Docker Distribution。

作為一個企業級私有Registry伺服器，Harbor提供了更好的性能和安全。

提升用戶使用Registry構建和運行環境傳輸鏡像的效率。

Harbor支持安裝在多個Registry節點的鏡像資源複製，鏡像全部保存在私有Registry中， 確保數據和智慧財產權在公司內部網絡中管控。

另外，Harbor也提供了高級的安全特性，諸如用戶管理，訪問控制和活動審計等。

高可用架構：雙主複製主從同步

harbor官方默認提供主從複製的方案來解決鏡像同步問題，通過複製的方式，我們可以實時將測試環境harbor倉庫的鏡像同步到生產環境harbor，類似於如下流程：

img

在實際生產運維的中，往往需要把鏡像發布到幾十或上百臺集群節點上。這時，單個Registry已經無法滿足大量節點的下載需求，因此要配置多個Registry實例做負載均衡。手工維護多個Registry實例上的鏡像，將是十分繁瑣的事情。Harbor可以支持一主多從的鏡像發布模式，可以解決大規模鏡像發布的難題：

只要往一臺Harbor上發布，鏡像就會像"仙女散花"般地同步到多個Registry中，高效可靠。

如果是地域分布較廣的集群，還可以採用層次型發布方式，比如從集團總部機房同步到分公司1機房，再從分公司1機房同步到分公司2機房：

然而單靠主從同步，仍然解決不了harbor主節點的單點問題。

雙主複製說明

所謂的雙主複製其實就是復用主從同步實現兩個harbor節點之間的雙向同步，來保證數據的一致性，然後在兩臺harbor前端頂一個負載均衡器將進來的請求分流到不同的實例中去，只要有一個實例中有了新的鏡像，就是自動的同步複製到另外的的實例中去，這樣實現了負載均衡，也避免了單點故障，在一定程度上實現了Harbor的高可用性：

這個方案有一個問題就是有可能兩個Harbor實例中的數據不一致。假設如果一個實例A掛掉了，這個時候有新的鏡像進來，那麼新的鏡像就會在另外一個實例B中，後面即使恢復了掛掉的A實例，Harbor實例B也不會自動去同步鏡像，這樣只能手動的先關掉Harbor實例B的複製策略，然後再開啟複製策略，才能讓實例B數據同步，讓兩個實例的數據一致。

另外，這裡還需要多吐槽一句：在實際生產使用中，主從複製十分的不靠譜！！所以這裡推薦使用下面要說的這種方案。

高可用架構：多實例共享後端存儲方案說明

共享後端存儲算是一種比較標準的方案，就是多個Harbor實例共享同一個後端存儲，任何一個實例持久化到存儲的鏡像，都可被其他實例中讀取。通過前置LB進來的請求，可以分流到不同的實例中去處理，這樣就實現了負載均衡，也避免了單點故障。

本次搭建以NFS作為共享存儲存放Harbor相關data，並分離PostgreSQL與Redis為多個Harbor共同連接使用，使用Nginx做負載均衡。

img

如果最終生產環境集群中伺服器較多，依賴做完LB的Harbor也無法完全達到需求時，可以使用如下架構，部署下級Harbor節點從主節點同步鏡像，然後再分發給生產伺服器。

這個方案在實際生產環境中部署需要考慮三個問題：

1. 共享存儲的選取，Harbor的後端存儲目前支持AWS S3、Openstack Swift, Ceph等，在下面的實驗環境裡，暫且直接使用nfs。

2. Session在不同的實例上共享，這個現在其實已經不是問題了，在最新的harbor中，默認session會存放在redis中，只需要將redis獨立出來即可。可以通過redis sentinel或者redis cluster等方式來保證redis的可用性。在下面的實驗環境裡，暫且使用單臺redis。

3. Harbor多實例資料庫問題，這個也只需要將harbor中的資料庫拆出來獨立部署即可。讓多實例共用一個外部資料庫，資料庫的高可用也可以通過資料庫的高可用方案保證。

環境說明軟體版本Docker19.03.8docker-compose1.25.5Harbor1.10.2Nginx1.14.0PostgreSQL9.6.17Redis3.2.12

這裡主要做Harbor高可用演示，真實生產環境請按需分離NFS與DB單獨部署。

IP主機名192.168.16.141Nginx192.168.166.122NFS192.168.166.203postgresql192.168.166.245Redis192.168.166.81Harbor-01192.168.166.212Harbor-02多實例共享後端存儲部署Docker

1）安裝依賴包：

yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2
2）官方一鍵腳本安裝
curl -fsSL get.docker.com -o get-docker.sh
sh get-docker.sh --mirror Aliyun
3）添加內核參數
tee -a /etc/sysctl.conf <<-EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
將net.ipv4.ip_forward賦值為1
然後刷新內核參數
sysctl -p
4）修改Docker倉庫為國內鏡像站
curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s https://pclhthp0.mirror.aliyuncs.com
5）啟動Docker
systemctl enable docker && systemctl start docker
Compose
compose是Docker提供的一個命令行工具，用來定義和運行由多個容器組成的應用。使用compose，我們可以通過YAML文件聲明式的定義應用程式的各個服務，並由單個命令完成應用的創建和啟動。
由於國內政策原因，可能在海外網站上下載文件速度較慢，建議下載本地後上傳至伺服器
1）下載docker-compose並賦予可執行權限
# curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
# chmod +x /usr/local/bin/docker-compose
cd /usr/local/bin
scp 192.168.166.96:/usr/local/bin/docker-compose .
注意：由於我其他伺服器已經存在，所以我直接拷貝了
2）安裝bash補全命令
# curl -L https://raw.githubusercontent.com/docker/compose/1.24.1/contrib/completion/bash/docker-compose > /etc/bash_completion.d/docker-compose
scp 192.168.166.96:/etc/bash_completion.d/docker-compose /etc/bash_completion.d/
重新連接終端即生效
注意：由於我其他伺服器已經存在，所以我直接拷貝了
NFS服務端
1）安裝必需的RPM包
yum -y install nfs-utils rpcbind   
2）創建NFS共享目錄
mkdir -p /data/harbor_data
chown nobody:nobody /data/harbor_data/ 
3）修改NFS服務配置文件
echo "/data/harbor_data 192.168.166.0/24(rw,sync,no_root_squash)"  >> /etc/exports
4）啟動NFS伺服器
systemctl enable rpcbind && systemctl restart rpcbind
systemctl enable nfs && systemctl restart nfs
客戶端
1）安裝nfs-utils
yum -y install nfs-utils
2）在NFS客戶端上查看NFS的連通性
# showmount -e 192.168.166.122
Export list for 192.168.166.122:
/data/harbor_data 192.168.166.0/24
3）掛載NFS共享存儲
創建掛載目錄
mkdir /data
修改/etc/fstab配置文件加入以下內容
192.168.166.122:/data/harbor_data  /data  nfs defaults 0 0
mount掛載
mount -a
PostgreSQL
1）下載PostgreSQL官方YUM源配置文件包並安裝
wget https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
rpm -ivh pgdg-redhat-repo-latest.noarch.rpm 
2）安裝PostgreSQL
yum  -y install postgresql96-server postgresql96-contrib 
3）初始化資料庫
/usr/pgsql-9.6/bin/postgresql96-setup initdb  
4）啟動資料庫
systemctl enable postgresql-9.6 && systemctl restart postgresql-9.6
5）PostgreSQL資料庫配置
# su - postgres
-bash-4.2$ psql
psql (9.6.17)
Type "help" for help.
postgres=# ALTER USER postgres WITH PASSWORD 'postgres';
ALTER ROLE
vi /var/lib/pgsql/9.6/data/postgresql.conf

# listen_addresses = 'localhost' 改為 listen_addresses='*'
vim /var/lib/pgsql/9.6/data/pg_hba.conf
加入:
host    all  all  192.168.166.203/32 trust
host    all  all  192.168.166.81/32 trust
host    all  all  192.168.166.212/32 trust
6）重啟PostgreSQL服務
systemctl restart postgresql-9.6
7）驗證服務
psql -h 192.168.166.203 -p 5432 -U postgres
8）遷移資料庫
在postgresql所在伺服器，先啟動一套harbor環境
簡要步驟如下：
# yum install -y yum-utils   device-mapper-persistent-data   lvm2
# curl -fsSL get.docker.com -o get-docker.sh
# sh get-docker.sh --mirror Aliyun
#curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s https://pclhthp0.mirror.aliyuncs.com
# systemctl enable docker && systemctl start docker
# cd /usr/local/bin
# scp 192.168.166.96:/usr/local/bin/docker-compose .
# scp 192.168.166.96:/etc/bash_completion.d/docker-compose /etc/bash_completion.d/
# cd ~
# scp 192.168.166.96:/root/harbor-offline-installer-v1.10.2.tgz .
# tar -xvf harbor-offline-installer-v1.10.2.tgz -C /usr/local/
# cd /usr/local/harbor/
# vim harbor.yml ###修改hostname: 192.168.166.203  ####注釋掉https段即可
# ./prepare 
# ./install.sh 
# docker-compose up -d
# docker container exec -it harbor-db /bin/bash
pg_dump -U postgres registry > /tmp/registry.sql 
pg_dump -U postgres notarysigner > /tmp/notarysigner.sql  
pg_dump -U postgres notaryserver > /tmp/notaryserver.sql
docker container cp harbor-db:/tmp/registry.sql /tmp
docker container cp harbor-db:/tmp/notarysigner.sql /tmp
docker container cp harbor-db:/tmp/notaryserver.sql /tmp
# psql -h 192.168.166.203 -U postgres
postgres=# create database registry;
CREATE DATABASE
postgres=# create database notarysigner;
CREATE DATABASE
postgres=# create database notaryserver;
CREATE DATABASE
psql -h 192.168.166.203 -U postgres registry < /tmp/registry.sql
psql -h 192.168.166.203 -U postgres notarysigner  < /tmp/notarysigner.sql
psql -h 192.168.166.203 -U postgres notaryserver < /tmp/notaryserver.sql
Redis
1）安裝redis
yum -y install redis
2） 修改配置參數
sed -i 's/bind 127.0.0.1/bind 0.0.0.0/g' /etc/redis.conf   
sed -i 's/daemonize no/daemonize yes/g' /etc/redis.conf   
3）啟動並測試redis連接
systemctl enable redis && systemctl restart redis
redis-cli 
Harbor
下載Harbor離線安裝包，離線安裝包文件較大（約為：590M），建議在本地使用多線程工具下載後上傳伺服器使用。
1）下載
cd ~
scp 192.168.166.96:/root/harbor-offline-installer-v1.10.2.tgz .
2）解壓
tar -xvf harbor-offline-installer-v1.10.2.tgz -C /usr/local/
3）修改配置文件
# cd /usr/local/harbor/
# vim harbor.yml 
修改的內容有
數據存儲位置，改為nfs掛載目錄，因為我們本來就掛載到了/data目錄下，所以不用動打開external_database和external_redis塊的注釋，並改為剛剛部署的地址
修改完的樣例文件，如下
hostname: 192.168.166.81
http:
  port: 80
harbor_admin_password: Harbor12345
data_volume: /data
jobservice:
  max_job_workers: 10
notification:
  webhook_job_max_retry: 10
chart:
  absolute_url: disabled
log:
  level: info
  local:
    rotate_count: 50
    rotate_size: 200M
    location: /var/log/harbor
_version: 1.10.0
external_database:
  harbor:
    host: 192.168.166.203
    port: 5432
    db_name: registry
    username: postgres
    password: postgres
    ssl_mode: disable
    max_idle_conns: 2
    max_open_conns: 0
  clair:
    host: 192.168.166.203
    port: 5432
    db_name: clair
    username: postgres
    password: postgres
    ssl_mode: disable
  notary_signer:
    host: 192.168.166.203
    port: 5432
    db_name: notarysigner
    username: postgres
    password: postgres
    ssl_mode: disable
  notary_server:
    host: 192.168.166.203
    port: 5432
    db_name: notaryserver
    username: postgres
    password: postgres
    ssl_mode: disable
external_redis:
  host: 192.168.166.245
  port: 6379
  password:
  registry_db_index: 1
  jobservice_db_index: 2
  chartmuseum_db_index: 3
  clair_db_index: 4
proxy:
  http_proxy:
  https_proxy:
  no_proxy:
  components:
    - core
    - jobservice
    - clair
4）生成harbor運行的必要文件（環境）以及docker-compose.yml文件；執行後會通過網絡獲取Docker Image，建議提前修改好國內鏡像站加速。
./prepare 
5）安裝Harbor
./install.sh 
Nginx
1）安裝nginx
安裝可以參考https://wiki.clay-wangzhi.com/7-nginx/1.-chu-shi-nginx#4-bian-yi-an-zhuang-nginx
這裡我就不再詳細講了
2）編寫配置文件
# cat harbor.schengle.com.conf 
upstream harbor {
    ip_hash;
    server 192.168.166.81:80;
    server 192.168.166.212:80;
}
server {
    listen       80;
    server_name  harbor.***.com;
    rewrite ^(.*) https://$server_name$1 permanent;
}
server {
    listen  443 ssl;
    server_name harbor.schengle.com;
    
    ssl_certificate ***.crt;
    ssl_certificate_key ***.key;
    client_max_body_size 0;
    chunked_transfer_encoding on;

    location / {
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        #proxy_set_header Host $host;
        proxy_set_header X-Forwarded-Proto https;
        proxy_redirect off;
        proxy_ssl_verify off;
        proxy_ssl_session_reuse on;
        proxy_pass http://harbor;
		proxy_redirect default;
        proxy_http_version 1.1;
}
    location /v2/ {
        proxy_pass http://harbor/v2/;
		proxy_redirect default;
        #proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_ssl_verify off;
        proxy_ssl_session_reuse on;
        proxy_buffering off;
        proxy_request_buffering off;
    }
}
3）平滑重啟nginx
nginx -s reload
參考文章
https://www.cnblogs.com/kevingrace/p/11422710.html
https://juejin.im/post/5d973e246fb9a04dfa0963fb#heading-18
http://dwz-9.cn/_L4me

相關焦點

  • 如何在騰訊雲TKE上搭建Harbor倉庫
    具體搭建步驟前提條件Kubernetes集群 1.10+（本次教程用的集群為1.16.3）helm 2.8.0+ （本次教程用的helm為2.10.0）Ingress（nginx-ingress  chart:1.20.0）storageclass （配置存儲）集群通過TKE創建一個
  • Docker和Harbor的使用
    二、環境搭建Docker本身是基於Linux的，即使是Windows上的docker，官方提供的直接安裝包也是去裝了個Linux虛擬機，再在虛擬機中運行docker。若想繼續進行，請準備好linux環境，後續步驟以centos7環境為例。
  • 基於 Harbor 搭建 Docker 私有鏡像倉庫
    網上找到一個 Harbor 的架構圖：Harbor 是 VMware 公司開源的企業級 DockerRegistry 項目，項目地址為 https://github.com/vmware/harbor。其目標是幫助用戶迅速搭建一個企業級的 Docker registry 服務。
  • Harbor 快速安裝指南
    :      storageClass: "harbor-data"其中需要我們定製的部分很少，我們將域名替換成我們自己的，使用默認的 Ingress 方式暴露服務，其他需要我們手動配置的部分就是數據持久化的部分，我們需要提前為上面的這些服務創建好可用的 PVC 或者 StorageClass 對象，比如我們這裡使用一個名為 harbor-data 的 StorageClass
  • 進階 | 使用 Docker Harbor 部署私有倉庫
    除了把鏡像上傳到 Docker Hub 私有庫和用 Registry 搭建私有鏡像倉庫外，我們還可以用 Docker Harbor 部署私有倉庫
  • Harbor版本升級
    啟動的harbor。停止harborcd /opt/harbordocker-compose down -v5.備份當前harbor安裝目錄cp /opt/harbor /data/backup/harbor## 或者 mv /opt/harbor /opt/harbor.bak6.
  • 企業級Docker鏡像倉庫Harbor部署與使用
    官方地址：https://vmware.github.ioGithub：https://github.com/goharbor/harbor組件功能harbor-adminserver配置管理中心harbor-dbMysql資料庫harbor-jobservice負責鏡像複製harbor-log記錄操作日誌harbor-uiWeb管理頁面和APInginx前端代理，負責前端頁面和鏡像上傳
  • K8S-Nacos高可用集群搭建
    K8S-Nacos高可用集群搭建背景隨著項目業務發展，微服務架構升級，傳統的配置文件方式和資料庫方式已經無法滿足對配置管理的需求.
  • Harbor部署-Docker Compose方式
    準備安裝包下載最新穩定版：https://github.com/goharbor/harbor/releases/download/v2.1.0/harbor-offline-installer-v2.1.0.tgz準備自籤名證書X.509證書包含三個文件：key，csr，crt：
  • Harbor最全配置及入門,只看這篇
    尤其適合於負載均衡，高可用，混合雲和多雲的場景。**圖形化用戶界面 ：** 用戶可以通過瀏覽器來瀏覽，檢索當前 Docker 鏡像倉庫，管理項目和命名空間。AD/LDAP 支持 ：  Harbor 可以集成企業內部已有的 AD/LDAP，用於鑑權認證管理。
  • 容器鏡像倉庫之選:企業級容器registry Harbor實踐(上)
    容器目前採用的是Docker, 平臺管理用了谷歌的kubernetes, 容器網絡目前是用的flannel，dns用的skydns, 平臺系統使用的是coreos。容器鏡像倉庫，容器雲的前兩個小版本，我們使用的是開源的Docker Registry，配合nginx搭建容器鏡像私庫，使用還比較穩定，但也發現了它的一些不足。
  • ​Kubernetes 集群倉庫 harbor Helm3 部署
    helm-v3.2.4-linux-amd64.tar.gz# 複製客戶端執行文件到 bin 目錄下，方便在系統下能執行 helm 命令cp linux-amd64/helm /usr/local/bin/❝注意：helm 客戶端需要下載到安裝了 kubectl 並且能執行能正常通過 kubectl 操作 kubernetes 的伺服器上，否則 helm 將不可用
  • Harbor企業級私有Docker鏡像倉庫部署
    .tgz-rw-r--r-- 1 root root 958 May 12 23:00 install_docker-ce.sh[root@docker01 harbor]# [root@docker01 harbor]# tar xf harbor-offline-installer-v1.10.1.tgz # 解壓包[root@docker01 harbor]# cd harbor
  • 玩容器必會,Harbor的配置與簡單使用
    下面是我使用的版本：[root@mx harbor]# docker-compose --versionDocker Compose version v2.0.1[root@mx harbor]# docker --versionDocker version 20.10.9, build c2ea9bc[root
  • Harbor2.0快速部署,不怕存儲大爆炸
    2.0離線包Harbor github 地址：https://github.com/goharbor/harbor/releases[root@192-168-0-110 ~]#wget https://github.com/goharbor/harbor/releases/download/v2.0.0/harbor-offline-installer-v2.0.0
  • Docker Registry 遷移至 Harbor(4種方法)
    harbor 自己來維護，而且元數據是在 PUSH 這些製品時寫入到 harbor 的資料庫中的。另一臺機器運行著 harbor，假設域名為 harbor.k8s.li。現在 docker registry 中存放了五千個鏡像。harbor 是剛剛部署的，裡面還沒有鏡像。在磁碟和網絡沒有限制的情況下，如何高效地將 docker registry 中的鏡像遷移到 harbor 中呢？
  • 企業級Docker Registry——Harbor實踐
    可以使用在線和離線兩種方式安裝，本文使用離線方式安裝，獲取harbor release.解壓包：```tar xvfharbor-offline-installer-v1.9.1.tgz```  進入harbor目錄並修改harbor.yml文件 hostname。
  • 企業級Docker倉庫-Harbor
    用於部署Harbor的Docker Compose模板位於 harbor/docker-compose.yml,打開這個模板文件，發現Harbor是由多個容器組成的：下載地址：https://github.com/goharbor/harbor/releases下載解壓完成後可得到如下安裝包：重命名harbor.yml.tmpl
  • Docker高級篇之Harbor鏡像私服-雲原生核心
    3.2 功能介紹組件功能harbor-adminserver配置管理中心harbor-dbMysql資料庫harbor-jobservice負責鏡像複製harbor-log記錄操作日誌harbor-uiWeb管理頁面和APInginx前端代理，負責前端頁面和鏡像上傳/下載轉發redis會話registry鏡像存儲4.3.3 Harbor安裝官網安裝教程：https://goharbor.io
  • 運維(8) Harbor部署和docker推送/拉取鏡像
    /harbor/releases/wget https://github.com/goharbor/harbor/releases/download/v2.3.2/harbor-offline-installer-v2.3.2.tgz# 解壓tar xvf harbor-offline-installer-v2.3.2.tgz# 進入harbor