NFS即網絡文件系統Network File System,它是一種分布式文件系統協議,最初是由Sun MicroSystems公司開發的類Unix作業系統之上的一款經典網絡存儲方案,其功能是在允許客戶端主機可以像訪問本地存儲一樣通過網絡訪問服務端文件。
Kubernetes的NFS存儲用於將某事先存在的NFS伺服器導出export的存儲空間掛載到Pod中來供Pod容器使用。與emptyDir不同的是,NFS存儲在Pod對象終止後僅是被卸載而非刪除。另外,NFS是文件系統及共享服務,它支持同時存在多路掛載請求。定義NFS存儲時,常用到以下欄位。
•server:NFS伺服器的IP位址或者主機名,必選欄位。•path:NFS伺服器導出(共享)的文件系統路徑,必選欄位。•readOnly:是否以只讀掛載,默認為false。
1.部署一個NFS服務 在集群之外的節點192.168.31.241
#ubuntu部署sudo apt install nfs-kernel-server
#centos部署yum -y install rpcbind nfs-utils#創建要共享的目錄mkdir /data/redis -p
#編輯NFS配置並加入以下內容vim /etc/exports/data/redis 192.168.31.0/24(rw,sync,no_all_squash,no_subtree_check)
#載入配置exportfs -rv•/data/redis:NFS服務要共享的目錄•192.168.31.0/24:允許訪問NFS伺服器的網段,也可以寫 * ,表示所有地址都可以訪問NFS服務•rw:訪問到此目錄的伺服器都具備讀寫權限•sync:數據同步寫入內存和硬碟•no_all_squash:所有用戶對根目錄具備完全管理訪問權限•no_subtree_check:不檢查父目錄的權限
啟動NFS服務
#ubuntu啟動systemctl start nfs-kernel-server
#centos啟動systemctl start rpcbind nfs服務檢查
#查看NFS配置是否生效cat /var/lib/nfs/etab/data/redis 192.168.31.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,root_squash,no_all_squash)
#通過showmount命令查看NFS共享情況showmount -e 192.168.31.241Export list for 192.168.31.241:/data/redis 192.168.31.0/242.創建Pod資源配置清單 Pod中使用Redis鏡像來運行容器,將Redis數據持久化至NFS伺服器上,下面是簡單實用Redis的一個示例:
cat redis-nfs.yamlapiVersion: v1kind: Podmetadata: name: vol-nfs-pod labels: app: redisspec: containers: - name: redis image: redis:5.0 #鏡像版本 ports: - containerPort: 6379 #容器埠 name: redisport volumeMounts: - mountPath: /data #卷掛載到容器中的目錄 name: redisdata #卷名稱 volumes: - name: redisdata #卷名稱 nfs: #使用NFS網絡存儲卷 server: 192.168.31.241 #NFS伺服器地址 path: /data/redis #NFS伺服器共享的目錄 readOnly: false #是否為只讀上面的示例定義在資源配置文件vol-nfs.yaml中,其中的Pod資源擁有一個關聯至NFS伺服器192.168.31.241的存儲卷,Redis容器將其掛載到容器中的/data目錄上,它是運行於容器中的redis-server數據的持久保持位置。
提示:這裡應確保事先要存在一個名為192.168.31.241的NFS伺服器,其輸出了/data/redis目錄,並授權給Kubernetes集群中的節點訪問。主機和目錄都可以按需進行調整。
3.創建Pod對象並查看配置信息
kubectl apply -f redis-nfs.yaml如下vol-nfs-pod被調度到了k8s-node03上
kubectl get pods -o wide -l app=redisNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESvol-nfs-pod 1/1 Running 0 106s 172.20.3.31 k8s-node03 <none> <none>kubectl describe pods/vol-nfs-podName: vol-nfs-podNamespace: defaultPriority: 0Node: k8s-node03/192.168.31.233Start Time: Tue, 23 Jun 2020 13:47:29 +0800Labels: app=redisAnnotations: Status: RunningIP: 172.20.3.31IPs: IP: 172.20.3.31Containers: redis: Container ID: docker://dfa1a8202b39460db9e1d9849d6a4d416ab50a33e48fae556d1248a8efb3193b Image: redis:5.0 Image ID: docker-pullable://redis@sha256:faea2a6e7fbd7e144cdb15e12ff16c24a5b8d9469e25796ec6d3b7a82a817e1b Port: 6379/TCP Host Port: 0/TCP State: Running Started: Tue, 23 Jun 2020 13:47:30 +0800 Ready: True Restart Count: 0 Environment: <none> Mounts: /data from redisdata (rw) #掛載到容器中的路徑 /var/run/secrets/kubernetes.io/serviceaccount from default-token-xxqkj (ro)Conditions: Type Status Initialized True Ready True ContainersReady True PodScheduled TrueVolumes: redisdata: Type: NFS (an NFS mount that lasts the lifetime of a pod) #NFS類型掛載 Server: 192.168.31.241 #Server是192.168.31.241 Path: /data/redis #Server的路徑 ReadOnly: false #不是只讀 default-token-xxqkj: Type: Secret (a volume populated by a Secret) SecretName: default-token-xxqkj Optional: falseQoS Class: BestEffortNode-Selectors: <none>Tolerations: node.kubernetes.io/not-ready:NoExecute for 300s node.kubernetes.io/unreachable:NoExecute for 300sEvents: Type Reason Age From Message ---- - ---- ---- -- Normal Scheduled 2m29s default-scheduler Successfully assigned default/vol-nfs-pod to k8s-node03 Normal Pulled 2m28s kubelet, k8s-node03 Container image "redis:5.0" already present on machine Normal Created 2m28s kubelet, k8s-node03 Created container redis Normal Started 2m28s kubelet, k8s-node03 Started container redis4.查看容器掛載情況
kubectl exec -it vol-nfs-pod -- df -hT | grep dataFilesystem Type Size Used Avail Use% Mounted on192.168.31.241:/data/redis nfs4 59G 9.4G 47G 17% /data
#查看/data目錄下的數據kubectl exec -it vol-nfs-pod -- ls /datadump.rdb5.資源創建完成後,可通過其命令客戶端redis-cli創建測試數據,並手動觸發其同步於存儲系統中
kubectl exec -it vol-nfs-pod -- redis-cli127.0.0.1:6379> set mykey 'hello world'OK127.0.0.1:6379> get mykey"hello world"127.0.0.1:6379> BGSAVEBackground saving started127.0.0.1:6379> exit6.測試數據持久化 為了測試數據持久化效果,下面刪除Pod資源vol-nfs-pod,然後再對該Pod重建查看數據是否能夠正常訪問
#刪除Podkubectl delete pods vol-nfs-pod
#重建Podkubectl apply -f redis-nfs.yaml
#連接到Redis容器並查看數據持久化效果kubectl exec -it vol-nfs-pod -- redis-cli127.0.0.1:6379> keys *1) "mykey"127.0.0.1:6379> get mykey"hello world"如上所示可以看到,此前創建的mykey及其數據在Pod資源重建後依然存在。