Kubernetes 集群中 Docker 如何使用 GPU 早就被說爛了，那麼以 Containerd 作為容器運行時的集群是如何使用 GPU的，有人知道嗎？
頭圖 | CSDN 下載自東方 IC
作者 |米開朗基楊 責編 | 張文
出品 | CSDN（ID：CSDNnews）
前兩天鬧得沸沸揚揚的事件不知道大家有沒有聽說，Google 竟然將 Docker 踢出了 Kubernetes 的群聊，不帶它玩了。
我這裡簡單描述下，Kubernetes 是通過 CRI 來對接容器運行時的，而 Docker 本身是沒有實現 CRI 的，所以 Kubernetes 內置了一個 「為 Docker 提供 CRI 支持」 的 dockershim 組件。現在 Kubernetes 宣布不再維護這個組件了。
大概的意思就是：Docker 雖然好用，但那是對人來說的，Kubernetes 又不是人，不需要那些花裡胡哨的東西！
Kubernetes 這是話裡有話，說白了就是：我以前為了兼容你，我集成在我自己這裡，現在我就想自己單純一點，要麼你自己寫 CRI 的接口，要麼就再見。
眾 YAML 工程師直呼 Containerd 真香！
下面進入今天的主題，Kubernetes 具有對機器的資源進行分配和使用的能力，比如可以指定容器最多使用多少內存以及使用多少 CPU 計算資源。
那麼問題來了，一般來說容器就是使用 CPU 和內存資源，那麼對於需要使用顯卡的 Pod，Kubernetes 也能夠支持嗎？答案當然是可以啦！目前 Kubernetes 不僅支持容器請求 GPU 資源，還支持請求幾塊顯卡的 GPU 資源，這使得 Kubernetes 在深度學習和區塊鏈等場景下也有了用武之地。
關於 Kubernetes 集群中 Docker 如何使用 GPU，Kubernetes 的官方文檔已經說的很清楚了，網上也有鋪天蓋地的博客手把手教你怎麼做。至於以 Containerd 作為容器運行時的集群如何使用 GPU，網上還找不到一篇像樣的文檔來告訴大家怎麼做，今天我就來做吃螃蟹的第一人。
要想在容器裡使用 GPU，本質上就是我們要在容器裡能看到並且使用宿主機上的顯卡，所有的步驟都是圍繞這個來做的。當然，本文不會涉及如何安裝 Containerd，也不會涉及如何安裝 Kubernetes，如果這些都搞不定，建議不要往下看。
Nvidia 驅動
某些命令以 Ubuntu 作為示例。首先宿主機上必先安裝Nvidia 驅動。這裡推薦從 Nvidia 官網下載腳本安裝，安裝和卸載都比較方便並且適用於任何 Linux 發行版，包括 CentOS，Ubuntu 等。NVIDIA Telsa GPU 的 Linux 驅動在安裝過程中需要編譯 kernel module，系統需提前安裝 gcc 和編譯 Linux Kernel Module 所依賴的包，例如 kernel-devel-$(uname -r) 等。
安裝 gcc 和 kernel-dev(如果沒有) sudo apt install gcc kernel-dev -y。
訪問官網下載。
選擇作業系統和安裝包，並單擊【SEARCH】搜尋驅動，選擇要下載的驅動版本
下載對應版本安裝腳本，在宿主機上執行：
安裝，執行腳本安裝：
驗證，使用如下命令驗證是否安裝成功 nvidia-smi ，如果輸出類似下圖則驅動安裝成功。
CUDA 驅動
CUDA（Compute Unified Device Architecture）是顯卡廠商 NVIDIA 推出的運算平臺。CUDA 是一種由 NVIDIA 推出的通用並行計算架構，該架構使 GPU 能夠解決複雜的計算問題。它包含了 CUDA 指令集架構（ISA）以及 GPU 內部的並行計算引擎。這裡安裝的方式和顯卡驅動安裝類似。
訪問官網下載
下載對應版本如下：
3. 配置環境變量
nvidia-container-runtime
nvidia-container-runtime 是在 runc 基礎上多實現了 nvidia-container-runime-hook(現在叫 nvidia-container-toolkit)，該 hook 是在容器啟動後（Namespace 已創建完成），容器自定義命令(Entrypoint)啟動前執行。
當檢測到 NVIDIA_VISIBLE_DEVICES 環境變量時，會調用 libnvidia-container 掛載 GPU Device 和 CUDA Driver。如果沒有檢測到 NVIDIA_VISIBLE_DEVICES 就會執行默認的runc。
下面分兩步安裝：
先設置 repository 和 GPG key：
安裝：
配置 Containerd 使用 Nvidia container runtime
如果 /etc/containerd 目錄不存在，就先創建它：
生成默認配置：
Kubernetes 使用設備插件（Device Plugins）[3] 來允許 Pod 訪問類似 GPU 這類特殊的硬體功能特性，但前提是默認的 OCI runtime 必須改成 nvidia-container-runtime，需要修改的內容如下：
/etc/containerd/config.toml
重啟 containerd 服務：
部署 NVIDIA GPU 設備插件
一條命令解決戰鬥:
查看日誌：
可以看到設備插件部署成功了。在 Node 上面可以看到設備插件目錄下的socket：
測試 GPU
首先測試本地命令行工具 ctr，這個應該沒啥問題：且顯卡資源是獨佔，無法在多個容器之間分享。
最後進入終極測試：在 Pod 中測試 GPU 可用性。先創建部署清單：
gpu-pod.yaml
執行 kubectl apply -f ./gpu-pod.yaml 創建 Pod。使用 kubectl get pod 可以看到該 Pod 已經啟動成功：
查看 Pod 日誌：
可以看到成功運行。這也說明 Kubernetes 完成了對 GPU 資源的調用。需要注意的是，目前 Kubernetes 只支持卡級別的調度，並且顯卡資源是獨佔，無法在多個容器之間分享。
參考資料
[1]官網: https://www.nvidia.com/Download/Find.aspx
[2] 官網: https://developer.nvidia.com/cuda-toolkit-archive
[3] 設備插件（Device Plugins）: https://v1-18.docs.kubernetes.io/zh/docs/concepts/extend-kubernetes/compute-storage-net/device-plugins/
[4] 容器中使用 GPU 的基礎環境搭建: https://lxkaka.wang/docker-nvidia/