RuntimeClass 需求來源
我們首先了解一下容器運行時的演進過程，整個過程大致分為三個階段：Kubernetes 正式開源，Docker 是當時唯一的、也是默認的容器運行時。rkt 合入 Kubernetes 主幹，成為了第二個容器運行時。與此同時，越來越多的容器運行時也想接入到 Kubernetes 中。如果還是按 rkt 和 Docker 一樣內置支持的話，會給 Kubernetes 的代碼維護和質量保障帶來嚴重挑戰。社區也意識到了這一點，所以在 1.5 版本時推出了 CRI，它的全稱是 Container Runtime Interface。這樣做的好處是：實現了運行時和 Kubernetes 的解耦，社區不必再為各種運行時做適配工作，也不用擔心運行時和 Kubernetes 迭代周期不一致所帶來的版本維護問題。比較典型的，比如 containerd 中的 cri-plugin 就實現了 CRI，kata-containers、gVisor 這樣的容器運行時只需要對接 containerd 就可以了。隨著越來越多的容器運行時的出現，不同的容器運行時也有不同的需求場景，於是就有了多容器運行時的需求。但是，如何來運行多容器運行時還需要解決以下幾個問題：如何讓 Pod 調度到裝有指定容器運行時的節點上？容器運行時在運行容器時會產生有一些業務運行以外的額外開銷，這種「額外開銷」需要怎麼統計？為了解決上述提到的問題，社區推出了 RuntimeClass。它其實在 Kubernetes v1.12 中就已被引入，不過最初是以 CRD 的形式引入的。v1.14 之後，它又作為一種內置集群資源對象 RuntimeClas 被引入進來。v1.16 又在 v1.14 的基礎上擴充了 Scheduling 和 Overhead 的能力。下面以 v1.16 版本為例，講解一下 RuntimeClass 的工作流程。如上圖所示，左側是它的工作流程圖，右側是一個 YAML 文件。YAML 文件包含兩個部分：上部分負責創建一個名字叫 runv 的 RuntimeClass 對象，下部分負責創建一個 Pod，該Pod 通過 spec.runtimeClassName 引用了 runv 這個 RuntimeClass。RuntimeClass 對象中比較核心的是 handler，它表示一個接收創建容器請求的程序，同時也對應一個容器運行時。比如說，比如示例中的 Pod 最終會被 runv 容器運行時創建容器；scheduling 決定 Pod 最終會被調度到哪些節點上。結合左圖來說明一下 RuntimeClass 的工作流程：K8s-master 接收到創建 Pod 的請求；方格部分表示三種類型的節點。每個節點上都有 Label 標識當前節點支持的容器運行時，節點內會有一個或多個 handel，每個 handle 對應一種容器運行時。比如第二個方格表示節點內有支持 runc 和 runv 兩種容器運行時的 handler；第三個方格表示節點內有支持 runhcs 容器運行時的 handler；根據 scheduling.nodeSelector, Pod 最終會調度到中間方格節點上，並最終由 runv handler 來創建 Pod。RuntimeClass 功能介紹
我們還是以 Kubernetes v1.16 版本中的 RuntimeClass 為例。首先介紹一下 RuntimeClass 的結構體定義。一個 RuntimeClass 對象代表了一個容器運行時，它的結構體中主要包含 Handler、Overhead、Scheduling 三個欄位。在之前的例子中我們也提到過 Handler，它表示一個接收創建容器請求的程序，同時也對應一個容器運行時；Overhead 是 v1.16 中才引入的一個新的欄位，它表示 Pod 中的業務運行所需資源以外的額外開銷；第三個欄位Scheduling 也是在 v1.16 中被引入的，該 Scheduling 配置會被自動注入到 Pod 的 nodeSelector 中。在 Pod 中引用 RuntimeClass 的用法非常簡單，只要在 runtimeClassName 欄位中配置好 RuntimeClass 的名字，就可以把這個 RuntimeClass 引入進來。顧名思義，Scheduling 表示調度，但這裡的調度不是說 RuntimeClass 對象本身的調度，而是會影響到引用了 RuntimeClass 的 Pod 的調度。Scheduling 中包含了兩個欄位，NodeSelector 和 Tolerations。這兩個和 Pod 本身所包含的 NodeSelector 和 Tolerations 是極為相似的。NodeSelector 代表的是支持該 RuntimeClass 的節點上應該有的 label 列表。一個 Pod 引用了該 RuntimeClass 後，RuntimeClass admission 會把該 label 列表與 Pod 中的 label 列表做一次合併。如果這兩個 label 中有衝突的，會被 admission 拒絕。這裡的衝突是指它們的 key 相同，但是 value 不相同，這種情況就會被 admission 拒絕。另外需要注意的是，RuntimeClass 並不會自動為 Node 設置 label，需要用戶在使用前提前設置好。Tolerations 表示 RuntimeClass 的容忍列表。一個 Pod 引用該 RuntimeClass 之後，admission 也會把 toleration 列表與 Pod 中的 toleration 列表做一個合併。如果這兩處的 Toleration 有相同的容忍配置，就會將其合併成一個。上圖左邊是一個 Docker Pod，右邊是一個 Kata Pod。我們知道，Docker Pod 除了傳統的 container 容器之外，還有一個 pause 容器，但我們在計算它的容器開銷的時候會忽略 pause 容器。對於 Kata Pod，除了 container 容器之外，kata-agent, pause, guest-kernel 這些開銷都是沒有被統計進來的。像這些開銷，多的時候甚至能超過 100MB，這些開銷我們是沒法忽略的。這就是我們引入 Pod Overhead 的初衷。它的結構體定義如下：它的定義非常簡單，只有一個欄位 PodFixed。它這裡面也是一個映射，它的 key 是一個 ResourceName，value 是一個 Quantity。每一個 Quantity 代表的是一個資源的使用量。因此 PodFixed 就代表了各種資源的佔用量，比如 CPU、內存的佔用量，都可以通過 PodFixed 進行設置。在沒有引入 Overhead 之前，只要一個節點的資源可用量大於等於 Pod 的 requests 時，這個 Pod 就可以被調度到這個節點上。引入 Overhead 之後，只有節點的資源可用量大於等於 Overhead 加上 requests 的值時才能被調度上來。它是一個 namespace 級別的資源配額。假設我們有這樣一個 namespace，它的內存使用量是 1G，我們有一個 requests 等於 500 的 Pod，那麼這個 namespace 之下，最多可以調度兩個這樣的 Pod。而如果我們為這兩個 Pod 增添了 200MB 的 Overhead 之後，這個 namespace 下就最多只可調度一個這樣的 Pod。引入 Overhead 之後，Overhead 就會被統計到節點的已使用資源中，從而增加已使用資源的佔比，最終會影響到 Kubelet Pod 的驅逐。以上是 Pod Overhead 的使用場景。除此之外，Pod Overhead 還有一些使用限制和注意事項：Pod Overhead 最終會永久注入到 Pod 內並且不可手動更改。即便是將 RuntimeClass 刪除或者更新，Pod Overhead 依然存在並且有效；Pod Overhead 只能由 RuntimeClass admission 自動注入（至少目前是這樣的），不可手動添加或更改。如果這麼做，會被拒絕；HPA 和 VPA 是基於容器級別指標數據做聚合，Pod Overhead 不會對它們造成影響。多容器運行時示例
目前阿里雲 ACK 安全沙箱容器已經支持了多容器運行時，我們以上圖所示環境為例來說明一下多容器運行時是怎麼工作的。如上圖所示有兩個 Pod，左側是一個 runc 的 Pod，對應的 RuntimeClass 是 runc，右側是一個 runv 的Pod，引用的 RuntimeClass 是 runv。對應的請求已用不同的顏色標識了出來，藍色的代表是 runc 的，紅色的代表是 runv 的。圖中下半部分，其中比較核心的部分是 containerd，在 containerd 中可以配置多個容器運行時，最終上面的請求也會到達這裡進行請求的轉發。我們先來看一下 runc 的請求，它先到達 kube-apiserver，然後 kube-apiserver 請求轉發給 kubelet，最終 kubelet 將請求發至 cri-plugin（它是一個實現了 CRI 的插件），cri-plugin 在 containerd 的配置文件中查詢 runc 對應的 Handler，最終查到是通過 Shim API runtime v1 請求 containerd-shim，然後由它創建對應的容器。這是 runc 的流程。runv 的流程與 runc 的流程類似。也是先將請求到達 kube-apiserver，然後再到達 kubelet，再把請求到達 cri-plugin，cri-plugin 最終還回去匹配 containerd 的配置文件，最終會找到通過 Shim API runtime v2 去創建 containerd-shim-kata-v2，然後由它創建一個 Kata Pod。下面我們再看一下 containerd 的具體配置。containerd 默認放在 file:///etc/containerd/config.toml 這個位置下。比較核心的配置是在 plugins.cri.containerd 目錄下。其中 runtimes 的配置都有相同的前綴 plugins.cri.containerd.runtimes，後面有 runc, runv 兩種 RuntimeClass。這裡面的 runc 和 runv 和前面 RuntimeClass 對象中 Handler 的名字是相對應的。除此之外，還有一個比較特殊的配置 plugins.cri.containerd.runtimes.default_runtime，它的意思是說，如果一個 Pod 沒有指定 RuntimeClass，但是被調度到當前節點的話，那麼就默認使用 runc 容器運行時。下面的例子是創建 runc 和 runv 這兩個 RuntimeClass 對象，我們可以通過 kubectl get runtimeclass 看到當前所有可用的容器運行時。下圖從左至右分別是一個 runc 和 runv 的 Pod，比較核心的地方就是在 runtimeClassName 欄位中分別引用了 runc 和 runv 的容器運行時。最終將 Pod 創建起來之後，我們可以通過 kubectl 命令來查看各個 Pod 容器的運行狀態以及 Pod 所使用的容器運行時。我們可以看到現在集群中有兩個 Pod：一個是 runc-pod，另一個是 runv-pod，分別引用的是 runc 和 runv 的 RuntimeClass，並且它們的狀態都是 Running。本文總結
本文的主要內容就到此為止了，這裡為大家簡單總結一下：RuntimeClass 是 Kubernetes 一種內置的集群資源，主要用來解決多個容器運行時混用的問題；RuntimeClass 中配置 Scheduling 可以讓 Pod 自動調度到運行了指定容器運行時的節點上。但前提是需要用戶提前為這些 Node 設置好 label；RuntimeClass 中配置 Overhead，可以把 Pod 中業務運行所需以外的開銷統計進來，讓調度、ResourceQuota、Kubelet Pod 驅逐等行為更準確。系列文章推薦閱讀
K8s 網絡模型進階 | K8s API 編程利器 | K8s API編程範式
存儲架構及插件 | GPU 管理和 Device Plugin 工作機制
K8s API 編程 | K8s 調度 | etcd 核心設計 | etcd 性能優化
Pod 與容器設計模式 | 應用編排與管理 | 應用配置管理
Linux 容器 | 有狀態應用編排 | 基本網絡模型 | 服務發現與負載均衡
應用健康 | 監控與日誌 | Job & DaemonSet | 存儲快照機制