Kubeflow 0.1 發布,基於 Kubernetes 的機器學習工具庫

2021-01-07 開源中國

Google 發布了 Kubeflow 開源工具 0.1 版本,該工具旨在將機器學習帶入 Kubernetes 容器的世界。該項目背後的想法是讓數據科學家充分利用在 Kubernetes 集群上運行機器學習任務的優勢。Kubeflow 可以讓機器學習團隊將現有任務輕鬆放到集群中運行,而無需作出太多改變。

隨著 0.1 版本的發布,該項目將開始推進,並將通過博客公布裡程碑,將穩定性提高到一個新的水平,同時還會增加大量社區一直呼籲的新功能。其中包括為 Jupyter Hub 提供用於機器學習任務的協作和交互式訓練以、Tensorflow 訓練及託管支持等。

Kubeflow 0.1 簡介

Kubeflow 0.1 提供了一套最精簡的軟體開發包,用於開發,訓練和部署 ML。只需幾個命令,就可以獲得:

Jupyter Hub:用於機器學習任務的協作和交互式訓練

TensorFlow 訓練控制器:支持原生的分布式訓練

TensorFlow 服務:用於服務託管

Argo:工作流

SeldonCore:用於複雜推斷及非 TF 模型

Ambassador:反向代理

Wiring:可以使 Kubeflow 在任意 Kubernetes 上運行

下面是入門示例:

# 為 kubeflow 開發環境創建 namespaceNAMESPACE=kubeflowkubectl create namespace ${NAMESPACE}VERSION=v0.1.3# #初始化 ksonnet 應用,設置 namespace 為其默認環境變量APP_NAME=my-kubeflowks init ${APP_NAME}cd ${APP_NAME}ks env set default --namespace ${NAMESPACE}# #安裝 Kubeflow 組件ks registry add kubeflow github.com/kubeflow/kubeflow/tree/${VERSION}/kubeflowks pkg install kubeflow/core@${VERSION}ks pkg install kubeflow/tf-serving@${VERSION}ks pkg install kubeflow/tf-job@${VERSION}# #為核心組件創建模板ks generate kubeflow-core kubeflow-core# #部署 Kubeflowks apply default -c kubeflow-core

至此,JupyterHub 已部署,我們現在可以使用 Jupyter 開始開發模型。一旦有了 Python 代碼來構建模型,我們就可以構建一個 Docker 鏡像並使用 TFJob 運算符通過運行如下命令來訓練模型:

ks generate tf-job my-tf-job --name=my-tf-job --image=gcr.io/my/image:latestks apply default -c my-tf-job# #下面部署模型ks generate tf-serving ${MODEL_COMPONENT} --name=${MODEL_NAME}ks param set ${MODEL_COMPONENT} modelPath ${MODEL_PATH}ks apply ${ENV} -c ${MODEL_COMPONENT}

只需要幾個命令,數據科學家和軟體工程師就可以創建更複雜的 ML 解決方案,並專注於他們最擅長的事情:解決核心業務問題。

來自:Docker微信公眾號  
原文:https://kubernetes.io/blog/2018/05/04/announcing-kubeflow-0.1/

相關焦點

  • Python簡化代碼機器學習庫PyCaret 2.0發布
    字幕組雙語原文:Python簡化代碼機器學習庫PyCaret 2.0發布英語原文:AnnouncingPyCaret 2.0翻譯:雷鋒字幕組(Shangru)我們激動的宣布,PyCaret第二版今天發布!
  • SkyForm ECP基於Kubernetes構建AIaaS平臺
    社區中也出現了很多tensorflow on kubernetes的方案,比如最早使用jinja模板的方案(https://github.com/tensorflow/ecosystem/tree/master/kubernetes),以及後來的kubeflow(https://github.com/google/kubeflow)和Tensorflow/k8s(https://github.com
  • 最新上線Kubeflow V1.2 功能特性全知道
    作為面向Kubernetes構建的開源機器學習工具包,Kubeflow如今正式迎來1.2版本。重要內容一 —— Katib 0.10Katib是基於Kubernetes的超參數調優與神經架構搜索系統,能夠支持TensorFlow、XGBoost以及Pytorch等多種機器學習框架。
  • 機器學習算法 Java 庫 Smile 1.5.0 發布,引入新特性
    機器學習算法 Java 庫 Smile 1.5.0 已發布。
  • 機器學習又現最新黑科技, 為什麼它受到了谷歌, 亞麻, 蘋果的強推?
    痛點三:大量人力花重複性勞動上  機器學習,絕不僅僅是「建模」而已。 在真實的生產環境中,整個機器學習的Pipeline,還包括了環境配置、數據管道搭建、數據整合、分析、視覺化,模型訓練,模型驗證發布,監控日誌等多個環節,涉及到不同的技術、服務和工具。
  • 25個Java機器學習工具&庫
    本列表總結了25個Java機器學習工具&庫:1. Weka集成了數據挖掘工作的機器學習算法。
  • Kubernetes 1.8.0 版本發布
    Kubernetes 1.8 是此類 Group 的成立後的首次較大範圍功能發布,期待後續更多的進展。下面看一下 Kubernetes 1.8 中都有哪些發布內容。發布主題Kubernetes 通過興趣小組(SIG)管理社區與開發,下面根據興趣小組來解讀 Kubernetes 1.8 的發布內容。SIG AppsSIG Apps 的工作集中在 Kubernetes API 上,提供多種管理不同類型應用的基本工具。
  • 基於 Python 語言的機器學習工具Sklearn
    本篇介紹了Sklearn機器學習基礎,從Sklearn的簡介,模塊以及與tensorflow的優劣勢對比來了解基於Python語言的機器學習工具
  • 機器學習庫 TensorFlow 1.9.0 發布,大量修復和改進
    機器學習庫 TensorFlow 1.9.0 已發布,更新內容如下:主要特點和改進
  • k8s 機器學習工具包 Kubeflow 發布 1.0 穩定版
    Qt 6.0 正式發布了。該版本是 Qt 6 系列的第一個版本,旨在滿足一些新的市場需求。
  • 最好的Python機器學習庫
    驅動機器學習的算法相當複雜,包括了很多的數學知識,所以自己動手去實現它們(並保證其正常運行)將會是一件很困難的任務。幸運地是,有很多聰明的、有奉獻精神的人為我們做了這個困難的工作,因此我們只需要專注於手邊的應用程式即可。這並不是一個詳盡無遺的清單。有很多代碼並未在此列出,在這裡我只會發布一些非常相關或知名的庫。下面,來看看這份清單吧。
  • Python機器學習系列3:一個通用、強大的Python機器學習函數庫
    如果你對Python機器學習感興趣,正在尋找一個強大的Python機器學習庫,那麼本文將強烈推薦scikit-learn,它可以幫助你把機器學習輕鬆應用到生產環境中。本文將會介紹對scikit-learn庫進行基本介紹,並擴展介紹相關常用機器學習資源。
  • Python語言下的機器學習庫
    它同樣適用於機器學習也是意料之中的事。本文引用地址:http://www.eepw.com.cn/article/201710/369940.htm  當然,它也有些缺點;其中一個是工具和庫過於分散。如果你是擁有unix思維(unix-minded)的人,你會覺得每個工具只做一件事並且把它做好是非常方便的。但是你也需要知道不同庫和工具的優缺點,這樣在構建系統時才能做出合理的決策。
  • 8大Python機器學習庫
    呆鳥說:「工欲善其事,必先利其器,想玩轉 Python 數據科學,先要了解 Python 數據科學都有哪些好庫。」在正式開始本文之前,先推薦一下崔大(崔慶才)十一剛剛發布的深度學習框架 ModelZoo!
  • 基於 Kubernetes 的 GPU 類型調度實現
    作者: angao來源: 才雲 Caicloud(ID:Caicloud2015)現如今,隨著企業紛紛在機器學習和深度學習上加大投入,他們開始發現從頭構建一個 AI 系統並非易事。以深度學習為例。對於深度學習來說,算力是一切的根本。
  • 數據科學為啥青睞Kubernetes?一場有趣的數據科學K8s之旅
    ```這些發行說明在發行版創建過程中由專門的發行版工程工具(如krel)解析,並將成為各種變更日誌的一部分,.md文件和發行說明網站。這看起來很神奇,但最終,整個發布說明的質量要高得多,因為它們易於編輯,PR review人員可以確保我們只記錄真實的面向用戶的更改,而沒有其他內容。 在進行數據科學研究時,輸入數據的質量是一個關鍵。
  • 常用python機器學習庫總結
    眾所周知現在人工智慧非常的火熱,機器學習也算是人工智慧中的一個領域,在其中有一塊是對文本進行分析,對數據進行深入的挖掘提取一些特徵值,然後用一些算法去學習,訓練,分析,甚至還能預測,我們就來看看python有哪些機器學習庫吧!1.
  • 機器學習 | 四大常用機器學習Python庫介紹
    點擊下方公眾號,回復資料,收穫驚喜今天這篇我們介紹下Python中常用的機器學習庫(機器(機器學習、深度學習啥的,小編還是建議使用Python進行建模編寫哈),也算是本公號機器學習的第一篇推文,主要內容如下:深度學習常用四大Python庫這一部分我們簡單介紹下Python中的常用的機器學習庫,算是比較入門的介紹哈,具體包括Scikit-learn、Keras、TensorFlow和PyTorch,下面我們就一一簡單介紹:
  • 6大最常用的Java機器學習庫一覽
    出版Weka 是 Waikato Environment for Knowledge Analysis(Waikato 智能分析環境)的縮寫,是紐西蘭 Waikato 大學開發的機器學習庫,也可能是最為有名的 Java 庫。Weka 是一個通用的庫,能夠解決各種機器學習任務,如分類、回歸和聚類。它具有豐富的圖形用戶界面、命令行界面和 Java API。
  • C++機器學習庫介紹
    在本文中,我將重點介紹兩個這樣的C++庫,我們也將看到它們都可以運行。目錄為什麼我們要使用機器學習庫?C++中的機器學習庫SHARK 圖書館MLPACK庫為什麼我們要使用機器學習庫?這是很多新來者都會遇到的問題。庫在機器學習中的重要性是什麼?