ML Kit 中全新推出的翻譯、物體檢測與跟蹤以及 AutoML 功能
去年,我們發布了 ML Kit,以一種強大但易於使用的軟體包形式,將 Google 的機器學習專業知識帶給廣大移動開發者。ML Kit 附帶一套即用型 API(同時支持設備端和雲平臺),可支持自定義模型,因此無論您對機器學習 (ML) 了解多少,均可在自己的應用中使用機器學習的強大功能。在過去幾個月中,我們已通過添加用於自然語言處理的解決方案(如 Language Identification API 和 Smart Reply API
https://firebase.googleblog.com/2019/04/ml-kit-expands-into-nlp.html),針對 ML Kit 進行了擴展。現在,我們即將發布三項全新的測試版功能:設備端 Translation API、Object Detection & Tracking API,以及 AutoML Vision Edge。
設備端 Translation API 讓您能夠使用支持 Google 翻譯的相同離線模型,將應用中的文本以動態方式快速翻譯成 58 種語言。Object Detection & Tracking API 使您的應用能夠實時定位並跟蹤相機實時畫面中最突出的對象。藉助 AutoML Vision Edge,您可以根據自身需要,輕鬆創建自定義圖像分類模型。例如,您可能希望自己的應用能夠識別不同類型的食物,或區分動物種類。不管有何需求,您只需將訓練數據上傳至 Firebase 控制臺,便可使用 Google 的 AutoML 技術構建自定義 TensorFlow Lite 模型,從而在用戶設備上實現本地運行。如果您發現很難收集訓練數據集,則可使用 我們的開放原始碼應用 來簡化此過程,並提高協作性(https://github.com/firebase/mlkit-custom-image-classifier)。
註:設備端 Translation API 連結
https://firebase.google.com/docs/ml-kit/translation
Object Detection & Tracking API 連結
https://firebase.google.com/docs/ml-kit/object-detection
AutoML Vision Edge 連結
https://firebase.google.com/docs/ml-kit/automl-image-labeling
宜家家居、Fishbrain 和 Lose It! 等客戶已在使用 ML Kit 的多項功能來增強應用體驗。讓我們聽聽他們的評價:
「我們正與 Google Cloud 合力打造全新的移動體驗,旨在讓客戶無論身處何地都能拍攝家居用品照片,並在我們的在線目錄中快速找到特定產品或相似商品。Cloud Vision Product Search API 為宜家家居提供了一種便捷的目錄索引方法,而 ML Kit 的 Object Detection & Tracking API 能讓我們在應用的實時取景器上無縫實現此功能。Google Cloud 協助我們充分利用 Vision Product Search,我們也很激動能夠探索其會如何幫助我們為客戶打造更加出色而又方便的體驗。」
— Ingka Group(宜家家居加盟系統戰略合作夥伴,負責宜家家居 30 個市場的經營活動)首席技術官 Susan Standiford
「我們的用戶熱衷於釣魚,因此採集和獲取捕魚圖像與魚種信息便是其核心體驗內容。藉助 AutoML Vision Edge,我們將通過魚種信息記錄的漁獲量提高了 30%,魚種識別模型的精度亦從 78% 提升至 88%。」
— Fishbrain Android 工程經理 Dimitris Lachanas
藉助 AutoML Vision Edge,我們可以從頭開始創建具有高度預測能力的設備端模型。通過為我們先進的食物識別算法 Snap It 實現這一改進,我們已將圖像中可供客戶分類的食物種類增加 21%,同時將錯誤率減少 36%,這對客戶而言影響深遠。」
— Lose It! 數據科學和 AI 團隊總監 Will Lowe 博士