谷歌開源TensorFlow Object Detection API物體識別系統

2020-12-04 機器之心Pro

選自Google Open Source作者:Jonathan Huang機器之心編譯參與:黃小天、李澤南

近日,谷歌在其開源博客上發表了一篇名為《Supercharge your Computer Vision models with the TensorFlow Object Detection API》的文章,通過 TensorFlow Object Detection API 將谷歌內部使用的物體識別系統(2016 年 10 月,該系統在 COCO 識別挑戰中名列第一)開源給更大的社區,幫助打造更好的計算機視覺模型。機器之心對該文進行了編譯,原文連結請見文末。

在谷歌,研究人員開發了最高水平的計算機視覺機器學習系統,不僅可以用於谷歌自身的產品和服務,還可以推廣至整個研究社區。創造能夠在同一張圖片裡定位和識別多種物體的機器學習模型一直是業內的核心挑戰之一,谷歌宣稱自己已投入大量時間訓練和實驗此類系統。

其中一個模型在示例圖片中(來自 COCO 數據集)對象識別的效果

2016 年 10 月,谷歌內部的物體識別系統達到了業內最佳水平,在 COCO 識別挑戰中名列第一。自那時起,該系統為大量文獻提供了結果,並被一些谷歌的產品所採用,如 NestCam,同樣的理念也被識別谷歌街景街道名稱和門牌號的 Image Search 採用。

今天,我們很高興通過 TensorFlow Object Detection API 把該系統開源給更大的研究社區。這個代碼庫是一個建立在 TensorFlow 頂部的開源框架,方便其構建、訓練和部署目標檢測模型。我們設計這一系統的目的是支持當前最佳的模型,同時允許快速探索和研究。我們的第一個版本包含:

一個可訓練性檢測模型的集合,包括:

帶有 MobileNets 的 SSD(Single Shot Multibox Detector)帶有 Inception V2 的 SSD帶有 Resnet 101 的 R-FCN(Region-Based Fully Convolutional Networks)帶有 Resnet 101 的 Faster RCNN帶有 Inception Resnet v2 的 Faster RCNN

上述每一個模型的凍結權重(在 COCO 數據集上訓練)可被用於開箱即用推理。一個 Jupyter notebook 可通過我們的模型之一執行開箱即用的推理藉助谷歌雲實現便捷的本地訓練腳本以及分布式訓練和評估管道

SSD 模型使用了輕量化的 MobileNet,這意味著它們可以輕而易舉地在行動裝置中實時使用。在贏得 2016 年 COCO 挑戰的研究中,谷歌使用了 Fast RCNN 模型,它需要更多計算資源,但結果更為準確。

如需了解更多細節,請參閱谷歌發表在 CVPR 2017 上的論文:https://arxiv.org/abs/1611.10012

準備好了嗎?

這些代碼在谷歌的計算機視覺應用中非常有用,谷歌希望本次開源能夠將這份便利帶給所有人。谷歌同時也歡迎更多貢獻者參與進來。現在,你可以下載代碼,使用 Jupyter notebook 嘗試在圖片中識別物體,也可以開始在 Cloud ML 引擎中訓練你自己的識別器了。

代碼:https://github.com/tensorflow/models/tree/master/object_detectionJupyter notebook:https://github.com/tensorflow/models/blob/master/object_detection/object_detection_tutorial.ipynbCloud ML:https://cloud.google.com/blog/big-data/2017/06/training-an-object-detector-using-cloud-machine-learning-engine

參考資料

1. Speed/accuracy trade-offs for modern convolutional object detectors (https://arxiv.org/abs/1611.10012), Huang et al., CVPR 2017 (paper describing this framework)

2. Towards Accurate Multi-person Pose Estimation in the Wild (https://arxiv.org/abs/1701.01779), Papandreou et al., CVPR 2017

3. YouTube-BoundingBoxes: A Large High-Precision Human-Annotated Data Set for Object Detection in Video (https://arxiv.org/abs/1702.00824), Real et al., CVPR 2017 (see also our blog post (https://research.googleblog.com/2017/02/advancing-research-on-video.html))*

4. Beyond Skip Connections: Top-Down Modulation for Object Detection (https://arxiv.org/abs/1612.06851), Shrivastava et al., arXiv preprint arXiv:1612.06851, 2016

5. Spatially Adaptive Computation Time for Residual Networks (https://arxiv.org/abs/1612.02297), Figurnov et al., CVPR 2017

6. AVA: A Video Dataset of Spatio-temporally Localized Atomic Visual Actions (https://arxiv.org/abs/1705.08421), Gu et al., arXiv preprint arXiv:1705.08421, 2017

7. MobileNets: Efficient convolutional neural networks for mobile vision applications (https://arxiv.org/abs/1704.04861), Howard et al., arXiv preprint arXiv:1704.04861, 2017

原文地址:http://opensource.googleblog.com/2017/06/supercharge-your-computer-vision-models.html

相關焦點

  • Agora新增支持Python:視頻通話中也可做圖像識別了
    實時通話中成功識別左圖中的人、椅子和顯示器  TensorFlow圖片物體識別  TensorFlow是Google的開源深度學習庫,你可以使用這個框架以及Python程式語言,構建大量基於機器學習的應用程式。而且還有很多人把TensorFlow構建的應用程式或者其他框架,開源發布到GitHub上。
  • 基於TensorFlow 、OpenCV 和 Docker 的實時視頻目標檢測
    以下是我安裝配置 Tensorflow 目標檢測的方法(按照官方安裝指南):# Install tensorFlowRUN pip install -U tensorflow# Install tensorflow models object detectionRUN git clone https://github.com/te
  • TensorFlow極速入門
    一、前言目前,深度學習已經廣泛應用於各個領域,比如圖像識別,圖形定位與檢測,語音識別,機器翻譯等等,對於這個神奇的領域,很多童鞋想要一探究竟,這裡拋磚引玉的簡單介紹下最火的深度學習開源框架 tensorflow。
  • 步履不停:TensorFlow 2.4新功能一覽!
    參數伺服器訓練教程           https://tensorflow.google.cn/tutorials/distribute/parameter_server_training    ClusterCoordinator           https://tensorflow.google.cn/api_docs/python
  • Tensorflow 全網最全學習資料匯總之Tensorflow 的入門與安裝【2】
    TensorFlow已經在圖像識別,大數據分析,語音識別和語義理解,機器翻譯等各個領域得到了廣泛應用,同時也得到了業內人士的普遍認可,成為了目前最受關注和使用率最高的開源框架之一。《TensorFlow學習筆記1:入門》連結:http://www.jeyzhang.com/tensorflow-learning-notes.html本文與上一篇的行文思路基本一致,首先概括了TensorFlow的特性,然後介紹了graph、session、variable 等基本概念的含義,以具體代碼的形式針對每個概念給出了進一步的解釋
  • 終於來了,TensorFlow 新增官方 Windows 支持
    TensorFlow 宣布開源剛剛過去一年。在谷歌的支持下,TensorFlow 已成為 GitHub 上最受歡迎的機器學習開源項目。同時,谷歌也在 TensorFlow 框架中進行過各類研究、開源了其中一些項目,這些研究涉及到自然語言處理、機器翻譯、圖像描述、圖像分類等等。
  • TensorFlow與PyTorch之爭,哪個框架最適合深度學習
    我的建議谷歌的 TensorFlowTensorFlow 是谷歌的開發者創造的一款開源的深度學習框架,於 2015 年發布。官方研究發布於論文《TensorFlow:異構分布式系統上的大規模機器學習》。
  • 機器學習中的embedding原理及tensorflow 相關API的理解
    # 概述本文主要講解tensorflow中涉及embedding的API。之前看了一些文章,寫的雲山霧繞,花了好長時間才搞懂,太笨了。embedding 算法主要用於處理稀疏特徵,應用於NLP、推薦、廣告等領域。所以word2vec 只是embbeding 思想的一個應用,而不是全部。
  • TensorFlow 中文資源全集,學習路徑推薦
    /GitHub:https://github.com/tensorflow安裝教程中文安裝教程Mac安裝:http://www.cnblogs.com/tensorflownews/p/7298646.htmlubuntu 16.04 安裝 tensorflow-gpu:http://www.tensorflownews.com/2017/09/02/tensorflow-gpu-install-ubuntu
  • TensorFlow 資源大全中文版
    (點擊上方藍字,快速關注我們)譯文:伯樂在線專欄作者 - Yalye英文:jtoy如有好文章投稿
  • 玩轉TensorFlow?你需要知道這30功能
    開源的一款人工智慧學習系統。地址是:tensorflow.org/tfx/?網址是:https://www.tensorflow.org/probability/19)模型園這是一個收藏了大量 GoogleAI 和 TensorFlow
  • 谷歌正式發布TensorFlow 1.5,究竟提升了哪些功能?
    昨天,谷歌在 GitHub 上正式發布了 TensorFlow 的最新版本 1.5.0,並開源了其代碼。支持 CUDA 9 和 cuDNN 7 被認為是本次更新的最重要部分。機器之心對這次更新的重大改變以及主要功能和提升進行了編譯介紹,原文請見文中連結。
  • TensorFlow 攜手 NVIDIA,使用 TensorRT 優化 TensorFlow Serving...
    HTTP/REST API at:localhost:8501 …$ curl -o /tmp/resnet/resnet_client.py https://raw.githubusercontent.com/tensorflow/serving/master/tensorflow_serving/example/resnet_client.py
  • 5個簡單的步驟掌握Tensorflow的Tensor
    在這篇文章中,我們將深入研究Tensorflow Tensor的細節。我們將在以下五個簡單步驟中介紹與Tensorflow的Tensor中相關的所有主題:第一步:張量的定義→什麼是張量?我們經常將NumPy與TensorFlow一起使用,因此我們還可以使用以下行導入NumPy:import tensorflow as tfimport numpy as np張量的創建:創建張量對象有幾種方法可以創建tf.Tensor對象。讓我們從幾個例子開始。
  • 深度解讀TensorFlow,了解它的最新發展!
    TensorFlow.js 是一個開源的用於開發機器學習項目的 WebGL-accelerated JavaScript 庫。TensorFlow.js 可以為開發者提供高性能的、易於使用的機器學習構建模塊,允許研發人員在瀏覽器上訓練模型,或以推斷模式運行預訓練的模型。
  • 如何使用TensorFlow Hub的ESRGAN模型來在安卓app中生成超分圖片
    最終的 app 效果如下圖,我們也已經將完整代碼開源給大家參考。/master/tensorflow/lite/c/c_api.h 我們在預先編譯好的 AAR 文件中包含了 TFLite C API需要的頭文件和庫 (包括核心庫和 GPU 庫)。
  • 關於TensorFlow,你應該了解的9件事
    TensorFlow 是開源的,你可以免費下載並立即開始使用。TensorFlow 下載地址:https://www.tensorflow.org/install/TensorFlow 初始教程:https://www.datacamp.com/community/tutorials/tensorflow-tutorial
  • 百倍提升張量計算:谷歌開源TensorNetwork
    張量網絡正越來越多地用於機器學習領域,它被用於執行複雜計算任務,但對於大多數人來說它仍然遙不可及——我們還沒有開源庫來大規模運行這種底層算法。幸運的是,谷歌正在解決這一問題。昨天,Google AI 發布了 TensorNetwork,它使用 TensorFlow 機器學習框架作為後端,並用 GPU 優化來提高張量計算的效率。
  • 輸入示例,自動生成代碼:TensorFlow官方工具TF-Coder已開源
    最近,谷歌 TensorFlow 開源了一個幫助開發者寫 TensorFlow 代碼的程序合成工具 TF-Coder。項目地址:https://github.com/google-research/tensorflow-coderGoogle Colab 試用地址:https://colab.research.google.com/github/google-research/tensorflow-coder/blob/master/TF-Coder_Colab.ipynb
  • TensorFlow入門簡介,新手請看這裡!
    【IT168 技術】  TensorFlow是一個使用數據流圖進行數值計算的開源軟體庫,是谷歌基於DistBelief研發的第二代人工智慧學習系統,命名來源於本身的運行原理。