五月份時，英特爾宣布推出OpenVINO工具包，它主要應用於將計算機圖形和深度學習技術整合到前沿的視覺應用中。OpenVINO全稱為開放式視覺推理和神經網絡優化（Open Visual Inference & Neural Network Optimization），其前身是英特爾計算機視覺SDK（Computer Vision SDK），通過工具包中集成的三個全新API：深度學習部署工具包、通用的深度學習推理工具包以及OpenCV和OpenVX的優化功能，支持TensorFlow\MXNet和Caffe框架。顧名思義，OpenVINO的推出，標誌著英特爾將計算機視覺與AI完美融合，並且是全開放式的融合。
本文引用地址：http://www.eepw.com.cn/article/202007/416062.htm日前，英特爾舉辦以「智能端到端,英特爾變革物聯網」為主題的視覺解決方案及策略發布會,正式宣布推出OpenVINO。發布會邀請到英特爾物聯網事業部中國區總經理陳偉博士，英特爾中國區物聯網事業部首席技術官兼首席工程師張宇博士，英特爾中國銷售總經理王稚聰以及相關合作夥伴，就OpenVINO如何幫助結合人工智慧與機器視覺的物聯網應用快速落地進行了一系列介紹與討論。
英特爾中國區物聯網事業部首席技術官兼首席工程師張宇博士表示，英特爾CV SDK只做編解碼加速，通過引入Movidius SDK，OpenVINO可以做一個完整的視頻處理系統，從編解碼到深度學習或者是計算機視覺處理等，讓開發者只用一個工具把所有的需求都能滿足所有需求。
此前，英特爾為布局AI花費了大量的人力物力，從平臺，到框架再到庫和硬體，英特爾實現了人工智慧全棧式解決方案。
此次發布的OpenVINO，是英特爾針對視覺AI領域的一次重要革命。
為什麼是視覺技術？
在智能端到端的物聯網領域，英特爾要通過視覺發起這場AI革命。
英特爾副總裁兼物聯網事業部中國區總經理陳偉博士表示，選擇專注於視覺戰略，首先是視覺處理市場不斷蓬勃發展的數據擠壓到了存儲和寬帶的要求，因此在邊緣計算端有極大的需求，英特爾很早以前就看到了這個態勢，因此一直致力於雲端和邊緣端兩方向同時發展，實現邊雲協和的分布式架構。
第二個原因則是由於計算分析能力和存儲能力所限，目前數據有大部分被浪費掉了，並沒有進行深度挖掘，所以邊緣計算對於未來的數據分析至關重要。
第三，則是深度學習市場被充分打開，陳偉引用了一組數據表示，2016年深度學習市場收入為6.55億美元，預計到2025年將增長至350億美元。
陳偉博士，英特爾副總裁兼物聯網事業部中國區總經理
那麼我們到底需要什麼樣的邊緣計算呢？陳偉表示，實時性、低成本、強大的分析和預測能力以及精準、安全保密的邊緣計算是業界所達成的共識。
「眼見為實，視頻的數據量是最大的，同時也是最複雜的，人一輩子幾十年就是人工智慧最好的解說，人們通過觀察來訓練大腦、同理，現在的邊緣計算機也可以用視頻區模仿人的能力。在英特爾物聯網事業部，我們把視頻技術當成是一個橫向的技術，是英特爾的一個主要戰略。」陳偉說道。
不過陳偉同時強調，邊緣計算與人工智慧的結合併不是一件容易的事。一個是數據量巨大，一個是碎片化的市場，只有技術平臺化才能解決這一系列問題。英特爾幾年間在硬體上持續努力布局，隨著現在OpenVINO工具套件的發布，標誌著英特爾的視覺處理市場生態鏈有了最強大的軟體平臺支撐。
陳偉表示，OpenVINO近幾個月和中國市場的合作夥伴進行了緊密的合作、開發與優化，此次的首發也只是起點，未來還將對不同硬體進行優化和整合，包括模型和插件的完善、充實與優化等工作。
正如陳偉所說，工欲善其事、必先利其器，搭配英特爾廣泛的處理器和OpenVINO開發工具，就是AI視覺市場的器。
OpenVINO的特點及意義
英特爾中國區物聯網事業部首席技術官兼首席工程師張宇博士詳細介紹了OpenVINO的特點。
英特爾中國區物聯網事業部首席技術官兼首席工程師張宇博士
張宇表示，目前在系統端到端的網元中，所能提供的計算量是不一樣的，它能夠支撐的作業系統也各不相同的，因此有各自不同的晶片架構。比如在攝像機裡，一個攝像機的功耗大概15瓦，從15瓦裡能夠提供給做智能運算的能量有2-3瓦，對於這樣的使用場景，類似於ASIC這樣的架構是最適宜的。但到了數據中心側，由於需要一定的靈活度，因此通用處理器更適合。「不同網元有不同適宜的架構，不同晶片有各自不同的開發方法和環境，這樣對開發者而言就帶來一定的困擾，無形中增加了開發的門檻。」張宇說道。
張宇舉例了幾個目前人工智慧開發時的共識問題，其表示：「作為開發者，已經有了經過訓練的網絡模型，但是由於推理平臺能力有限，只能把網絡模型的一部分放到推理平臺之上，又或者想要提升終端性能但不知道該如何選型，以及目前使用的人工智慧框架不被英特爾的產品支持，無法導入到Movidius或者FPGA平臺。」
而OpenVINO正是為解決如上問題所推出的，他是一個高性能計算機視覺和深度學習視覺應用開發的工具套件，能夠支持英特爾平臺的各種加速器，包括CPU、GPU、FPGA以及Movidius的VPU等，支持異構計算，目標人群是軟體開發人員以及開發、監控、零售、醫療、辦公自動化以及自動駕駛等領域的數據科學家。
OpenVINO工具包組成
張宇表示，目前在計算機視覺處理領域，有兩類方法，一類是深度學習，一類是傳統計算機視覺，在物體檢測、目標識別等方面深度學習已經開始嶄露優勢，替代傳統的計算機視覺，然而在其他視覺領域，包括光流計算或圖像增強等依然是傳統的計算機視覺處理方法更有優勢。所以，OpenVINO支持這兩種實現方式。
OpenVINO的深度學習部署工具套件，可以幫助開發者把已經訓練好的網絡模型部署到目標平臺之上進行推理操作。
目前深度學習部署工具套件主要包括兩個網元，一個網元是模型優化器，另外一個是推理引擎。其工作原理是通過模型優化器把開發者經過深度學習框架所開發的網絡模型，針對選用的目標平臺進行優化，優化結果轉換成中間表示文件，建成IR文件。IR文件中包含優化以後的網絡拓撲結構，以及優化之後的模型參數和模型變量。
模型優化器是由Python語言編寫的，不僅僅能夠實現Caffe、Tensor Flow、MxNet上框架之上的模型導入，還可以根據模型進行優化。尤其是在通用處理器上做的訓練結果，如果部署到資源受限的嵌入式推理平臺之上，必須進行相應的優化。
張宇舉例到，在做訓練的時候，有可能會存在一個Dropout層，主要的作用是在訓練的過程中，把一定比例的神經元失效，這樣可避免在訓練過程中模型參數陷入一個局部的極小值，而達不到一個最優的效果，但在做推理時，所有神經元都要參與計算，所以Dropout層是沒有必要的，因此OpenVINO可以自動發現Dropout層並將其剔除。另外，對於一些激活函數的優化，包括神經網絡模型中的卷積層，全鄰接層，激活函數層等，都可以交由模型優化其進行優化。目前模型優化器已經驗證了超過150個在Caffe、MxNet和Tensor Flow上所設計的模型。
優化之後，推理引擎會讀取IR文件，之後會根據選用的目標平臺選擇相應的硬體插件將IR文件下載到目標平臺上進行執行，目前OpenVINO的插件包括CPU插件，GPU插件，FPGA插件以及Myriad VPU插件，在驗證完畢之後就可以把推理引擎和中間表述文件一起下載到或集成到最終應用裡進行部署。
推理引擎實際上是一套C++函數庫以及C++的類，從而實現對輸入數據的處理，並得到最終的結果。推理引擎是經過統一的API接口，支持所有英特爾處理器架構，實現深度學習推理所需要的操作。這些操作包括對數據的讀取，對輸入輸出數據格式的定義以及調用相應的硬體的插件。
OpenVINO優化部署過程
利用OpenVINO之後，可以看出FPS幀數性能得到顯著提升
在OpenVINO裡，還包含一個傳統的計算機視覺工具庫，其中包含了經過預編譯的，而且在英特爾CPU上已經經過優化的OpenCV 3.3版本。張宇提到了一個小插曲，作為計算機視覺領域應用廣泛的OpenCV，全稱為Intel Open Source Computer Vision Library，於1999年由Gary Bradsky在英特爾位於俄羅斯的研究實驗室開發，它是一套可免費獲得的由一些C函數和C＋＋類所組成的庫，第一個版本於2000年問世。隨後Vadim Pisarevsky加入了Gary Bradsky，主要負責管理英特爾的俄羅斯軟體OpenCV團隊。2005年，OpenCV被用於Stanley車型，並贏得2005年DARPA大挑戰。後來，它在Willow Garage的支持下持續並積極發展，轉為由Gary Bradsky和Vadim Pisarevsky領導該項目。2016年，英特爾收購機器視覺初創公司Itseez，擴充了OpenCV領域的人才。
除了OpenCV，在OpenVINO™還包含了對OpenVX以及OpenVX在神經網絡擴展的支持，同時在媒體、視頻、圖像處理領域也包含了英特爾媒體軟體開發套件，可以幫助開發者方便的利用英特爾CPU裡面的集成顯卡資源來實現視頻的編碼、解碼以及轉碼的操作。
OpenVINO支持包括Windows 10，Ubuntu以及CentOS在內的多種作業系統。
OpenVINO支持開發環境一覽
張宇強調道，OpenVINO是分層開發的，不同開發者可根據自己需求和開發能力選擇不同的API接口進行調用OpenVINO。顧典，英特爾技術專家表示表示，OpenVINO中包含Open Model Zoo，這不是一個簡單的網絡參考，而是基於網絡的組合和融合，把具體的客戶的應用實例開發出來，當然這個開發實例不是完整完善的應用，這只是一個參考，但客戶完全可以基於Open Model Zoo現成的應用樣本進一步的做好開發。
對此，張宇總結道，對於新手來說，OpenVINO包含了很多應用示例，即便不了解算法和硬體底層實現，也可以直接調用相關參考從而實現應用。而對於一些特定應用場景來說，如果有了一些特定應用算法但沒有開發人工智慧網絡的能力，也可以使用OpenVINO把特定的開放網絡、標準網絡執行在英特爾硬體上從而實現快速開發。而對於高級用戶，可以在Caffe 、Tensor Flow、MxNet等框架下設計好自己的網絡模型，然後用OpenVINO的模型優化器和推理引擎轉換成硬體可識別語言，再下載到平臺上進行執行。如果是超級用戶，OpenVINO也支持直接調用硬體底層的接口實現對硬體直接的訪問。
OpenVINO適合各類層級的開發者使用
英特爾技術專家顧典表示，此次OpenVINO SDK和以往發布有一個細節不一樣，就是更新非常快，今年下半年OpenVINO預計有兩次重大更新，這也是為了迎合人工智慧和深度學習市場快速發展的態勢。
OpenVINO工具套件優勢總結，包括提高性能、整合深度學習、加速開發和支持創新與定製
在視覺處理市場，英特爾要專注哪些領域？
英特爾中國銷售總經理王稚聰表示，英特爾計算機視覺解決方案主要面向六大應用場景：
交通監控。採用英特爾FPGA和Movidius VPU的攝像頭可捕捉數據，並自動將其發送至下遊十字路口系統，幫助交通部門優化交通和做好規劃。這些信息可通過車載系統或應用直接傳達給司機，幫助他們規劃路線。
公共安全。藉助使用OpenVINO工具包開發的Myriad VPU和算法，經過訓練的深度神經網絡現在可利用推理功能通用面部識別分析並識別失蹤兒童。採用了這一技術的城市執法機構可在經過訓練的數據集匹配到人群中已報告失蹤兒童的臉部時，即時收到相關通知。
工業自動化。英特爾視覺解決方案可幫助智能工廠融合OT和IT，重塑工業業務模式和增長戰略。生產控制將可自動、流暢運轉，縮短上市時間。
機器視覺。藉助人工智慧增強工業機器視覺，支持更精準的工廠自動化應用。解決方案組合攝像頭、電腦和算法，以分析圖像和視頻，在邊緣提供可以用於指導行動的重要信息。
響應式零售。在邊緣使用英特爾計算機視覺解決方案的零售商，可以快速識別特定客戶或客戶行為模式，從而提供個性化的精準營銷服務。
運營管理。通過使用基於英特爾架構的計算機視覺解決方案，零售商可簡化運營、管理庫存、優化供應鏈和增強推銷能力，並幫助他們發掘數據的更高價值。
英特爾中國銷售總經理王稚聰
合作夥伴是怎麼說的？
為了證明在視覺處理市場的決心，英特爾特別邀請眾合作夥伴為其證言，誓將視覺處理市場的生態系統打造成另外一個計算機市場的蓬勃發展的生態產業鏈。
對於合作夥伴來說，是否認可英特爾的OpenVINO和AI視覺市場策略呢？英特爾合作多年的老朋友們是這麼說的。
雲從科技項目總監李軍表示，公司2017年開始進入機場項目時，制定了一個策略就是三個月之內將業務全面推廣，在這麼一個緊急的時間關口中，並沒有太多選擇，所以雲從科技選擇了英特爾的平臺。事實證明這個選擇對業務的推進幫助很大。「英特爾X86架構中的並行計算模塊，以及OpenVINO中的核心模塊幫助我們在人工智慧以及其他行業的廣泛應用打下了基礎，讓我們可以更快速的進行開發。目前我們的這款產品能夠在幾十家行業客戶，以及幾百個行業網點中做推廣，也是有賴於英特爾成熟的生態體系。如果想用一款產品同時支持幾十家不同客戶需求時，無論是算法還是應用都變得異常複雜，只有選擇合適的平臺才可以得心應手。」
浙江大華技術股份有限公司研發中心副總裁殷俊說道，2011年大華和英特爾聯合發布首款NVR，把大量的數據存儲在VMS上，實現了百路接入，一臺機器就可以解決一百路以上的存儲。當人工智慧在安防行業及其他視覺處理市場的突飛猛進，這個時候Movidius出現，大華便採用Movidius做了一款工業相機，用於產線缺線檢測及物品的識別和分類等應用。後來，Movidius又進入安防領域，做了人臉相機、事件檢測分析及行為分析等應用，進一步的則是拿熱成像將紅外傳感器數據接入Movidius，實現了測溫、森林防火、邊境線檢查、環保、視頻會議等豐富多彩的新興業務拓展。
2017年，英特爾收購了Altera之後，作為Altera多年合作夥伴的大華，繼續和英特爾保持良好的合作關係，在FPGA平臺上開發NVR，實現人臉識別等應用。而今年，Myriad X的發布，又讓大華和英特爾產生了新的碰撞。
「我們從NVR、雲上、中心側都採用了英特爾的產品，但是我們始終發現開發工作量巨大，Movidius開發工具、英特爾開發工具、GPU開發工具以及FPGA的開發工具沒法統一。我們和英特爾一直在探討一個問題，那就是未來軟體將是重要環節，甚至將超越硬體。因為晶片只是解決了計算能力和性能，但軟體決定了它的好用和易用性。OpenVINO工具將幫助我們未來在產品化和跨平臺開發上的統一，加快廠商解決方案的部署。通過我們的實裝體驗，OpenVINO不只是簡單的編譯工具，更是行業優秀的生態工具。」殷俊說道，「未來大華的定位是智慧物聯廠商，因此我們將繼續重點投入以視頻為核心的業務，利用人工智慧處理大批量數據，賦能行業，賦能客戶。」
宇視研發副總裁AI產品線總監湯立波表示，作為年輕的宇視科技來說，能夠得到英特爾對合作夥伴的戰略支持非常重要。宇視科技能夠在短時間內成長為全球安防行業的第六名，這和英特爾是分不開的。公司成立伊始就與英特爾建立良好的戰略合作夥伴關係，所有的雲端設備包括大數據伺服器、應用伺服器、存儲伺服器等，全部採用了英特爾的CPU。而進入人工智慧時代之後，憑藉英特爾在人工智慧時代的布局，為宇視科技等公司提供了一系列硬體平臺以及CVSDK和OpenVINO這類工具包，讓公司可以更高效、更快速來開發人臉識別、物體識別、車輛識別等方案，將各種算法落地到端到端的產品中去。
目前，宇視科技基於英特爾的硬體平臺及開發工具，實現了接入端到邊緣計算端以及雲端的全布局。
「兩三年前，宇視科技剛剛把產品賣到海外時，因為晶片和作業系統之間時區不匹配的問題，伺服器產生了大量的問題，但英特爾專門派團隊協助我們快速解決問題。也正是因為英特爾給了我們的幫助，可以讓我們快速成長起來。」湯立波表示。
湯立波認為，目前圖像處理是一個多算法融合的場景，因此需要不同的硬體平臺，但對於小公司來說，很難一站式滿足所有的平臺需求。此外，對於產業界來說，需要的是成熟且供貨穩定的產品，這需要對晶片具有豐富產業經驗的企業。「整個產品開發過程中，困難的地方不是開發，而是如何解決問題，所以只有一個非常有經驗的企業才能夠做出來一款穩定、能夠快速解決問題的用於產品化的晶片。」
而對於OpenVINO的價值，湯立波表示：「坦誠來說，OpenVINO具有一定的學習成本，需要先期投入，但從產出來看，OpenVINO有幾個非常重要的價值。首先是節約了大量的開發成本，避免在不同硬體平臺上浪費大量重複性開發工作。第二則是切實加速產品化過程。圍繞在英特爾周圍，有很多視覺行業相關公司，但並不是所有公司都擅長工具開發，絕大部分還是以人工智慧視覺處理為核心的算法、應用軟體、硬體產品形態和解決方案等，所以OpenVINO的推出，可以讓生態圈裡的廠商獲得更好的回報與更多的應用落地。比如宇視科技，技術競爭力在基於英特爾晶片的分布式計算和集群調度之類，而在商業競爭力上則是善於做精準打擊。在人工智慧領域，我們會專門面向某個場景做精準打擊，會基於OpenVINO來做算法的訓練，當訓練到極致時、產品性能達到極致、產品形態達到極致時，競爭力自然形成了。」
科達研究院執行院長曹李軍說道，十年前科達研究院就和英特爾展開了合作，2012年採用傳統的機器視覺算法，推出了一系列智能產品，到2017年上半年，所有產品都切換到了深度學習平臺上。
目前科達開發出基於第六代酷睿的智能NVR產品，除了具有現有NVR所有功能之外，還增加了人臉比對庫、車牌庫，用戶可以根據需要來設定預警和報警規則，包括人臉黑白名單，以圖搜圖，人員檢索，車牌的黑白功能、屬性檢索等，這些都離不開英特爾的CPU加OpenVINO的技術。「深度學習網絡模型是以大規模數據經過千萬次的迭代而形成的結果，轉換過程對於我們來說是黑盒，如果要進行模型優化確實需要對算法進行更深入的了解。OpenVINO可以幫我們把整個推理和計算過程可視化，為模型優化和多模型的推理提供了很大的幫助。特別是讓我們知其然，也知所以然。」
中科英泰副總裁劉福利表示，公司從CVSDK起就開始使用，目前已經開發了三款產品，包括無人便利店的人臉識別和商品識別，智能掃描結帳功能，消費者行為分析等產品。「新零售離不開三大場景，包括對人識別的智慧化，商品的智能化識別以及通過對人、對物的智能化識別基礎上，創新出的消費場景，而這些都離不開創新的技術支持。英特爾逐漸從晶片公司走向了多元化、智能化、軟體解決方案發展多元的公司，也讓我們可以在新零售行業中不斷地創新出更多的智慧化的產品。」
大疆創新科技資深產品專家William Wu表示，大疆為了滿足行業應用客戶的豐富需求，使用了英特爾CPU開發了一款無人機的機載航空電腦，使用這款機載航空電腦，就可以結合大疆的SDK在無人機上實時在線的進行運算、處理、採集、分析和控制的任務。「在無人機領域，串行計算和並行計算是共存的，我們很難找到一家可以同時提供這兩者的供應商，英特爾平臺給我們提供了強大的創新計算能力，使得在無人機上在線進行行業定製化自主飛行場景成為了可能。OpenVINO工具則能夠使無人機機載航空電腦上更好的發揮出CPU核顯的並行計算能力，這種串行計算和並行能力共存的機載計算平臺也可以更好的貼近了行業應用客戶。」
阿里巴巴OS事業部智能硬體研發負責人馬飛飛表示，AliOS和OpenVINO的碰撞發生在電子座艙計劃中，阿里巴巴希望電子座艙不只是娛樂和信息系統，還需要引入增強現實技術，實時提供車道檢測、前遮、碰撞檢測以及實施景物提示等功能。
「我們的核心網絡前端是一個Encoder，它會生成若干的Feature Map，之後傳給Decoder，Decoder分為兩路，一路做車道檢測，採用了語義分割的網絡，第二路是來做物體檢測和識別，比人、車、物等等。我們在Apollo Lake平臺上起初只能達到每幀270毫秒的處理速度，後來通過採用OpenVINO之後，平均幀處理時間降低到了30毫秒，實現了流暢的駕駛體驗。」馬飛飛說道。
馬飛飛總結道：「OpenVINO可以把客戶的軟體和硬體非常好的結合在一起，用AI的術語來講，損失函數降到了最低值，而套用一句論語的話來講就是，「質勝於文則野，文勝於質則史，文質彬彬，此君子所為也。」」
「欲窮千裡目，更上一層樓，我們總希望藉助視頻的能力，使得我們自己、使得全人類能夠站得更高、看得更遠、看得更清，我相信通過英特爾和合作夥伴攜手努力，通過OpenVINO軟體工具以及英特爾各種架構的硬體能力的具體體現，能夠幫助我們更上一層樓，從而能夠看得更遠、更清、更準。」王稚聰暢享道。
想要查看更多OpenVINO相關技術與資料，請戳>> http://www.eepw.com.cn/openvino