【PPT下載】6大要素、4個案例!快速讀懂模塊化AI

原標題：【PPT下載】6大要素、4個案例！快速讀懂模塊化AI

6月29日，智東西公開課推出的AI晶片系列課進行完第三講，由觸景無限CEO肖洪波和產品總監侯朝陽共同主講，主題為《玩轉模塊化AI，讓智能更簡單》。肖洪波肖總圍繞人工智慧的發展、模塊化AI的六大要素深度講解了如何通過模塊化實現前端感知智能；侯朝陽侯總為我們分享了通過角蜂鳥開發套件實現模塊化AI的精彩案例。

以下是本次講解的提綱和實錄，共計10500字，預計11分鐘讀完。

提綱：

1、為什麼要模塊化AI

2、AI模塊化技術難點和瓶頸

3、AI模塊技術框架

4、AI模塊場景實踐

5、AI模塊神奇小應用

主講環節

肖洪波：大家晚上好，非常高興有機會能跟大家一起探討觸景無限對人工智慧的一些看法和見解。

今晚講解將由兩個人來完成。首先，由於不清楚群裡大家對人工智慧的了解程度，因此我負責介紹關於對人工智慧的看法以及模塊化過程中遇到的問題，比如我們為什麼要去做模塊化AI。希望能夠幫助大家去解決一些實際的問題，後面的部分將由我的同事侯朝陽來給大家講解。

人工智慧是一個現在非常熱的話題。我非常喜歡的一位古代哲學家老子，在看待事物的時候，提到了名與道，意思就是我們在看一個問題的時候，是看它的名還是看它的道。名，就是大家定義的命名空間，人工智慧是一個非常好的名字，實際上這個領域應該叫做統計學習，其方法都是概率統計領域中的。而這個領域中的人非常聰明，把它定義成了人工智慧，可以看出這是一個非常好的名。

而我們更關注的是道，道就是所有的事物底層的運行規律。在人工智慧中，我們更關注它能解決什麼問題，或者如何用統計數學的技術去解決一些已經存在的問題。

從更大的領域來看，人工智慧應該叫做數據科學，它已經存在了很長的時間，是一個跨學科的領域，主要是去解決結構化和非結構化的各種數據，從裡面去提取一些知識或者是對於信息的洞察。在過去，結構化數據獲得了比較好的解決方式，從九十年代到2000年這段時間，有很多的基於資料庫的數據分析和數據挖掘已經解決了非常多的數據結構化的問題。但是非結構化一直沒有比較好的解決方式，因此深度學習的出現給非結構化數據提供了一個比較好的解決方式。

在數據科學中，有一個比較好的處理流程，先是在現實環境中收集一些包含很多維度的原始數據，這些數據維度需要先經過處理或者叫做數據清洗，數據清洗後會獲得比較乾淨的數據集，這時需要進行數據分析，比如做數據結構化的時候會做很多的模型，通過模型來進行處理，處理後的數據可以去跟模型和算法做進一步的分析。然後形成相應的可視化報告以及相應的數據產品，從而再回到現實中去。

在結構化數據中，有很多的例子，比如推薦系統、關聯分析等，當時一個比較著名的例子就是沃爾瑪分析尿布和啤酒之間的關係，通過分析再應用到現實中去，從而提升了產品的銷量，這就是數據科學能夠為現實作出貢獻的地方。

機器學習主要是允許機器從數據中去學習一些規律，其本身是基於統計的規律，用算法去觀察數據，然後根據數據進行預測，並廣泛應用於很多的場景中。機器學習有很多不同的算法，比如SVM、隨機森林等，機器學習在這些領域中也給我們提供了非常大的幫助。

人工智慧起步於上世紀六十年代中後期，一直到八十年代，大家用得比較多的比如啟發式搜索，研究所用的比較多的領域是下棋，包括西洋棋等，一直到現在的圍棋AlphaGo都是一些比較抽象的表達，同時棋盤的位置和下棋的動作也是比較有限的，裡面沒有感知以及動作執行的不確定性，它把所有的問題都轉變成圖搜索的問題，甚至大家可以認為通過圖搜索就能解決任何的人工智慧問題。在早期的時候，計算機視覺並沒有引起大家的重視，MIT曾經成立了一個小組，叫做暑假Project，他們認為一個暑假假期找幾個學生就可以構造出一個視覺系統，實際上在現在看來，還遠遠沒有解決計算機視覺的問題。

我們今天講的主題是希望讓人工智慧更簡單，使它的門檻更低，如何通過模塊化讓大家即使沒有什麼基礎也可以去玩轉AI。主要包括以下幾個方面：為什麼我們要做模塊化的AI、在做的過程中遇到的一些技術難點和瓶頸、應用的框架以及在場景中的實踐，同時也非常希望能夠得到業界各位高手的建議以及探討。

首先要介紹的是為什麼要做模塊化AI。其實這是整個工業軟硬體產品發展的必然結果，我們可以從其他領域和其他產品去看它的整個發展過程。

剛才提到在做數據科學的時候，會涉及到結構化數據和非結構化數據這兩方面，在最早期的時候，大家處理的很多都是結構化的數據，當時是沒有關係型資料庫的，很多的系統都是大家自己來寫，自己寫些文件和數據格式存儲在文件系統中，然後再用自己的解析方法把它加載到系統中進行數據的處理，那時大家都是寫著各種各樣符合自己風格的數據格式。後來開始出現了關係資料庫，最早是基於理論的，如上圖，在整個資料庫的發展過程中也出現了各種各樣的資料庫。

在七十年代的時候，主要在研究所中應用，最早出現在IBM。到八十年代和九十年代，可以看到上圖中的小圓圈，每個小圓圈就意味著出現了一種新的資料庫，可以看到出現了各種各樣的資料庫，有商用的，有開源的，還有嵌入式的資料庫，都應用到不同的領域中去。2010年以後，基本上就很少有新的資料庫產生了，因為大家都在做一些模塊化的工作，而不是去做重複的、發明輪子的這種過程。

這種模塊化的過程跟商業都是聯繫在一起的，並且有相應的時間窗口，相對於2010年來說，在2000年左右產生了非常多新的資料庫，而2010年之後就很少有新的資料庫產生了。

深度學習的出現統一了機器學習上的標準，在此之前，大家都是在採用不同的機器學習的方式進行處理，沒有統一的標準，就像在沒有關係資料庫之前大家如何處理結構化數據一樣，各有各的處理方法。但是深度學習的出現，使得這個過程更加標準化，也為我們創造了很多做模塊化產品的機會。

接下來談一下我們對於科研、工程和商業之間的理解，三者是緊密相關的，科研院所中能夠在底層的基礎科學或者基礎理論上有一些大的突破，突破的技術會逐漸滲透到工程領域，而工程領域也會向商業進行轉化。對於企業來講，更多地是關注在工程領域中是如何把科研院所中的先進技術轉化成工程的應用及產品，在這一轉化的過程中會涉及到很多的工程科學，在工程中，我們更關注的是要去解決什麼樣的實際問題。

我們希望用人工智慧去解決一些在前端的感知問題，比如計算機視覺。對於視覺問題，我們把它劃分成計算、算法和實現三個層次。首先在計算層面或者叫表達層面，我們會去描述這是一個什麼樣的問題，這個問題用數學的方式怎樣表達，這是首先要解決的問題。

我們的任務和輸出是什麼，這些都是獨立於解決問題的方法。其次是對這個數學問題進行求解，選擇不同的算法進行並行或者串行計算，最後算法在硬體上是可以基於CPU、DSP、GPU或者用神經網絡來實現，這些都是我們希望解決這個問題的方法，這就好比我們要去造一個飛機，我們可能會參考鳥類的結構，但是關鍵還要去建造一個空氣動力學的理論，從根本上去解決這個問題。因此，針對計算機視覺，它的底層理論是什麼，我們怎麼樣去解決這個問題，這才是我們要做的關鍵。

計算機視覺是一個非常大的領域，有非常多的問題需要研究，就像物理學一樣。首先我們可以去研究人類的視覺，也是我之前在做圖像過程中研究比較多的一個領域，在人類的視覺系統中，有一個叫做視覺神經科學的理論，像物理學一樣，有宏觀和圍觀之分。從宏觀的角度來講，在視覺神經系統中，主要有五大神經系統對圖像進行處理，包括光照、形狀、顏色、移動和距離。

這五個部分分別在五個不同的視覺神經系統中來對圖像進行處理，而它們在前端是同時來處理的，因此這裡有一個概念叫做Seeing is Understanding，就是感和知是一體的，這也是我們希望解決的問題，希望能夠把前端的傳感器和人工智慧結合在一起，用人工智慧在傳感器的層面去解決計算機視覺的問題。但是非常有趣的是，一些視覺系統的神經學專家在微觀層面發現這些系統在視覺的前150ms中，即它們是有先後順序的。

在此領域中有些專家做很多非常有趣的研究，如果想要了解計算機視覺，我建議大家可以去研究一下人的眼睛系統是如何解決這些問題的。

對應到產品系統中的三大領域即傳感器、嵌入式晶片、嵌入式人工智慧算法。三者是緊密結合的，因此很難拆開單獨去解決哪個問題。我們希望通過軟硬體一體化的設計，形成一個傳感的感知模塊，把這些模塊提供給不同的產品，去提升這些產品的感知能力。將傳感器晶片以及算法融合在一起就是我們要去做的工作。

既然要在底層去做智能算法和傳感器的結合，就不可避免地要去研究傳感器的發展。上圖展示了傳感器的發展歷程，從CCD到CMOS，其中CMOS技術也經過了從Front到Back再到Stack。同時傳感器技術也在不斷地向前發展，比如高幀率（上千幀）、高清的圖像傳感器，在發展的過程中，也會對傳感器提出不同的要求，而傳統的傳感器更多的優化是面向拍照的。包括ISP的處理都是面向拍照技術來進行處理的。隨著傳感器應用的地方越來越多，比如圖像傳感器用到安防、自動駕駛、無人機等很多領域，它已經變成了一個功能性的需求，不再是為了拍照而存在，而是真的要用傳感器去看清或看懂一些東西，這時傳感器對理解的需求也會非常高。

這是傳感器前端處理的Pipeline，從光信號轉化成電信號再到AD轉化，以及圖像的Pipeline處理到最後網絡信號的輸出，其中有很多環節都存在著可以被人工智慧技術優化的地方，包括前端的信號處理到底層的ISP圖像Pipeline處理，甚至到壓縮優化。隨著前端幀率以及解析度的提高，壓縮這塊完全可以通過智能算法進行優化，因為傳統的壓縮都是一些標準的壓縮算法。

因此我們的工作就是去進行很多智能化的處理，同時把這些智能處理的技術進行模塊化提供給開發者來使用，把底層的一些複雜技術給處理掉，包括底層的一些傳感器以及ISP的處理，讓開發者不用再去做這些複雜的東西，只需要關注於相應深度學習的模型處理就可以了。

隨著深度學習在各個領域的普遍應用和發展，智能分析逐漸從後端向前端擴展，這點在安防領域中體現得比較清晰，很多的後端處理技術也正在向前端去擴展，包括人臉檢測和人臉識別等。目前的模型壓縮技術相對來說比較成熟，比如可以通過一些新的卷積計算方式進行壓縮，另外，也可以通過裁剪技術進行壓縮，比如剪枝。由於神經網絡是由一層層的節點，通過邊連結去創建的，每個邊都有權重，而裁剪可以把一些權重比較小的或者不重要的去掉，從而繼續訓練模型。還可以通過權值共享來實現深度學習網絡模型的壓縮，權值共享是通過相鄰兩層之間的全連結，每層有一百萬個權重參數，可以對這一百萬個權值進行聚類，從而實現權值的共享。

還可以通過量化的方式，將浮點數轉化成整型或者進一步轉化成二進位的網絡進行裁剪。這些都是在前端上做的技術，隨著前端壓縮技術和前端晶片性能的提升，會有越來越多深度學習的模型逐漸向前端轉移。前端人工智慧需求的種類也非常繁多。我們在前端也遇到了非常多的需求，下面我給大家舉個例子。

我們在澳洲的一個客戶，希望去做果園中果蠅密度的檢測，他們每年都有很大一部分的損失是由於水果被很多果蠅吃掉造成的，果蠅密度的檢測會涉及到密度問題，當密度太小時去處理是不合適的，當密度一旦突破某一個閾值時，那就很難控制了，因此需要通過前端的攝像機進行密度的估計。其實這是一個非常細分領域的需求，我們本身是沒有能力去適應這麼多細分領域的訓練需求的。

因此我們希望關注我們最擅長的領域，就是通過前端的智能核心去做感知的智能。有很多很優秀的在做雲端人工智慧公司，他們在做認知智能相關的工作。而我們在前端去專注在感知智能這個領域。我們可以提供包括多傳感器數據融合、計算機視覺和深度學習一體的感知智能，我們關注在產業鏈上的一個比較細分、垂直和專注的環節，希望能提供感知能力給合作夥伴。

從而支持我們的合作夥伴去做一些創新。群裡有很多大神可能訓練了很多的模型，這些模型實際上可以放到我們的模塊平臺上來提供給真正需要的用戶，比如剛才我提到的監測果蠅密度，還有監控養雞場、動物園的狀態等等非常多的需求，我們也希望和合作夥伴一起去幫助客戶解決這些問題。

因此我們希望把這些感知模塊的能力提供給合作夥伴，讓他們把這些產品應用到不同領域中去，包括安防、家居、交通、醫療、教育、工業、商業以及機器人，計算機視覺實際上就是為機器人誕生的，最初是希望機器人能夠像人一樣看到周圍的場景，因此我們也希望提供這些模塊與合作夥伴一起通過機器視覺去實現物聯網產品的升級。

目前我們提供的角蜂鳥開發套件中已經帶有攝像頭和IMU，但是我們現在提供的開源項目中還沒有包含IMU數據，在未來，希望也可以加上對TOF、Lidar的支持，可以讓大家比較容易地去做傳感器的數據融合，從而提供給不同的行業來使用。

我們認為前端的智能和伺服器的智能，或者說雲端的智能都是不能互相取代的，這是兩個方向，兩者相互配合可以做出更好的解決方案。從前端的嵌入式智能來講，它的缺陷是非常明顯的，運算力非常有限，但它的優勢是，在傳感器的最前端，不需要網絡的支持，同時，安全性也好，適用的場景比較靈活。對於伺服器智能來說，它也有非常大的優勢，第一，計算資源非常豐富，可以用伺服器做多集群的加速，聯網環境也比較豐富，可以通過網絡去調用更多網際網路的資源，另外可以加載非常複雜精準的模型。因此我們認為，未來邊緣和中心的結合會成為人工智慧領域的趨勢。

模塊化AI是希望在前端和邊緣端將AI技術打包封裝成獨立的模塊，達到即插即用的效果，同時還可以根據需求進行自由的拼接。模塊化AI具有使用簡單、靈活多變的優點，通過積木式搭建就可以完成複雜的前端人工智慧應用。我們的理念叫作Plug and AI，即插上就可以變智能。

下面介紹一下我們在這個過程中碰到的一些技術難點和瓶頸。

模塊化有六個核心要素：

1，獨立性，每一模塊可以獨立化運行；

2，置換性，每個模塊可以被置換；

3，可添性，可以通過添加新的模塊創建新的解決方案；

4，反向性，模塊之間的層級依賴可以被重新排列；

5，一致性，模塊適用於不同的環境；

6，可除外性，可以被從解決方案中移除。

這些都是比較理論的，我覺得其中有幾個比較重要的：獨立性，模塊可以獨立運行；置換性，模塊可以被置換；一致性，因為本身就是一個模塊，那麼對於系統的適用性要求會非常高。

模塊化AI的難點：

1，功耗挑戰，由於前端AI應用對於功耗有非常苛刻的要求，很多時候還是需要用電池來供電的，不僅僅是可以插電，我們有個愛爾蘭的客戶，他最近剛從我們這裡拿了一些模塊，是需要用電池去做攝像頭的，這對於功耗的挑戰是非常大的，實現低功耗是個挑戰。

2，算力的挑戰，之所以深度學習的效果好，就是因為它的參數多，因此它對運算力的要求會比較高。

3，算法的挑戰，前端AI應用算法的開發和優化難度非常大，因為在底層，前端的晶片很少有作業系統，或者有實時作業系統，甚至很多都要用彙編語言進行優化，因此對於算法開發和優化的難度就變得很高，由於沒有底層作業系統的支持，很難使用現在市面上的開源框架去做Inference（推理）。另外，還需要去卷積計算方式的優化，包括剪枝的優化以及量化工作，這些都會涉及到對於底層晶片的了解程度，比如對嵌入式晶片提供的指令集的了解以及運算方式等都是非常重要的。

模塊化AI的瓶頸：

1，缺少標準的協議，不同廠商之間的產品無法連接；

2，缺少標準的功能定義，各個廠家沒有統一的模塊功能定義，各自為戰，互相之間缺少復用。當然，和我們現在用的框架也有關係，目前用到的深度學習框架非常多，大家有自己的使用習慣，有的用TensorFlow或者用Caffe去做自己的網絡，因此標準不統一，如何通過模塊化AI去支持這麼多的標準也是我們面臨的挑戰。

這是我們模塊化結構解決方案的框架，底層主要是嵌入式硬體；晶片層有Movidius和FPGA，前段時間我們剛剛投資了一家美國FPGA團隊，預計今年下半年推出基於FPGA的具體方案，首先我們會集成多種嵌入式硬體傳感器，在此基礎上，也會提供不同的前端驅動，包括第三方接口、多傳感器融合接口、機器視覺接口、深度學習接口，統一通信接口以及3D點雲接口。

再往上，我們會提供一些高層的算法，包括視覺裡程計、雙目立體視覺、建圖和定位SLAM，這些主要是基於3D視覺的接口，另外包括一些識別和追蹤，也提供一些第三方的接口。我們下一步計劃是大力發展和第三方的合作，也特別希望開發者能夠貢獻自己的算法。在未來我們可能也會創建一個第三方的模型市場，大家可以在這個市場裡面交易自己的深度學習模型。

下面詳細地介紹一下角蜂鳥。角蜂鳥是觸景無限今年五月份發布的一款產品，是基於Plug and AI打造的一款人工智慧視覺套件，主要用於計算機視覺。

角蜂鳥是一個完全可以拼接的模塊，可以做到多塊處理同一個任務。目前我們已經發布了新的文檔，可以做到七塊並聯處理實時的視頻數據分析。

角蜂鳥視覺套件的優勢有哪些呢？

首先，我們希望中小學生也可以來玩人工智慧，並不需要學習那些複雜的深度學習理論，直接插上就可以用。它支持各種各樣的平臺，包括Windows、Linux、安卓、MacOS、樹莓派。同時，自帶RGB攝像頭，因為角蜂鳥本身定位於做視覺的套件，和市面上其他面向開發者的套件形式不太一樣。另外它兼容了樹莓派攝像頭，未來我們也會推出TOF立體視覺傳感器。

同時，它採用了Intel的Movidius MA2450加速晶片，功耗很低，大概在1-2W左右，算力也比較強，而且只需要用USB供電就可以使用。也不需要連接雲端的伺服器，所有的運算都是在前端完成的，目前支持TensorFlow、Caffe、Darknet等深度學習的模型，同時也提供人臉檢測、人臉識別等十幾種模型，同時也支持GoogleNet、Inception以及Tiny Yolo等知名的網絡模型。

角蜂鳥開發是提供給人工智慧愛好者以及嵌入式軟體愛好者的，也算是我們送給社區的一個小禮物，因為價格確實非常便宜，我們希望能夠為社區創造一個嵌入式上的產品，讓開發者能夠非常容易地去做嵌入式的人工智慧。

模塊化AI比較大的應用領域是教育，可以讓學生非常容易和直觀地去體驗人工智慧技術，由於做嵌入式人工智慧的技術周期非常長，需要了解傳感器、嵌入式晶片，還需要做模塊，這樣很容易使得很多開發者沒有辦法去做嵌入式的人工智慧。首先我們希望能通過這個產品讓學生去學習嵌入式的人工智慧，也是我們目前主推的一個領域，也做了一個面向學校的教育套件，包括一些課程，甚至是訓練，可以讓學生非常容易地去完成和應用，而不需要去配置那麼複雜的環境。

第二個比較大的領域是機器人。機器人是現在非常火熱的一個領域，第一批角蜂鳥開發套件上線之後很快就賣脫銷了，之後我們做了一些客戶回訪。在回訪過程中，發現有大量的開發者都是用它去做機器人，主要是因為機器人擁有視覺感知能力之後，可以做很多的工作，讓機器人變得更加聰明，可以對周圍的物體進行識別。另外，提供了物體識別模型，也可以去做人臉交互，比如玩具機器人可以直接觀察小朋友的表情，也可以通過服務機器人來識別VIP用戶。它的好處在於接口非常簡單，完全通過USB來對接。並且支持主流的開發語言C++、Python等，甚至可以使用單片機來進行集成；同時我們也集成了ROS開發接口，因此對於機器人開發者是非常友好的。

智能相機也是一個非常大的場景。前段時間國外很多大公司比如亞馬遜、谷歌都發布了智能相機，通過場景判斷最佳的拍攝時間記錄生活中的精彩時刻；另外也可以用它來做家庭成員的識別，防止陌生人入侵等，這些都是非常有意思的，大家也可以基於AI模塊去做一些自己的創作。

侯朝陽：接下來由我給大家介紹AI模塊神奇小應用。

第一個小應用是「你畫AI猜」。這個遊戲是我們訓練的一個小模型，可以對你的手寫體進行識別。

首先由AI給你出一個小題目，比如讓你換一個手提箱，然後你畫一個手提箱的簡筆畫放在AI應用前，識別出來之後就可以進入下一關了。

第二個應用是智能車模，用一個普通的樹莓派控制的小車結合角蜂鳥，可以識別周圍的物體，比如識別到自行車或者識別到一盆花，它會把這些信息反饋給小車。當小車識別到自行車的時候，它可以走向這個目標；如果它識別的是別的東西，它就不會靠近這個目標。

第三個應用是智慧機器人，是角蜂鳥結合奧松機器人的應用。機器人本身不具備人臉識別功能，但是有了角蜂鳥之後，它可以對人臉進行識別。當奧松機器人通過角蜂鳥檢測到人臉的位置後，它可以轉動頭部對人臉進行跟蹤，也可以變換眼睛的顏色，同時還可以舉起手臂。

第四個應用是智能檯燈。裡面用到了一個叫做情景記錄器的小模型，它有現場學習的功能，比如對著一本關閉的書，錄入它的狀態，可以多錄幾張甚至是錄上幾十張都可以。然後再把書打開並錄入其狀態，在不同的角度上，這本書是打開的。然後按下R就可以訓練出一個簡單的分類器，書關閉是一個狀態，書打開是另外一個狀態，通過狀態返回結果就可以控制小燈的開啟關閉狀態，這樣就實現了一個簡單的智能檯燈。

角蜂鳥有兩種使用方式，一種是使用角蜂鳥自帶的攝像頭，這樣主機只需要通過USB接口不斷地獲取圖像和對應的識別結果。第二種方式，有的用戶有自己的攝像頭，或者對攝像頭的要求比較高或者是有一些定製化的鏡頭，也可以通過USB把畫面傳輸進來，然後把視頻結果獲取出來就可以了。

角蜂鳥如果想要運行一些深度學習模型，需要通過一個轉換工具，比如把Caffe或者TensorFlow訓練的模型轉換到角蜂鳥上可以識別的模型格式，對於常見的模型，比如GoogleNet、MobileNet或者SSD之類的模型，大概能跑到十幀左右。

大家可以關注角蜂鳥服務號獲取角蜂鳥在線文檔，這些文檔比較詳細地介紹了角蜂鳥自帶的模型和一些實例。

今天的分享就到這裡結束了，謝謝大家。

Q&A環節

問題一

周涵寧-Hulu-研究總監

模塊化是否會影響準確性？如何平衡模塊的通用性和對某個特殊場景的定製化？

肖洪波：模塊化不會影響準確性。模塊化只是一個方案分解成各個獨立的組件，功能上不會有什麼改變。通過調查可以將不同的應用方案分解成模塊，通過功能去做聚類，如果有大量的重合需求應該重點關注模塊的通用型。

問題二

陳星強-北京心知科技-數據科學家

模塊化有考慮面向分布式系統進行速度優化嗎？對於數據預處理結合分布式資料庫Hive怎麼應用？

肖洪波：分布式系統確實沒有太多考慮，但是角蜂鳥可以把任務在多個模塊之間進行分配，可以分配子任務到每個模塊上，比如一套人臉識別系統可以將檢測、對齊以及識別分配到不同的模塊上完成，通過Pipeline和動態分配的任務來進行加速，最大化地利用計算力。另外對於Hive系統我們確實沒有考慮過，因為當時做模塊主要是為了面向計算機視覺來使用。

問題三

董軍-泛洲睿信科技-機器人架構工程師

模塊化AI要解決的問題本人認為是

1) 分離終端和雲腦

2) 平衡成本並提供合理的終端豐富功能

3) 易於使用或開發的標準統一接口，語言或界面

4) 提供豐富的一體化方案、硬體或軟體已完成各個功能特性

1，針對以上幾點是否都有相應的解決方法或產品，又是怎樣的呢？

2，任何產品都存在著互相矛盾的兩個方面，一個是儘可能保密，提高市場佔有率，保護智慧財產權，這點是和部分開源以及擁有強大的知識庫，儘可能的增加使用人群，形成社區維護是矛盾的，模塊化AI是如何平衡矛盾點的兩個方面呢？

3，產品或軟體是面向那一級用戶的？終端個人，企業行業，還是中間開發運營商？

4，和目前其它公司開發的模塊化產品比起來有何優勢呢，比如NV公司的Jetson TX2, Intel公司的Up2低功率板，樹莓派，或者是國內的眾多類似硬體，軟體模塊化廠商？ 或者說是如何特性模塊化以和上面幾種產品區別？

5，我們的模塊化產品更類似嵌入式開發，還是X86集成環境開發使用？

6，針對我們的模塊化使用，使用者需要掌握具體哪些知識面呢？

肖洪波：1、模塊化AI本身是一個前端的產品，它和雲端是完全隔離的，不需要通過網絡和雲端去進行連接，就是運行在前端的一個產品。

2、首先，開源並不是不能保護智慧財產權，這一點我是不認可的。開源其實可以很好地保護智慧財產權，可以通過你授權協議進行保護智慧財產權。

3、我們產品主要面向的還是開發者，當然企業如果有需要，也可以採用。但是該產品的定義是面向開發者的。

4、關於和其他模塊的區別，我們完全是一款面向開發者的機器視覺模塊，這是和其他產品不同的地方。另外，角蜂鳥功耗也是比較低的，因為它主要是面向嵌入式的產品。同時價格也非常便宜，比TX2這些便宜很多。

5、角蜂鳥模塊支持各種各樣的平臺，包括Windows、Linux、安卓、MacOS、樹莓派。

6、關於需要掌握具體的知識。由於我們是面向開發者的，希望讓開發者可以零基礎玩這個東西。但是可能需要懂一點Python，其他的就可以都不需要，我們本身已經提供了一些開箱即用的模型，可以讓開發者在幾分鐘之內玩起來。

問題四

劉超-首聯科技-算法工程師

1.模塊化是什麼級別的模塊化，比如人臉識別作為一個整體模塊 還是拆分成人臉檢測、人臉對齊、人臉識別 。

2.模塊化的粒度如何？支持整個網絡導入還是註冊網絡層級結構？

3.硬體復用 對資源的限制如何？比如自定義網絡的接受能力等 。

肖洪波：1、目前第一版上面只能同時跑一個模型，因此目前人臉的檢測、對齊和識別是要分別在不同的角蜂鳥開發套件上來跑的，未來我們會推出可以同時在多個模型的Runtime。

2、目前支持整個網絡的導入。

3、單獨跑一些層也是可以的，是可以分開的。另外，它支持TensorFlow、Caffe等網絡模型，但是有一些特殊的層是不支持的。而自定義網絡是支持的，主要取決於使用了哪些層。

問題五

程智峰-地平線機器人-高級系統軟體工程師

1，模塊化AI如何支持已有的不帶AI功能的IPC產品？

2，客戶採用模塊化AI需要做哪些開發工作 ？

肖洪波：1、現成的IPC處理起來相對麻煩一點，因為它通過網絡接口輸出的是一些經過編碼的視頻信息，需要經過解碼，然後把圖片給送到模塊中來處理。當然，有另外一種方式，在做IPC的過程中，直接可以把模塊嵌入進去。

2、目前的客戶採用模塊化AI開發都是比較簡單的，只需要Python或者C++，直接調用攝像頭中輸出的數據格式，再把模型載入進來就可以了。角蜂鳥官網（http://www.hornedsungem.org）也有比較全的文檔可以參考。

課件獲取

第一講，聯發科計算與人工智慧本部總監張家源主講，主題為《如何基於 NeuroPilot平臺打造手機AI》

第二講，深思考人工智慧CEO楊志明主講，主題為《醫療影像專用AI處理器的機遇與挑戰》

第三講，觸景無限CEO肖洪波主講，主題為《玩轉模塊化AI 讓智能更簡單》

第四講，靈汐科技首席架構師馮傑主講，主題為《類腦晶片的架構演進》

第五講，華登國際合伙人王林主講，主題為《淺談AI帶來的集成電路領域創新與投資機會》

第六講，澎峰科技聯合創始人趙華龍主講，主題為《如何從0到1搭建RISC-V處理器》

掃描下方二維碼關注智東西公開課服務號，回復關鍵字「AI晶片」獲取往期課件返回搜狐，查看更多

責任編輯：