集微網消息（文/Jimmy），集微直播間自開播以來獲得了大量來自行業的關注與好評。其中「集微公開課」欄目聯合行業頭部企業，通過線上直播的方式分享精彩主題內容，同時設立直播間文字提問互動環節。集微網希望將「集微公開課」欄目打造成中國ICT產業最專業、優質的線上培訓課程，深化產教融合，助力中國ICT產業發展。
第二十二期「集微公開課」於6月11日（周四）上午10:00直播，邀請到全志科技智能視頻技術總監王軍，帶來以《AI技術落地方案介紹》為主題的精彩演講，為大家深入解答關於AI的問題。
點這裡觀看回放
AI應用趨勢
眾所周知，AI的三要素是算力、數據和場景，而雲計算正好可提供AI三要素，可以說AI與雲計算是天生一對。然而雲計算並非能勝任一切應用場景，如無人駕駛、低時延工業場景中則更需要有能力處理分散在邊緣且及時需處理的需求。
王軍表示，AI晶片正由雲端走向終端和邊緣，數據也由雲走向邊緣，智能終端將多樣化，而邊緣AI晶片更易推出。
AI應用落地關注什麼？王軍指出主要有四大方面：場景、算法、SDK和算力。
AI框架生態及算力分析
AI軟體界在迅速發展，新的應用幾乎每天都在層出不窮，而這一輪AI浪潮爆發的核心便是深度學習。經過多年的發展，目前世界上主流的AI訓練框架就有幾十種，而國內一些人工智慧企業也自主研發了訓練框架。
雖然這些都是機器學習工具集，但它們並不是完全取代對方，各有各的特色。其中，Caffe&Caffe2 存量大、逐漸被替代；TensorFlow是工業界的首選，分布式計算強大；PyTorch上手快、功能強大，是學術界的寵兒；Kaldi國內市佔率較高，不僅限於深度學習，是面向音頻算法的複合工具箱。
王軍表示，視覺框架將趨於相對統一，TensorFlow和PyTorch將成主流，這兩種框架的用戶基數也大。Kaldi因技術原因會長期存在於智能音頻領域，需要持續關注。
王軍分析了幾個移動端開源推理框架的優劣，其中Open AI Lab的Tengine生態豐富，但僅開源免費商業版；NVIDIA的TensorRT主要用於英偉達GPU；Facebook，Microsoft的ONNX不局限於嵌入式端；騰訊的NCNN代碼清晰，適合魔改，完全開源。
王軍還科普了AI常見的幾個名詞，包括算法、算力和SDK。其中算法包括網絡、框架和精度。算力包括算力、利用率、系統資源。SDK包括中間件、工具。
網絡方面有三大分類，其中CNN為卷積神經網絡，適合做圖像分類、目標檢測、超解析度、語義分隔等。RNN為循環神經網絡，適合做語音識別、語音降噪等。GCN為圖卷積網絡，適合做文本檢索、翻譯等。
框架分為訓練框架、推理框架和模型三部分。其中訓練框架為正反向傳播，可以學習模型，而推理框架只有正向傳播，只能部署，無法訓練。模型意指神經網絡及其參數。
精度分為兩方面，其中INT8/INT16/FP32/FP16指在反向傳播過程中為了有效的梯度下降使用浮點型參數，在推理時量化為整數型可以提高運行速度。壓縮、蒸餾指網絡中的隱藏層存在一些輸出為零或者作用不大的神經元，裁剪這些可以減少模型參數而不會丟失太多精度。
算力指處理器每秒鐘可進行的操作數，單位有Mops（百萬），Gops（十億），Tops（萬億）。MAC指乘加運算。
利用率方面，王軍表示目前大部分SoC平臺AI算力利用率都偏低，受限於內存帶寬，網絡MAC利用率等。
工具方面中，模型優化指模型仿真，網絡裁剪，張量分解，權值共享，遷移量化。量化工具指FP32/FP16-->INT8/INT16；飽和量化/非飽和量化，KL散度調優。模型加密指tustzone加密，加密算法加密等。
根據不同AI算力，所適用的應用場景也不同。0-0.1Tops主要由CPU/DSP計算，適用配合式秒級人臉識別，語音識別等場景。
0.1-0.2Tops主要由CPU/DSP/NPU計算，適用配合式秒級人臉識別，語音識別等場景。
0.2-0.5Tops主要由NPU計算，適用準實時千人級人臉識別，低幀率（
0.5-4Tops適用實時萬人級人臉識別，精準圖像物體分隔，實時（>25fps）目標檢測/分類。
4~10Tops適用單路多目標視頻結構化，單路視頻語義理解，視頻像素分隔。
10-100Tops適用多路目標視頻結構化，多路視頻語義理解，大數據分析。
>100Tops適用模型訓練，視頻結構化，城市大腦（大數據分析）。
最後，在本期公開課中，王軍還介紹了全志科技近期發布的主打AI語音專用的重磅產品——R329，它是首款搭載Arm中國全新AI處理單元（AIPU）的高算力、低功耗AI語音專用晶片。通過集成高性能的AIPU、DSP、CPU，將為智能音箱、智能家居帶來嶄新的AI交互體驗，助力打造「全新AI新算力」智能語音產品。
隨著我國政府不斷加大對於人工智慧和晶片領域的投入，未來幾年將是我國AI晶片技術和市場成熟的重要階段。人工智慧的興起，給中國在處理器領域實現彎道超車提供了絕佳機會。前瞻產業研究院預計未來幾年內，中國晶片市場規模將保持40%-50%的增長速度，2024年，市場將達785億。
（校對/ Aki）