雷鋒網 AI 科技評論按：想必各位讀者對深度神經網絡及深度學習都不會感到陌生，不論是在數據處理或是應用層面，都取得了斐然的成績。但囿於結構的複雜性及超參數的數量巨大，一方面帶來了訓練時間過多的困擾，另一方面，為了追求精度，深度模型需要持續增加層數及參數，反過來又給深度學習帶來了進一步的訓練難度。如何在保證效果的前提下極大地縮短神經網絡系統的訓練時間？學者們也做出了不少探索和嘗試。
澳門大學講座教授陳俊龍教授在近年來致力於解決這一問題。結合他在早期所做的單隱層網絡的相關研究，陳俊龍教授提出了一個名為「寬度學習系統」（Broad Learning System，BLS）的網絡結構，並從去年開始在多個場合提及這一概念。
今年年初，陳俊龍教授團隊的相關論作「Broad Learning System: An Eective and Ecient Incremental Learning System Without the Need for Deep Architecture」也將在 IEEE Transactions on Neural Networks and Learning Systems, pp. 10-24, Vol. 29, Issue 1, 2018 發表。
為此，雷鋒網 AI 科技評論與陳俊龍教授進行了一次交流，深度探討了他關於 BLS 的研究體會，藉此得以從論文作者的角度一窺 BLS 的研究思路。
（陳俊龍教授簡介於文末。）
圖片由受訪者提供
寬度學習系統（BLS）是作為一種「深度學習網絡的替代方法」被提出的，它基於將映射特徵作為 RVFLNN（隨機向量函數連結神經網絡，random vector functional link neural network）輸入的思想而設計。
上世紀 80 年代，早期的神經網絡工作主要集中於解決調參與層次結構問題，特別是梯度下降參數的求解。當時還在美國攻讀學位的陳俊龍就已經涉足神經網絡、模糊系統及遺傳算法的研究。在 90 年代末期，陳俊龍教授基於包約翰教授提出的 RVFLNN 進行了單隱層神經網絡的研究，在增量學習上做出了一些成熟探索。但限於當時的時代條件，對大數據及訓練時間的需求並不迫切，利用 Kernel 的概念及相關應用也尚未流行起來，因此這一理念並沒有得以延續。
而在近年，陳俊龍教授與學生們也做了一些模糊神經網絡結構對等以及模糊波斯曼機的深度神經網絡的相關研究。儘管系統在精度上得到了提升，但在訓練時間耗時過多的特性依然不盡人意。陳俊龍教授聯想到自己往期所做的相關工作，開始規劃設計一個「又快又準的算法和結構」。
BLS 最重要的特點在於它的單隱層結構，具有兩個重要的優勢，一個是「橫向擴展」，另一個則為「增量學習」。與深度神經網絡不同之處在於，BLS 不採用深度的結構，基於單隱層神經網絡而構建，可以用「易懂的數學推導來做增量學習」。
以往在精度不夠準確時，深度神經網絡會採用增加層數或調整參數個數的方式來達到這一目的，而 BLS 可以採用橫向擴展的方式，利用輸入映射的特徵作為網絡的「特徵節點」，再增強為隨機生成權重的「增強節點」，並將映射特徵與增強節點直接連接到輸出端，對應的輸出係數可以通過快遞的 Pseudo 偽逆得出這樣一來，新加入的神經節點，包括新加入的特徵節點，BLS 並不需要從頭開始學習，只需要調節與新增節點有關的權重，也可以對新加入的輸入同時做增量學習。
這兩點可以讓系統「在很短的時間內找到非常高效的結果」，論文中的「eective」 和「ecient」由此而來。
陳俊龍教授告訴雷鋒網 AI 科技評論，BLS 最重要的部分在於「從輸入值映射到特徵值」，「這概念有點像 SVM 裡頭的 Kernel 轉換。或者是 CNN 裡頭的卷積運算。經過轉換的新數組，我們可以稱為『特徵值』。這轉換可以隨機產生，也可以微調，並由最後一層的權重再做最優值。」
而在 MNIST 與 NORB 資料庫上的表現可以看到，雖然 BLS 的測試準確度並非是最高的，但相對而言，在伺服器上的訓練速度要明顯快於其它深度結構神經網絡系統。寬度學習算法能夠逐步更新建模系統，而不需要從頭開始重新訓練。「對於結構改變或輸入變化是而不需要從頭開始訓練學習。因為學習時間非常快，也可以利用網格搜索很快速地找到一個優化的 BLS 結構。」陳俊龍教授告訴雷鋒網 AI 科技評論。
作為一個「無需深度結構的高效增量學習系統」，BLS 實際上也存在著難點與挑戰。在訓練過程中，如果要經由稀疏的映射而對增強節點做比較好的組合，從輸入的非線性的稀疏轉換是一個比較重要的關鍵點。
此外，陳俊龍教授向雷鋒網 AI 科技評論表示，如果輸入過多時，（如 20 萬個輸入樣本，每個樣本至少有兩三千維度時，）偽逆的算法所用的內存就對計算機提出了比較高的要求。「雖然可以通過做樣本輸入的增量學習來達成，但是在每一步的更新後，計算機總是會有微小的誤差。如果能夠把經由輸入的增量學習找出來的最終權重，跟把所有輸入收集一起做 batch mode 的偽逆所得的權重是一樣的話，方能解決內存的問題。」
還有一個難點在於新加入節點會帶來浪費的可能性：基於新加入節點增量學習的前提，無從保證新節點與原有節點是否構成線性獨立。而如果要做一些算法處理（如 orthogonal projection）來構成線性獨立，則可能會額外增加訓練時間，這又與寬度學習的初衷相悖。
雖然目前還存在一些優化空間，但陳俊龍教授認為，BLS 逼近性優、算法快的特性能夠使其很快成為主流訓練方法。「在智能控制方面，類似 BLS 單隱層的神經網絡已非常的流行。」這一點在大數據時代下顯得較為實用：當系統收集到新輸入數據時，在短時間內可以直接對節點進行更新，保證了系統的完整性。
「如果在一個在應用的場景裡，在準確度可以被接受的前提下，能用最短的時間來完成任務，這何嘗不是兩全其美的事情？」在智能控制方面，大部分的系統因為有反饋的迴路，所以寬度學習網絡可以很快速地來做包括系統確定、微調、及輸入的更新在內的工作。另一個重要的思路在於，寬度學習可以很容易地置於客戶端來執行，而不需要依賴遠程的雲端計算，得以很快地做實時的更新，不用高大上的超算機。陳俊龍教授也表示，BLS 的主要應用場景集中在智能控制的環境中進行實時更新學習，譬如在智能家居的環境中更新語音識別、人物識別、物體識別的相關系統，那麼 BLS 也能在其中發揮它的重要優勢，甚至成為主流。
陳俊龍教授在未來會將工作重心放在 BLS 的算法優化和穩定上，除此之外，尋找應用的行業與場景也成為了陳俊龍教授接下來一段時間的工作要點。在理論知識的基礎上不忘找尋應用場景，是陳俊龍教授治學的基本理念。
回憶起在普度大學的博士就學經歷，陳俊龍教授之所以會把這段經歷評價為「整個事業生涯的一個重要裡程碑」，正是在於普度大學非常看重工程背後的理論知識，強調理論與實際應用的結合。當時陳俊龍教授所在的智能製造團隊的 Intelligent manufacturing，下屬傅京孫教授在普度大學建立的「美國工程研究中心」的子團隊，有著不少工程理論的訓練。
陳俊龍教授也正是秉承博士導師贈予的箴言「always try your best」，一直潛心學問，筆耕不綴，共有 31 篇高被引論文（在 ISI 排名前 1%）。在問及如何做論文選題時，陳俊龍教授也不忘首先感謝論文工作的合作者們，隨後再開始談自己的觀點。他認為，要做選題之前，要先對學科研究進行細細分析，判斷是做增量式研究還是大的概念突破，其次，也要對學科研究進行細讀分析。「其實老師們都有出科研文章的壓力。學生得畢業，有時候就不得不出增量式的改良文章（我有時也這樣），但是要時時的提醒自己在一段時間內，還是要想想哪些文章是重要的，會有突破的。」
在採訪期間，陳俊龍教授向雷鋒網 AI 科技評論提及了兩個促使他「跳出舒適感」的節點。一個是 2010 年，在美國長駐 28 年，擔任教職 23 年後，陳俊龍教授決定回國，擔任澳門大學的科技學院院長與講座教授，後續又擔任了自動化學會的副理事長。
「在美國的日子比較單純，經過了奮鬥期拿到了終身教授教職時，不論是在工作和生活上都很愜意，它的舒適感比較高，但是晉升到高層的機會相當就比較少。還有最重要的一點，應該是我個人的觀點，當一件事情沒有挑戰感時，就可能是要跳出那舒適感的時候了。回國來澳門大學是我人生治學生涯中的一個重要分水嶺，它有挑戰感。」在任內，陳俊龍教授推動澳門大學的工程學科及計算機學科獲得國際工程組織（華盛頓協議跟首爾協議）的認證。
作為留美多年的學者，陳俊龍教授在訪談中一方面肯定了美國在 AI 研究上的多層面深入，在基礎理論、技術層面及行業應用的都有著深厚的積累；另一方面也肯定了國內對科研的支持力度（包括澳門、內地），「我國人工智慧技術攻關和產業應用雖然起步較晚，但在國家多項政策和科研基金的支持與鼓勵下，近年來發展勢頭迅猛。在算法上，我國也可以媲美。雖然中國在人工智慧的論文數量方面超過美國，但中國學者的研究影響力目前尚不及美國或英國同行。這也是我們這一行應該側重的。同時我認為 AI 方面的科研應該要有應用市場及對一般民眾的有感（軍事的應用另外談）。之前的中國科協的九大會議裡的萬眾創新就是這種思維。」
而第二個節點則是最近，陳俊龍教授剛剛結束了他作為澳門大學科技學院院長的任期，也提及他正在思考與企業合作的切入點以及「跳出舒適感」，坦承「這是很不簡單的」。陳俊龍教授認為，相對而言，在學術界的研究還是相對自由，可以「自己給自己出很困難的題目，然後想辦法去解決它」，這種成就感讓陳俊龍教授覺得欲罷不能。但企業的研究有時間的急迫性，也有市場、經濟財務的壓力。因此陳俊龍教授認為，要「跳」到企業界不僅有它的難度，也同樣有機緣巧合的因素。
附陳俊龍教授簡介：
陳俊龍，澳門大學講座教授及科技學院前院長，博士生導師，國家千人學者，自動化學會副理事長，IEEE Transactions on Systems, Man, and Cybernetics: Systems 期刊主編。1985 年獲美國密西根大學碩士學位，1988 年獲美國普度大學博士學位。曾在美國德州大學工學院任終身教授、工學院副院長及電機計算機系主任。曾任 IEEE Systems, Man, and Cybernetics Society (SMCS) 學會國際總主席（2012-2013），現任資深主席（2016-2017）。陳教授是 IEEE Fellow、AAAS Fellow、CAA Fellow、國際系統及控制論科學院院士（IASCYS）、香港工程師學會 Fellow，擔任多個 IEEE 期刊副主編。科研方向包括：系統及智能算法理論與工程，數據分析及挖掘，物理建模及智能控制。
陳教授近五年主持與參與的各類國家科技計劃包括：國家基金委、科技部 973 物聯網計劃子課題和澳門科學基金會。曾承接美國基金委，美國航天局，美國空軍科研實驗室，海軍研究實驗室科研計劃。兩次獲澳門自然科學獎，2016 年獲母校美國普度大學傑出電機與計算機工程獎。