雷鋒網 AI 科技評論按：機器學習和神經網絡的出現給人工智慧領域所帶來的極具革命性的影響，如今整個人工智慧研究界都有目共睹。作為人工智慧神經網絡方向的學術界資深科學家，貢三元教授深諳當前深度學習神經網絡所存在的問題，對此，他提出了 NN 3.0 的概念，創造性地採用深入學習（Internal Learning）的方法來訓練神經網絡模型，不僅能夠實現內部神經元可學習性，還兼具內部神經元可解釋性。對於這一成果，貢三元教授也在 4 月 9 日的第二屆全球人工智慧應用創新峰會上進行了分享。
會後，雷鋒網 AI 科技評論也藉此機會與貢三元教授進行了一次交流，圍繞他的研究經歷、成果以及治學理念進行了深入探討。
貢三元教授，1977 年獲得史丹福大學電子工程博士學位；1974 年加入美國安達爾公司任職工程師；1977 年至 1987 年，在美國南加州大學電子工程系統專業任職教授；1987 年至今，任職普林斯頓大學電子工程專業教授。同時，他還是史丹福大學、代爾夫特大學、早稻田大學訪問教授，中國科技大學榮譽教授以及香港理工大學榮譽講座教授。此外，他還是美國 IEEE 終身院士、 Journal of VLSI Signal Processing Systems 主編等等。
貢三元教授的研究領域包括，機器學習、系統建模與識別、人工神經網絡、無線傳輸、傳感器陣列處理、多媒體信號處理、生物信息數據挖掘與識別，曾發表 400 餘篇（部）論文及專著，包括：《大規模集成電路和現代信號處理》（英文版及俄文版）、《大規模集成電路處理器》（英文版、俄文版及中文版）、《數字神經網絡》（英文版）、《主成分神經網絡》（英文版）、《生物信息認證：一種現代方法》（英文版）等。鑑於其學術貢獻，他曾獲得的重要獎項包括：IEEE Signal Processing Society 技術進步獎、最佳論文獎、傑出講座學者，IEEE Third 千禧年勳章等。
轉入神經網絡和機器學習，始於興趣而終於使命
博士畢業於史丹福大學電子工程專業的貢三元教授一開始的研究方向主要是計算機體系結構、模式識別和多媒體信號處理等，直到 1980 年才轉入神經網絡領域。當時，神經網絡技術取得了一定進展，也為該領域的研究者帶來了充足的科研經費，在這樣的大背景下，貢三元教授開啟了他在神經網絡領域的研究並取得了豐碩成果，不僅先後出版了 4 本相關學術專著，還提出一系列創新性和前瞻性的理論。
之後，貢三元教授更是對機器學習領域產生了濃厚的興趣，而這份興趣，則是源自於他對整個機器學習發展歷程的思考。他提到，機器學習分為監督學習 (supervised learning) 和無監督學習 (unsupervised learning），現在大家所講的 NN1.0 及 NN2.0 都屬於監督學習。同時機器學習系統包括兩個子系統——特徵工程 (feature engineering) 和標籤工程 （label engineering），而 NN1.0、NN2.0 兩個階段對這兩個子系統的訓練方法是非常不同的：
在 NN1.0 的時代，機器學習只顧得上後半段標籤工程，而前半段的特徵工程得依賴於領域專家將特徵找出來。這樣的話，靠機器學習實際完成的部分其實是比較少的。而在 NN2.0 時代，機器學習的特徵工程部分也由神經網絡來完成，其使用的學習方法就是今年的圖靈獎獲得者提出的反向傳播算法（BackPropagation， BP），也就是說整個機器學習過程都由同一個 BP 算法來完成。
貢三元教授以一個 Lenet-5 深度學習模型為例，來具體闡述二者在訓練方法上的不同：「它的前面 3 層做特徵工程, 而後 2 層做標籤工程。NN1.0 時代，前 3 層的特徵工程依賴於領域專家找出特徵；而 NN2.0 所使用的 BP 則能夠利用反向傳播訓練到所有 5 層：包括 3 層特徵層及 2 層標籤層。這樣的話，NN2.0 就擺脫了對領域專家的依賴，NN 因而也正式地進入 NN2.0 （Deep Learning）時代。現在 AI 和機器學習基本上是綁定在一起了，大家也公認 NN2.0 是當下 AI 的領頭樣，從而也把 NN2.0 及 AI2.0 畫上了等號。」
然而， NN2.0 雖然擺脫了對領域專家的依賴，讓神經網絡進入到一個新的時代，但是它仍存在某種程度上的問題和缺陷。對此，貢三元教授分析到：
由於 NN 2.0 的 Teacher 是擺在外部的, 因此這樣的訓練過程無法做結構和神經元細粒度優化，也就是說在 NN2.0 時代，機器學習事先設定了固定的架構，只做參數訓練，所以對 NN2.0 而言，網絡的訓練取決於外部優化指標（External Optimization Metric，EOM)。更準確地說，BP 算法取決於相對於 Teacher 的誤差，誤差越大，修正就越多。
這實際上也暴露了 NN 2.0 所存在的某些問題：首先，當機器學習要學習太多層時，普通 BP 是無法應對過來的，需要使用 Deep BP 的技術；而更嚴峻的問題是，神經網絡的架構一旦確定後就無法改變，也就是說如果網絡的大小、寬度和厚度事先都固定好了，一旦無法通過調參來得出好的結果時，就不得不重新訓練另外一個網絡結構。
在對機器學習以及神經網絡的這一探索過程中，貢三元教授也產生了深深的使命感，正是在這種使命感的引導下，他也一直致力於為 NN 2.0 所存在的問題尋找出路。而這一出路便是貢三元教授最新提出的 NN3.0。
從 NN 2.0 的深度學習到 NN3.0 的深入學習
NN3.0 也是貢三元教授在本次全球人工智慧應用創新峰會上分享的重要成果。他創造性地提出了深入學習（Internal Learning）這一新概念，對神經網絡同時做參數和架構的訓練，這樣的話，整個訓練過程就能深入網絡內部結構，並實現神經元的優化，不僅能夠實現內部神經元可學習性，還兼具內部神經元可解釋性。由此，NN 跨入 NN 3.0 時代。
貢三元教授也非常詳細地解釋了 NN 2.0 及 NN 3.0 的區別，以及 NN 3.0 為機器學習領域所帶來的革命性影響。他表示，雖然 NN 3.0 與 NN 2.0 一樣，都屬於監督學習，需要 Teacher，然而它放置 Teacher 的位置與 NN 2.0 截然不同：NN 2.0 將 Teacher 放置在神經網絡外部，只能從神經網絡外部進行訓練，無法捕捉內部神經元的行為；而 NN 3.0 則將 Teacher 放置於神經網絡的內部，既能調參數，同時也能調架構。
另外在對 Teacher 所使用訓練方法上，NN3.0 也與 NN2.0 有所不同：除了外部優化指標（External Optimization Metric，EOM）, NN3.0 還採用了內部優化指標（Internal Optimization Metric，IOM）來實現神經網絡的內部學習。這樣的話，NN3.0 可以直接深入到神經網絡內部，利用數學模型就能夠很簡易地對每一個神經元實現精準計算和衡量。其具體的實現方式是，在機器學習過程中將 Teacher 送進神經網絡內部，然後用 IOM 評價標準算出各個神經元的分數，再淘汰掉分數最低的神經元，從而對神經網絡結構做出最優化處理。實際上，這也說明了神經元參差不齊的特性，因而機器學習也應該將其作為結構學習的重要指標。
貢三元教授又以一個實際案例對神經元參差不齊的特性以及判斷出各個神經元的好壞的重要性，進行了補充說明：「比如說在雙人網球賽上，一般大家會認為隊伍中每個球員都很重要，缺一不可。然而在大團隊計劃中, 隊員們的水平往往會參差不齊，並且團隊最忌諱的就是有破壞性的「豬隊友」——它不僅不給團隊加分，反而會減分。所以，如果要讓神經網絡能做結構訓練，就必須讓它自行判斷出哪個神經元好以及哪個不好，然後選擇出最壞的、最有破壞性的神經元，並將其丟掉。」
值得一提的是，貢三元教授還表示這一創新理論其實也受到了生物學相關知識的啟發。他提到：「人每天起床前，都會有成千上萬個腦神經元在睡夢中退化淘汰，經過新陳代謝後，人的思維反而更清晰了。同樣的道理，NN2.0 中不好的那些神經元不僅會消耗計算，而且經過訓練後也可能會導致過擬合（overtrained）的問題。而 NN3.0 則提供了解決捷徑：通過淘汰掉低分數的神經元，神經網絡在提升性能的同時，也大幅度節省計算。」
藉助鯤雲在晶片上的優勢，NN3.0 能高效率應用在 FPGA
為了加強 NN3.0 的應用，貢三元教授在整個 NN3.0 網絡的設計上，也考量了對於機器學習來說至關重要的五項指標：第一，高性能；第二，小體積；第三，快速度；第四：低功耗；第五：延遲性問題。在本次主題演講裡，他也將 NN3.0 模型和最有代表性的 NN2.0 模型做了綜合性的比較，結果顯示，NN3.0 在以上指標呈現出了相當程度的優勢。
貢三元教授表示，其團隊目前正在嘗試跟鯤雲科技合作，希望藉助鯤雲科技在技術應用落地尤其是人工智慧晶片上的積累和優勢來加速 NN 及 AI 的應用。
對於 NN3.0 以後的發展，貢三元教授表達了他的信心, 並指出了 NN3.0 可能實現的兩種突破性應用：
第一種可能的應用，是 NN3.0 將能在夠機器互動及機器間互學習方面發揮巨大的價值。「現在我們正在迎接 5G 時代的來臨，未來在很小的範圍內就有可能同時進行成千上萬的機器學習，而機器互動及機器間互學習也會變成數據處理的一個新裡程碑。正是得益於 NN3.0 的深入學習讓我們在網絡結構的訓練上有了更深入的了解，我們的團隊目前在研究一種加強性的轉換學習技術 （Reinforced Transferable Learning），該技術有潛能把一個機器學習的結構轉換為另外一個機器所用，從而加強另外一個機器的性能。」另一種可能的應用，則是 NN3.0 的內部神經元可學習性（Internal Neuron Learnability）可以直接應用到 XAI3.0 的內部神經元可解釋性（Internal Neuron Explainability），從而解決 BP 算法所存在的不可解釋性。對於 AI 可解釋性在未來 AI 發展領域的重要性，貢三元教授也用具體實例來進行了說明：「在 80 年代，美國政府曾對 NN1.0 給予了大量經費資助，然而之後停了一大段時期，因此深度學習 NN2.0 的主要發現（獲今年圖靈獎）反而是靠加拿大政府資助的。為了扭轉乾坤，美國政府又奮起直追，將成千上萬經費投資在可解釋性 AI（XAI）上，這也順勢帶領了未來 AI3.0 的趨勢——朝著可解釋性的人工智慧網絡發展，也就是所謂的 XAI3.0。」AI 技術實際應用有 5 大要素
雖然貢三元教授一直在學術界耕耘，我們在採訪中也探討了關於 AI 技術在實際應用上的現狀以及它所面對的挑戰，他認為 AI 工業應用有 5 個關鍵要素：
第一個是架構及晶片設計 (Architecture & Chip Design)第二個是計算方法 (Algorithm）第三個是應用（Application）第四個是通訊網絡 （Communication network）第五個是雲端 （Cloud）
對於目前這 5 個關鍵要素在各個國家的實現程度，貢三元教授特別指出中國雖然在晶片設計、計算方面尚存在不足，但整體而言在其它領域都有相當的規模及深度。
在晶片設計、計算方面的不足在某種程度上也暴露出了中國研究者在 AI 基礎性研究方面所存在的不足，而這深根究底就離不開中國目前的教育制度以及研究方法所存在的問題。對此，貢三元教授也從中美兩國不同的教育機制角度，表達了他的看法：
目前中國學術界大多是使用論文做基本指標，並且指標周期也是相對短期的：在一兩年內要求他們出成果。然而在美國，我認為我的母校史丹福大學就做得很好，它會給予研究者 2 年到 5 年的研究期限。普林斯頓大學就更是如此，它是全世界最具有學者氛圍的高校，一般的研究期限可以達到 5 年到 20 年，這也是我能夠有寬裕的時間寫出這麼多書的原因。在這種科研發展體制下的 AI 研究工作，一開始有可能是不斷摸索，甚至於無止境地燒錢，但是一做出成果就相當有分量，甚而有圖靈獎級的成果。這是當下中國教育及中國科研發展亟需學習和思考的。
做基礎研究要有基本價值觀，數學是 AI 研究的「制勝法寶」
作為一位人工智慧領域的前輩研究者以及一位德高望重的教育家，貢三元教授也一直關注著中國後輩研究者的研究動態，對於他們，他也提出了三點建議：
第一，做基礎研究要有自己的基本價值觀。當下研究圈內跟風、跟熱點的現象比較嚴重，所以研究者們一定要有自己的判斷以及長遠的眼光，不能被短期的研究熱點所迷惑，不能跟風。第二，要對事情存疑。尤其是中國學生特別容易相信論文或者權威，其實這種思維很危險。研究者們一定要懂得去探究為什麼，不然跟錯了方向都不自覺，這是我對中國年輕人的期許。第三，一定要加強對基礎知識尤其是數學的重視。特別是博士學生，更是要加強自己在數學方面的積澱，因為如果想把中國的人工智慧研究帶到全世界頂尖的位置，就必須要藉助數學這一制勝法寶。
其中，對於數學的重要性，他更是以自己在教學方面對於數學的看重為例進行強調：「現在我在普林斯頓大學教的課表面上是深度學習、神經網絡相關課程，事實上我的授課重點是面向深度學習的數學。這是因為我認為數學基礎對於 AI 科研工作者來說非常重要。」
也正是因為中國學生在數學方面無論是質還是量都達到了世界一流的水平，貢三元教授也在看到了他們在 AI 基礎研究方面的極高潛能。 「數學好，才能夠在 AI 領域做出革命性的成果。而中國學生在這方面擁有極大的優勢，因而對於中國學生而言，AI 絕對是一個千載難逢的機會。」
（完）雷鋒網 AI 科技評論報導。