作者 | 阿司匹林
責編 | 李雪敬
封圖 | CSDN 下載自視覺中國
作為已經有4000多名員工的AI獨角獸,商湯的一舉一動備受關注。
從2018年開始,奔著「開源、統一、可復現」的目標,商湯開始建設人工智慧算法的開源體系。當時,商湯聯合創始人林達華教授則主導發起了OpenMMLab項目,今年商湯將其升級為商湯的算法開放體系。
經過兩年的發展,OpenMMLab在GitHub上累計收穫了超過20000 Star,覆蓋10多個研究方向、100多種算法和700多種預訓練的模型,可提供開放的基礎技術支持、接口標準和算法框架,逐漸形成了完整的體系和組織架構。
然而在自主可控的號召下,作為底層的深度學習框架更受關注。
2020年初,曠視、華為等先後開源 MegEngine 和 MindSpore,商湯 SenseParrots 的下一步動向立即成為業界關注的焦點。
實際上,商湯從創立第一天開始就自主研發深度學習平臺 SenseParrots,經過這幾年連續三代的迭代,已經形成了非常完整的工業級的深度學習平臺。
然而為何商湯選擇先開源 OpenMMLab,而不是 SenseParrots,背後是出於什麼考慮?會有開源的規劃嗎?
8月,在蘇州舉行的全球人工智慧產品應用博覽會上,CSDN 與林達華教授一起聊了聊商湯的開源規劃,以及產學研結合的那些事。
開源框架如何才能發揮更大的價值
CSDN:為什麼選擇 OpenMMLab 作為切入點?SenseParrots 是否有開源的計劃呢?
林達華:商湯有底層的超算平臺,有自主研發的深度學習框架,也有上層的各種算法和應用平臺,這些是商湯自主研發和原創積累下來的技術體系。為了響應國家的號召和社會的期待,各個 AI 企業都開始有自己的開源戰略,商湯也有自己的思考,我們理解開源的一個最重要的目的就是要能夠為科研和產業服務的開放技術生態。
開源切入點的選擇非常關鍵。現在在深度學習框架領域,雖然已經有了不少開源框架,但是目前被廣泛應用的主要就是 PyTorch 和 TensorFlow,而且已經形成了非常巨大的生態。 不管是每年數以千計的論文,還有各個企業所積累的各種各樣的產品,它們背後的代碼都是基於這兩個框架。
人工智慧領域發展到現在,已經形成了一個豐富的體系。一個人工智慧應用的建立不僅依賴深度學習框架,還需要多層次的算法、工具、以及各種工程環境的支撐。因此,單純開放一個訓練框架,沒有生態的牽引與配合,是很難形成較大的影響力的,也很難給整個業界帶來很大的價值。
我們做開源,就是要真正建立一個有影響力的開源生態。我們選擇現在相對空白的領域——視覺深度學習領域的開放算法體系OpenMMLab。即使有 PyTorch、TensorFlow 這些底層的深度學習框架,開發者要建立起來一個完備的上層應用,依然需要大量的算法和工程開發工作,而這一塊的開源體系還是處在相對初級的階段,這也是為什麼 OpenMMLab 開源了一部分算法庫,比如 mmdetection 已經取得了巨大的影響力,OpenMMLab 旗下的其它開源項目的影響力也在持續增長。目前 OpenMMLab 體系在 GitHub 已經有超過20000顆星。
有了生態影響力之後,我們以此為切入點,就可以規劃下一步。未來我們會在合適的時機開放更底層的深度學習框架 SenseParrots,它提供了跟 PyTorch 等主要框架兼容的表達層,因此跟OpenMMLab的生態是連接在一起的。只要各種上層應用都是基於 OpenMMLab 來構建,那麼我們開源 SenseParrots 等基礎設施之後,開發者的遷移成本就會大幅降低,真正帶動生態發展。
這是商湯在開源策略上的思考,也是我們朝著真正建立一個有影響力的開源生態而努力的目標。
CSDN:OpenMMLab 的主要優勢在哪?
林達華:商湯在計算機視覺和深度學習領域有著非常深厚的技術積累。每一個算法的開發都是一個非常複雜的過程,除了大量的算法設計,還需要大量的工程實踐,裡面任何一個參數設計錯誤,就會導致精度達不到應有的水平。
比如,一個簡單的檢測算法,理解其原理其實不是很花時間,但真正要實現出來,並達到預期的結果, 即使是一個受過專門訓練的博士,也會花費大量時間。就像設計一架飛機,雖然基本的物理原理大家都懂,但是要設計出符合性能要求的飛機,需要很長時間的沉澱。
商湯在過去幾年裡沉澱了大量的設計細節和經驗,因此其他人在使用商湯開源的算法時,不需要把同樣的坑再踩一遍。對於企業和科研來說,具有非常巨大的價值。
CSDN:商湯開源的目的是什麼?OpenMMLab 有商業化的規劃嗎??
林達華:商湯開源的目的更多是構建人工智慧未來的產業生態。一旦建立起生態,整個行業發展起來,大家都會認識到商湯在這個過程中能夠提供平臺的能力,就會有越來越多的夥伴和企業願意跟商湯合作,把 AI 推到到更多的行業中。生態的構建給商湯所帶來的長遠的戰略利益是非常的巨大的。
超大模型會成為未來的AI基礎設施?
CSDN:CV 領域有哪些令人興奮的技術或者應用突破?
林達華:自然語言處理領域的 BERT、GPT 等引起了學術界和產業界巨大反響。現在的AI生產模式是遇到一個新的場景,就需要重新積累數據,收集數據,訓練一個新的模型,成本高昂。但是從長遠來說,我們也在一直在探索,在 CV 領域能不能有類似於 GPT 這種非常強有力的預訓練模型。
受到 NLP 領域的啟發,CV 領域已經開始有人在探索有沒有能夠適用於多項應用的預訓練模型,在不需要迭代或者非常短時間迭代的前提下,就能夠達到實用水平。
我們已經在探索一些新模型訓練的方式方法,經過短周期的迭代,就能夠滿足大量新型應用的性能要求。但是做這方面研究的機構不是很多,因為大模型的訓練花費需要非常大的算力支撐,訓練一次的花費也是非常高昂的。
商湯在建設大型的人工智慧計算平臺,一方面支撐產業賦能,另外一方面支撐技術的突破。我們實驗室在這方面已經取得了一些初步的成果,可能在下次的會議上,就會看到我們的進展。
此外,我們也在積極探索各種無監督、半監督、弱監督方法,以及通過把模型和各種環境因素結合在一起的方法,來降低對標註數據的依賴。在今年的 ECCV,我們的多篇論文就體現了我們在這個方向所取得的成果。
CSDN:模型越來越大越來越深,這是未來的必然的發展方向嗎?它會怎樣影響AI生態?
林達華:科研是一個非常多樣化的領域,隨著超大模型的湧現,如果他們的價值真正能夠在廣大的場景裡面得到驗證,會對未來的科研分工模式帶來新的變革。
整個科研鏈條在不同的階段都需要創新,在應用領域需要創新。當GPT出來之後,它只是一個基礎的模型,然而有很多人用非常創造性的方法來使用這個模型,所以應用層可以有很多創新。而有算力資源的人,也可以對這個模型做一些簡單的迭代,應用到某種比較新奇的領域。
我其實並不認為全社會和整個科研界都是需要訓練大模型。未來整個科研分工可能會有新的改變:少數有充足計算資源和工程能力的大型研究機構或者企業會在核心模型上進行競爭,並且把這些模型能力開放出來作為基礎設施,而更多的AI研究者或者從業者則會站在巨人的肩膀上在應用側進行多種形式的創新,解決產業和生活中的各種場景問題。
大牛回歸學術界,是好是壞?
CSDN:一些著名科學家開始從企業回歸學術界,是否意味著 AI 科研和工程落地之間存在巨大的鴻溝?商湯內部是如何考核科研的成績並做好平衡的?
林達華:隨著 AI 業務越做越深入,可能在 AI 發展的初期,算法研究員起到了非常大的推動作用,但是隨著各個行業AI技術的成熟,行業需求愈發突顯,包括商湯在內的企業,商業、產品、運營等人才的作用越來越重要,但是技術創新依然是最重要的源動力。
為了把 AI 推廣到更多的行業,需要在技術方面有新的突破。這時有一部分科學家看到這些問題的存在,但是在企業裡不一定可以花很長時間投入很多資源去做,對於這些更長期的更具探索性的研究,高校或者大型實驗室是可以發揮很大作用的。所以 AI 真正持續長時間的健康發展,一定需要產學研的有機結合。
要解決現在 AI 數據成本等方面的根本問題,需要核心技術的突破。如果一個科學家從未在企業裡待過,他看不到問題在哪裡。那些在企業界待過的科學家再回歸學術界,其實也能帶來一些對整個產業發展真正有價值新思考,引領學術跟產業的融合。
商湯對這種事情一直處理得非常好,我們和很多高校實驗室都有天然的聯繫,包括我在內的研究leader都在研究機構和高校裡扮演很重要的角色,這樣就能夠在帶動高校研究資源的同時,與企業的聯動也更加緊密。
如何在機器學習的框架裡實現隱私保護性能超越GPU、FPGA,華人學者提出軟體算法架構加速AI實時化馬斯克腦機接口、BrainOS相繼發布,不努力也能有出路了跑路後再刪庫?思科前員工離職後惡意刪庫,損失達 240 萬美元