CCAI 演講回顧|蒲慕明:腦科學與類腦機器學習

2020-12-06 CCAI2020

中國人工智慧大會是我國人工智慧領域規格最高、規模最大、影響力最強的專業會議。時隔一年回顧CCAI 2018大會,我們不難印證,演講者提出的許多設想與展望都正逐漸成為現實,他們的寶貴經驗為產、學、研等領域引領了發展方向。

CCAI 2018《腦科學與類腦機器學習》主題演講實錄摘編

蒲慕明 中科院神經科學所所長,中國科學院院士,美國國家科學院院士

腦科學與類腦智能研究的關係

歷史上人工智慧出現了三次浪潮,每次往上的推動都是從神經科學裡得到的啟發。例如,McCulloch和Pitts在1943年提出MP神經元模型,以及80年代Hopfield算法、BP算法。最近的深度網絡學習,它包括多個層次,每個層次具有不同的功能,這也是從視覺系統得到的啟發。

2018年3月北京腦科學與類腦研究中心掛牌成立。北京大學、清華大學、北京師範、中國醫學科學院、中國中醫科學院等8家研究單位共同籤署了《北京腦科學與類腦研究中心建設合作框架協議》。腦科學與類腦科學被納入「科技創新2030-重大項目」,將「以腦認知原理為主體,以類腦計算與腦機智能、腦重大疾病診治為兩翼,搭建關鍵技術平臺,搶佔腦科學前沿研究制高點」。

要理解大腦需從三個層次上分析

第一個是宏觀層次。通過核磁成像的技術可以得到除了的神經束的走向,但單單只了解神經束的走向對於理解腦功能並沒有太大貢獻。我們要進一步了解大腦必須要達到神經元水平。第二個就是介觀層面,空間解析度要達到微米。用特殊方法來標記不同的神經元種類,了解不同神經元的功能。介觀神經連接圖譜是目前神經科學的主要方向。第三個是微觀層面,微米到納米尺度。在微觀層面對神經元軸突和樹突的分布以及突觸產生規律的研究可以得到很多有用信息的。

解讀整個神經網絡的難點

第一個難點就是每一種腦功能都有大量神經元集群參與,簡單的視覺輸入就有百萬千萬的神經元被激活。我們非常缺乏非幹擾性大量觀測神經元集群活動的技術。美國腦計劃主要就是在開發腦研究新技術,新技術主要是觀測技術,還有能夠分析大量神經元動態信息的大數據分析方法。大數據分析不是盲目分析,我們需要有理論指導,用數據去檢測這個理論的準確性。

2017年在論文Automated synaptic connectivity inference for volume electron microscopy中,研究人員介紹了一種自動化突觸連接額推論流程(SyConn),該模型需要使用所生產的神經突起骨架以及分類器訓練數據作為輸入,並提供了一張有著豐富註解信息的接線圖或是某個連接組的組件。在該推理流程模型中,第一步是對神經突起骨架進行體積重建。然後是對圖像數據中的突觸及其它超微結構對象(比如囊泡、線粒體)進行轉換。對超微結構的檢測可進一步增加強神經突起的重建效果。

實觸可塑性與Hebb假說

可塑性是大腦認知功能的基礎,可塑性使得大腦網絡形成新的狀態,就會產生新的行為。大腦是不斷在變化的,每一個活動都引起功能和結構的變化。Hebb(DonaldHebb是加拿大的心理學家)認為:同步的活動可造成突觸加強或穩固。如果兩個神經元同時發放,他們之間的突觸聯接就會加強;如果不同步,那麼突出前後的連接就會削弱。

可塑性的現象最早是由中國科學家馮德培發現。馮德培在英國拿到博士學位回國後,在協和的生理系建立了實驗室,專門研究神經肌肉接頭的功能。1946年,在他的系列論文的26篇中報告了一個現象:在神經肌肉接頭的突觸,通過高頻的刺激,可以引起突觸後肌肉電活動的加強,這個加強長達十分鐘之久。突觸的效率因為電話活動而改變,很快的幾秒鐘高頻刺激,產生的後果是十幾分鐘的突觸增強,這就是可塑性。馮德培1941年發現的現象,是可以拿諾貝爾獎的,但是馮德培先生90年代過世了。到20世紀70年代,人們才在中樞神經系統中發現了類似的現象,被稱為長時增強(LTP)和長時程減弱(LTD)。電活動過後,在腦網絡裡留下了長期的痕跡,就是記憶,記憶就是存儲在審計傳遞的效率變化之上。

突觸可塑性除了突出效率的改變,還有突觸結構的變化。為什麼軸突不直接把信息送到樹突上而是傳遞到樹突棘上呢?其中原因一直沒有人知道。在耶魯大學做教授的時候,張香桐提出了一個假說:樹突棘(微小的突起)可以作為調節突觸傳遞效率的結構。現在,學界公認樹突棘可以作為調節突觸權重的結構。

赫伯(Hebb)細胞群假說

赫伯認為改變連接強度就是儲存記憶——記憶儲存在網絡中,並不由單獨的位置儲存;把已經儲存記憶的細胞群再激活,電活動再出現,記憶就會被提取。比如說我們從小時候開始,祖母面孔就不斷的激活我們的細胞、眼睛、嘴巴、鼻子等都會特定激活一群細胞,整個大細胞集群在祖母面孔出現時候集體放電。通過這個超級赫伯細胞群,我們長大了以後,只要看到祖母的眼睛,部分的細胞群激活了,就可以喚起祖母面孔的記憶。

赫伯細胞集群假說可以做進一步補充。祖母是一個概念,這個概念包含了她的面孔,還包含了聲音、唱的歌、名字,我看到這些所有的特徵,任何其中一個特徵,都可以喚起對整個祖母全部特徵的反映。這個概念是一個超級超級細胞群,她唱的歌也許儲存在聽覺區,她的面孔在視覺區,味道在嗅覺區,這些信息再跟祖母相關的事情出現的時候,都會同步被激活。這是一種多腦區同步放電活動,是一種超級超級赫伯細胞群的放電。

赫伯學習法則的新轉折

赫伯認為同時放電的神經元連在一起,不同步放電就網絡連接,但是20年前出現了新的轉折——強化或者弱化不只是同步,而是有時序性。突觸前放電先於突觸後放電,突觸強化,反過來就弱化,這種有時序信息的現象我們稱為時序信息依賴的可塑性(STDP)。現在已經有人在人工網絡上運用STDP。

我們可以做一個簡單的遊戲,把貝多芬的《致愛麗絲》正序彈奏每個人都會聽出來,反過來彈卻沒人會聽出來是什麼曲子,這是因為記憶是有時序性的。

2018年8月普渡大學納米電子研究實驗室Chankyu Lee等人發表了文章Training Deep Spiking Convolutional Neural Networks With STDP-Based Unsupervised Pre-training Followed by Supervised Fine-Tuning。在文中,他們提出了一種對於脈衝神經網絡(SNN)使用生物學上可信的無監督學習的與訓練方案,及Spike-Timing-Dependent-Plasticity(STDP),以便在監督優化之前更好地初始化多層系統中的參數。

可塑性對人工智慧發展曾有過關鍵性貢獻

Hopfield人工神經網絡,每一個突觸點賦予某一權重,單元將所有輸入加合,各突觸的權重可以用赫伯學習法則調節。BP(反向傳播)算法可以用來學習說話,Francis Crick對此做出來高度評價,在「The recent excitement about neural networks」文章中認為BP算法非常驚人,但是也提出大腦中似乎沒有這種機制,大腦的是軸突的信息送到樹突的單向過程,而沒有反饋信息。幾年以後,我們通過記錄多個神經元來驗證這種說法是否真實。我們發現突觸前神經元內存在逆向傳播和側向傳播,突觸後只有側向傳播,沒有前向傳播。軸突終端產生的LTP可以在突觸前神經元回傳,但不能往在突觸後前傳,我們稱這種現象叫做natural BP。現在在自動化所,我們將natural BP應用到人工神經網絡上面,希望對非監督或者半監督學習有點幫助。

2018年10

在Physical Review發表的文章Quantum Hopfield neural network中,Patrick Rebentrost等人提出了採用Hopfield網絡的量子算法,它可以用於模式識別,重建和優化,作為內容可尋址存儲系統的實現。文章表明,通過將網絡編碼成量子態的幅度,可以將指數大的網絡存儲在多項式數量的量子比特中。通過引入用於操作Hopfield網絡的經典技術,可以利用量子算法來獲得量子計算複雜度,該複雜度在數據維度中是對數的。

相關焦點

  • 蒲慕明:中國有望引領全球腦科學合作大科學項目
    」論壇上,中國科學院院士、中科院神經科學研究所所長蒲慕明在接受第一財經記者獨家採訪時表示,國際腦計劃合作項目正在推進,鑑於中國過去長期以來在神經科學方面的大量工作,未來有望在國際腦科學合作大科學項目中起到引領作用。
  • 蒲慕明:意義非凡的腦科學
    腦科學是一門極富魅力的生命科學,它充滿神秘,又和每個人的生活息息相關。意識是怎麼產生的?為什麼人各有志?為什麼有些人更聰明、記憶力好?為什麼有些兒童有自閉傾向?為什麼有些人患抑鬱症?機器人怎樣才能擁有人類的智慧和能力?人類社會未來如何與智慧機器人共存?這些問題可以說與腦科學密切相關。
  • 中國腦計劃領軍人物蒲慕明:克隆猴很快樂,年底前有重大成果
    它們現在生活很好,跟野生猴在一起生活,實際上普通人分不清哪只是普通猴,哪只是『克隆猴』」,蒲慕明說道。克隆猴對腦科學研究有重要作用。蒲慕明表示,克隆猴有非常多的好處,可以進行神經生物學的基礎研究,也可研究疾病的原理。事實上,由於通過鼠類模型進行的神經藥物試驗超過9成無效,要研究腦類疾病必須使用更接近人類的動物。猴的解剖結構和生理功能是跟人最相近的,但也有劣勢。
  • 意義非凡的腦科學
    蒲慕明《 人民日報 》( 2020年10月07日第08 版)腦科學是一門極富魅力的生命科學,它充滿神秘,又和每個人的生活息息相關。意識是怎麼產生的?為什麼人各有志?為什麼有些人更聰明、記憶力好?為什麼有些兒童有自閉傾向?
  • 類腦智能,馬斯克、陳天橋都爭相投資的腦科學是什麼?|萬字研究
    因此,在介觀(處於宏觀和微觀之間的狀態)和微觀層面對大腦做進一步的探索,弄清楚大腦的聯接圖譜和結構圖譜,並在此基礎上製造出像人一樣智慧的機器,就成為當今腦科學研究最重要的發展方向,腦科學也隨著各國政府、企業和學術界的投入,成為了一個炙手可熱的新產業。「腦科學包括哪些領域?」
  • 腦科學如何支持人工智慧的發展?院士和大牛們這麼說
    本次論壇由中國科學院學部主辦,旨在進一步加強腦科學和人工智慧兩個學科的交叉力度和思想碰撞,更好推動這兩個領域的相互融合與共同發展。論壇以腦科學與人工智慧為主題,從腦科學如何支持人工智慧的發展和類腦智能的態勢與發展研討兩個議題入手,邀請到多位相關領域的院士、專家做了主題報告和深度討論。雷鋒網編輯也在現場聽講,並將論壇概況和看點做了整理。
  • 問答|研究癲癇可以成為探秘腦科學的關鍵?
    答:作為腦的疾病,癲癇的「腦屬性」決定了它與腦科學的緊密關係。人類大腦,這個雖然只有1.5公斤左右重,卻擁有1000億個神經元的傢伙,有著多少秘密?腦與神經科學的研究對於類腦智能的開發有著怎樣的啟示?類腦智能的發展在腦疾病的診治方面存在怎樣的潛能?
  • 2019年上海松江腦科學科普夏令營舉辦
    開營儀式上,松江區科委科協黨組書記、區科協常務副主席潘永儉,松江區教育局副局長付炳建致歡迎辭;腦智卓越中心主任、神經所所長蒲慕明向夏令營學生代表授營旗,並為廣大師生上了一堂生動的《從大腦到人工智慧》科普講座,為大家揭示了大腦皮層發育的機理,闡述了腦科學如何助力類腦智能。  同學們分為三個組,每個組下設三個小班。
  • 衝破摩爾定律,類腦晶片怎樣使機器超越人腦
    無獨有偶,近日中國科學院自動化研究所類腦智能研究中心類腦信息處理(BRAVE)研究組也在借鑑生物神經結構的神經網絡建模與類人學習研究中取得了突破性的研究。從計算機誕生起,人們就不斷要求它的計算能力提升,隨著晶片集成性越來越高,CPU與內存之間的性能差距越來越大。
  • 「全腦介觀神經聯接圖譜」大科學計劃中國工作組成立
    黃衛副部長表示,十分高興看到該計劃中國工作組正式成立,希望國內相關團隊在蒲慕明院士的統籌部署下緊密合作,逐步推進計劃實施。和類腦研究領域開展了一系列戰略部署,組建上海市腦科學和類腦研究中心,布局市級科技重大專項等計劃,取得了一批重大原創成果,初步形成了腦科學領域國際合作網絡體系。
  • 施路平:類腦計算——人腦與電腦
    小WE姐近期將陸續放出嘉賓的原聲雙語字幕版視頻和演講全文,歡迎收看~上期我們回顧的是Hod Lipson 關於自我模擬的機器人的演講,今天將繼續分享施路平教授的視頻。 施路平教授的演講題目是《類腦計算——人腦與電腦》。他為我們介紹了發展類腦計算的必要性及其挑戰,並分享了關於世界首款異構融合類腦晶片「天機芯」的研究成果。
  • 打造頂尖腦科學技術交流與融合平臺!「南京腦觀象臺」揭牌
    目前,南京腦觀象臺已匯集我國科學家原創獨有的三大高精尖成像裝備,將「立足江北,面向國內,服務全球」,為腦科學研究者們提供技術交流與融合平臺,為南京江北新區生命健康產業發展提供腦科學領域的尖端創新支撐。南京腦觀象臺將圍繞全球腦科學計劃的重大需求,打造「自由行為動物腦成像」的核心能力,大規模獲取腦動態圖譜數據,推動重大原創發現,助力腦疾病臨床新藥創製,並啟迪類腦與人工智慧研究。
  • 「全腦介觀神經聯接圖譜」大科學計劃將啟動
    力爭2025年完成小鼠、2035年完成獼猴「圖譜」繪製本報訊(記者黃辛、卜葉)9月27日,「全腦介觀神經聯接圖譜」大科學計劃啟動前期工作座談會在上海召開。本次會議明確了該計劃的推進路徑,宣布了中國工作組的成立,並就該計劃的具體實施思路和舉措進行研討。
  • 清華施路平:類腦計算是發展人工通用智能的基石且時機到了!
    現階段,發展人工通用智能的方法主要有兩種:一種是以神經科學為基礎,儘量模擬人類大腦;另一種是以計算機科學為導向,讓計算機運行機器學習算法。二者各有優缺點,目前將兩者融合被公認為最佳解決方案之一。發展一個二者融合的計算平臺將是推動融合的一個關鍵。
  • 【腦科學與教育】看「腦科學」引發的課堂與學習模式改變
    腦科學的研究最為關鍵的領域還在於塑造人腦本身,而教育的實質其實就是在發展和建構我們的大腦。今天,現代化的教育已經無法脫離對腦科學的研究。任何一種學習能力的培養、學習品質的提升;任何一項知識的獲取、合作的建立、行為的變化、情緒的調節;以及注意力、記憶力、思維力、反應力和自控力的養成都與腦科學密不可分,其背後都是對大腦的深層認識與科學塑造。
  • 蒲慕明院士:剛開始做科研的年輕科學家們一定要沉下心
    近幾年,全世界掀起腦科學的浪潮,這個浪潮在歐美、日本都引發了國家性的腦科學計劃。我們中國科學家在過去幾年中也做了很大的努力——積極推動中國腦計劃的啟動,中國科學院神經科學研究所所長蒲慕明院士就是其中一位。
  • 大腦可塑性 腦學派參與腦科學與教育國際論壇研討
    2019年5月11日-12日,「大城市教科院聯盟全國二次學術年會暨腦科學與教育國際論壇」在青島國際會議中心隆重開幕。腦學派課程創始人錢陽秀女士作為與會嘉賓分享了「0-6歲兒童腦發育與科學養育」主題分享。本次論壇為期兩天,主題為「共建更好的全球教育未來」。
  • 第三代人工智慧:「統計」還是「類腦」
    統觀人工智慧的發展歷史,從以專家系統為代表的第一代人工智慧,已發展到以統計機器學習為代表的第二代人工智慧。展望未來十年到二十年,第三代人工智慧應沿著既有的「統計」路徑不斷完善,還是借鑑人類大腦的模式和結構,走「類腦」的道路?「統計」延伸還是「類腦」重建「是時候考慮人工智慧下一步該怎麼走了!
  • 腦科學領域引領世界科學的十大前沿科學問題發布
    5月26日至27日,第二十屆中國科協年會系列活動之一——腦科學研究學術研討會在杭州舉行。會議主題為「腦科學和腦健康:機遇和挑戰」。浙江省副省長高興夫、浙江省政協副主席蔡秀軍等出席會議。浙江大學校長吳朝暉院士、中科院神經科學研究所所長蒲慕明院士、中科院上海分院副院長張旭院士、北京天壇醫院趙繼宗院士、北京大學程和平院士、交通大學賀林院士、美國史丹福大學Nirao Shah教授等十餘位國內外專家學者在會上作主題發言。會議主席由浙江大學段樹民院士和美國加州大學聖地牙哥分校鄒益民教授擔任。
  • 蒲慕明:《大腦之美》序言,腦探索的起點
    ,而是一種歸納性的描述,同時更進一步提出假說的科學研究過程。神經網絡在發育期的修剪、記憶學習過程中的結構變化、創傷後的重建等等仍是目前神經科學界的重大問題,卡哈爾在他的著作中有充滿睿智的預言。卡哈爾對年輕科學家強調做科研要堅持,他所說的不僅是在實驗臺前堅持工作,也應包括對自己科學信念的堅持。隨波逐流易,中流砥柱難,卡哈爾的科學歷程值得我們的體會和學習。