斯坦福教授駱利群:為何人腦比計算機慢1000萬倍,卻如此高效?

2020-12-12 人民日報

大數據文摘出品

作者:駱利群

編譯:王一丁、Shan Liu、小魚

AI源於人類大腦的結構,並嘗試達到與大腦相當的能力。那麼二者的差異究竟在哪裡?史丹福大學神經生物學教授駱利群(Liqun Luo)認為,大腦性能高於AI是因為大腦可以大規模並行處理任務。

一起來看李飛飛教授推薦的這篇文章,深入了解大腦與計算機相似性和差異性。

人類大腦的構造十分複雜,它由大約1千億個神經元組成,並由約100萬億個神經突觸連接。人們經常將人腦與計算機——這一有超強計算能力的複雜系統相比較。

大腦和計算機都由大量的基本單元組成。神經元和電晶體,這些基本單元互相連接構成複雜的網絡,處理由電信號傳導的信息。宏觀來看,大腦和計算機的體系結構非常類似,由輸入、輸出、中央處理和內存等獨立的單元組成[1]。

大腦和計算機,哪一種系統解決問題的能力更強呢?鑑於過去幾十年計算機技術的迅速發展,你可能會認為計算機更具優勢。的確,在一些特定領域,通過編寫程序可以使計算機在複雜的競賽中擊敗人類大師,遠至上世紀90年代西洋棋比賽,近及與AlphaGo的圍棋對決,以及參加知識競賽類電視節目(例如Jeopardy)。

然而,計算機在面對許多現實世界的任務時遠不及人類——比如在擁擠的城市街道上識別自行車或特定行人,或伸手端起一杯茶並穩穩地送到嘴邊,更不用說那些需要概念化和創造力的工作。

那麼,為什麼計算機擅長某些任務,而大腦在其他方面表現更優呢?對計算機和大腦進行比較,將為計算機工程師和神經科學家的工作提供指導意義。

在現代計算機時代的開端,一本短小而精深的著作《計算機與人腦》開展了這種比較。該書作者是著名的博學家馮·諾伊曼,他在20世紀40年代首次設計了計算機的體系結構,仍是現代大多數計算機的體系結構的基礎[2]。讓我們看看下圖中的數字。

就基本操作的速度而言,計算機有巨大優勢[3]。目前,個人計算機能以每秒100億次操作的速度執行基本算術運算(如加法運算)。

大腦的速度可以通過神經元相互通信的過程來估算。

例如,神經元激發動作電位——在神經元細胞體附近釋放脈衝電流,並沿著軸突傳遞,軸突連接著下遊神經元。在上述過程中,信息按脈衝電流的頻率和時間進行編碼,且神經元放電的頻率最高約為每秒1000次。

又如,神經元主要通過突觸釋放神經遞質來將信息傳遞給其他神經元,接收到信息的神經元在突觸傳遞的過程中將神經遞質結合轉換回電信號。最快的突觸傳遞大約需要1毫秒。因此無論在脈衝電流還是突觸傳遞方面,大腦每秒最多可執行大約1000次基本運算,比計算機慢1000萬倍。

註:假設算術運算必須將輸入轉換為輸出,所以大腦運算的速度受到神經元信息傳遞的基本操作的限制,如動作電位和突觸傳遞。當然也有例外情況,例如,具有電突觸的無動作電位神經元(神經元之間的連接不存在神經遞質)原則上傳輸信息的時間要快於1毫秒;同一神經元的樹突傳遞信息的速度也比較快。

計算機在基本操作的精確度方面有巨大優勢。計算機可以根據位數(二進位數字,即0和1)來表示不同精確度的數字。例如,用32位二進位數表示數字精度可以達到1/(2^32)或1/42億。實驗表明,神經系統中的大部分數量(例如,神經元的發射頻率,通常用於表示刺激的強度),由於生物噪聲可能會上下浮動幾個百分點,精度最高可以達到1/100,比計算機低幾百萬倍。

註:噪聲反映了神經生物學的多個過程,例如神經遞質釋放具有概率性。例如,在重複試驗中,相同的神經元可能會產生不相同的脈衝電流以響應相同的刺激。

專業的網球運動員可以計算出網球以160英裡/小時飛行的軌跡

大腦進行計算時,同時兼顧了速度和準確性。例如,當網球以每小時160英裡的速度飛出後,職業網球運動員可以計算網球的運動軌跡,移動到球場上的最佳位置,將手臂放到適當的位置上,並在幾百毫秒內揮動球拍,將球擊回給對方。

此外,大腦在控制身體並完成擊球動作的過程中,其能耗大約只有個人計算機的十分之一。大腦如何實現這一過程?計算機和大腦之間的一個重要區別在於兩個系統內處理信息的方式。

計算機主要以串行步驟執行任務,工程師也是通過創建順序指令流來進行計算機的程序設計。因為串行步驟中的產生的誤差會累積和放大,所以對於這種串行操作的級聯,對每個步驟的精度要求都特別高。

大腦也使用串行步驟進行信息處理,在將網球擊回這一實例中,信息從眼睛流向大腦,然後流向脊髓,以控制腿部,軀幹,手臂和手腕的肌肉收縮。

但同時,大腦也利用數量眾多的神經元和神經元之間的突觸連接來大規模並行處理任務。例如,視網膜中的感光細胞捕捉到移動的網球,並將光信號轉換為電信號。這些信號被並行傳遞到視網膜中的許多不同類型的神經元。

當源自感光細胞的信號傳遞至視網膜中的2~3個突觸連接時,並行神經元網絡已經提取了網球的位置,方向和速度的信息,並將這些信息在同一時間傳輸至大腦。同樣,運動皮層(大腦皮層中負責意志運動控制的部分)並行發送命令以控制腿部,軀幹,手臂和手腕的肌肉收縮,從而使身體和手臂同時運動,準備好回擊飛來的網球。

更多詳細內容請戳:

http://nautil.us/issue/5/Fame/the-brain-on-trial

大腦之所以可以執行大規模並行任務處理,是因為每個神經元都從許多神經元接收信息,並將信息發送到其他神經元。哺乳動物輸入和輸出神經元的平均數量級為1000(相比之下,每個電晶體全部的輸入和輸出僅靠三個引腳)。單個神經元的信息可以傳遞到許多平行的下遊網絡。

同時,處理相同信息的神經元可以將它們的輸入信息整合到相同的下遊神經元,這種整合特性對於提高信息處理的精度特別有用。例如,由單個神經元表示的信息可能含有噪聲(比如說,精確度可以達到1/100),通過求取100個攜帶相同信息的神經元的輸入信息的平均值,共同的下遊神經元能以更高的精度提取信息(精度約為1/1000)。

註:假設每個輸入的平均方差σ約等於噪聲的方差σ(σ反映了分布的寬度,單位與平均值相同)。對於n個獨立輸入的平均值,平均期望方差為σ=σ/√n。在本文示例中,σ=0.01,n=100,因此平均方差σ=0.001。

計算機和大腦的基本單元的信號模式既有相同點又有差異性。電晶體採用數位訊號,它使用離散值(0和1)來表示信息。神經元軸突中的脈衝電流也是一種數位訊號,因為任何時刻,神經元要麼在釋放脈衝電流,要麼處於靜默狀態。當神經元釋放脈衝電流時,其信號的大小和形狀大致相同,這些屬性有助於脈衝電流的遠距離傳播。

此外,神經元也釋放模擬信號,即使用連續的值來表示信息。一些神經元(像視網膜中的多數神經元)並不釋放脈衝電流,它們的輸出信號通過分級電信號進行傳遞(與脈衝電流不同,它的大小可以不斷變化),這種信號比脈衝電流能承載更多信息。神經元的接收端(信號通常由樹突進行接收)也使用模擬信號來集成數以千計的輸入,使樹突能夠執行複雜的計算。

註:例如,樹突可以作為重合檢測器對不同上遊神經元的同步興奮輸入進行求和。樹突也可以從興奮輸入中減去抑制輸入。樹突中電壓門控性離子通道能夠使其表現出「非線性」,例如將簡單信號中的電信號進行放大。

你的大腦比計算機慢1000萬倍

大腦的另一個顯著特點是神經元之間的連接強度可以根據活動和經驗進行修改,這一點可以在回擊網球的例子中得以體現,神經科學家普遍認為,這種特點也是學習和記憶的基礎。重複訓練使得神經元網絡可以更好地執行任務,從而大大提高速度和精度。

在過去的幾十年裡,工程師們通過研究大腦獲得的靈感來改進計算機的設計。並行處理策略和根據實際情況來修改連接強度,已經在現代計算機設計中得以體現。例如,增加並行性,在計算機中使用多核處理器,已經是現代計算機設計的趨勢。又如,機器學習和人工智慧領域的「深度學習」近年來取得了巨大的成功,並且促進了計算機和行動裝置中的目標和語音識別方面的快速發展,這都得益於對哺乳動物視覺系統的研究[4]。

與哺乳動物視覺系統一樣,深度學習採用多層結構來表示越來越抽象的特徵(例如視覺對象或語音),並且通過機器學習來調整不同層之間的連接權重,不再依賴工程師的設計。這些最新進展已經擴展到了計算機執行任務的指令表中。當然,大腦依然比先進的計算機具有更高的靈活性,泛化和學習能力。

藉助於計算機,神經科學家將逐步發掘大腦的工作機理,也有助於激發工程師們的靈感,進一步改善計算機的體系結構和性能。無論誰在特定任務中勝出,跨學科的相互影響將推動神經科學和計算機工程的發展。

本文發表於《智庫:四十位科學家探索人類經驗的生物根源》(Think Tank: Forty Scientists Explore the Biological Roots of Human Experience),耶魯大學出版社出版。

References

[1]Luo, L. Principles of Neurobiology (Garland Science, New York, NY, 2015)

[2]von Neumann, J. The Computer and the Brain (Yale University Press, New Haven, CT, 2012), 3rd ed

[3]Patterson, D.A. & Hennessy, J.L. Computer Organization and Design (Elsevier, Amsterdam, 2012), 4th ed.

[4]LeCun, Y. Bengio, Y., & Hinton, G. Deep learning. Nature 521, 436–444 (2015)

相關焦點

  • 駱利群院士的「一系列意外事件」
    有趣的是,如今駱利群與已是史丹福大學數學系教授的李駿成了朋友,經常一起吃飯、出遊。另外,還有兩個對駱利群人生影響最大的人,就是他的父母。他們雖然都是教語言的老師,對數理化不太懂,卻早早地給兒子灌輸了要認真學習的思想。母親更是把他安排在自己任職學校隔壁的小學就讀,還給他買了一套數學自學叢書,使他在初中階段就自學了不少高中數學。
  • 駱利群:從少年班學生到美國院士
    與其他教科書不同,駱利群所著Principles of Neurobiology吸收了更多教學經驗,適合學生理解、記憶、學習。內容上,這本教材不再簡單地把神經生物學知識分為分子、細胞、系統、發育等部分分別講述,而是將這些方面整合起來,系統介紹神經生物學中的重要問題,如嗅覺、視覺、神經網絡整合等等。
  • 駱利群教授為少年班學生授課
    本次「少年班論壇」邀請到世界著名神經生物學家、美國國家科學院院士、美國藝術與科學院院士、史丹福大學駱利群教授主講。駱教授同時也是81級少年班校友,他帶來的題為「My Exploration in Neuroscience」的報告,以自己的科研和生活故事為線索,給大家呈現了一場精彩的前沿科學探秘和人生智慧分享。
  • 斯坦福駱利群院士2年5篇CNS:3篇Cell,1篇Nature和1篇Science
    駱利群(LIQUN LUO),美國科學院院士和美國藝術與科學院院士,Howard Hughes醫學研究所研究員,史丹福大學教授。中國科學技術大學學士畢業,在美國布蘭代斯大學獲得博士學位。自1997年起在史丹福大學為本科生和研究生講授神經生物學課程,並組建實驗室研究神經通路的發育和功能。
  • 駱利群:從少年班到美國院士 美國瑞德教育
    其中,有兩位頂尖科學家便是從中國科大少年班起步:一位是史丹福大學教授駱利群,另一位是哈佛大學教授莊小威。駱利群曾與北京大學師生多次交流。除了具體的科學問題,廣大學子最為關心的是駱利群在科研道路上的切身體會和感受,希望得到這位神經科學界「大牛」的建議和啟發。2008年,在北京大學講席教授饒毅邀請下,駱利群曾在北大全面回顧自己的科研道路。
  • 駱利群院士的「一系列意外事件」,堅持每年回國,給中科院、北大、清華講課
    有趣的是,如今駱利群與已是史丹福大學數學系教授的李駿成了朋友,經常一起吃飯、出遊。另外,還有兩個對駱利群人生影響最大的人,就是他的父母。他們雖然都是教語言的老師,對數理化不太懂,卻早早地給兒子灌輸了要認真學習的思想。母親更是把他安排在自己任職學校隔壁的小學就讀,還給他買了一套數學自學叢書,使他在初中階段就自學了不少高中數學。
  • 為非專業人員量身打造,斯坦福教授一頁紙定義AI核心概念
    斯坦福教授 Christopher Manning 用一頁紙的篇幅介紹 AI 領域的核心概念。在「AI」隨處可見的當下,你真的理解人工智慧領域核心概念嗎?
  • 駱利群:教科書的成功在於幫助讀者成功
    pixabay.com撰文 | 駱利群翻譯 | 劉迪一責編 | 李珊珊●  ●  ●我從1997年開始為史丹福大學的本科生和研究生教授神經生物學至今,這段漫長的教書生涯給了我一個重要發現——與學習現成的知識相比,學生們更願意琢磨書上的知識是怎麼來的。
  • 駱利群:從少年班學生到美國院士,曾經的理想是做公交車司機
    其中,有兩位頂尖科學家便是從中科大少年班起步:一位是史丹福大學教授駱利群,另一位是哈佛大學教授莊小威。左:駱利群 右:莊小威2008年,在北京大學講席教授、《知識分子》主編饒毅邀請下,駱利群曾在北大全面回顧自己的科研道路,《知識分子》附文刊發了該演講的全文,本文特轉載如下。
  • 史丹福大學東亞圖書館館長楊繼東教授在近代史所作學術講座
    講座的主題為「史丹福大學的數字人文學研究進展和學校圖書館的角色」,由中外關係史研究室主任張俊義研究員主持。 楊繼東教授首先向大家介紹了數字人文學的發展簡況。數字人文學(digital humanities)是隨著電子計算機技術的普及與發展,將現代的電子計算技術運用於人文科學和社會科學的研究方法和手段。廣義上講,所有利用電腦進行的人文社科研究行為都屬於數字人文學的範疇;狹義上講,數字人文學是指利用現代計算技術實現的一些用人腦很難或不可能實現的研究分析。
  • 駱利群院士近年科研成果盤點:4篇Cell,2篇Science,1篇Nature等
    駱利群(LIQUN LUO),美國科學院院士和美國藝術與科學院院士,Howard Hughes醫學研究所研究員,史丹福大學教授。中國科學技術大學學士畢業(少年班),在美國布蘭代斯大學獲得博士學位。自1997年起在史丹福大學為本科生和研究生講授神經生物學課程,並組建實驗室研究神經通路的發育和功能。
  • 駱利群:本科生不是科研苦力
    2020年7月9日,美國史丹福大學的駱利群教授(中國科大81少、818郭沫若獎獲得者)與李介夫博士在Cell上發表評論Nurturing Undergraduate Researchers in Biomedical Sciences ,
  • 新型人工突觸陣列:快速、高效、耐用!
    導讀據美國史丹福大學官網近日報導,該校與桑迪亞國家實驗室的研究人員開發出一種新型人工突觸陣列。它可以模仿人腦處理和存儲信息的方式,並且在處理速度、能量效率、重複性和耐用性方面的表現超出期望。背景人腦,可同時學習並記憶大量信息,然而需要的能量卻很少。人腦的整體複雜程度與處理能力遠遠超越傳統的計算機。
  • 人腦究竟有多強?從架構到能力與計算機進行分析
    在網上,經常會有人進行著人腦與計算的的比較,沒有人的計算能力是超過計算機的,那麼人腦是不如計算機嗎?實則人腦的運算能力超過計算機太多了,我相信已經有很多小夥伴都進行過科普,但是絕大部分都是看不明白,小編這裡有一個非常簡單的思路與大家分享,當然也只是我個人的一些思路,只是希望大家能夠看得直觀點。
  • 駱利群:從中科大少年班到美國國家科學院院士
    駱利群,神經生物學家,史丹福大學教授。1981年考取中國科學技術大學少年班,1986年獲得郭沫若獎學金,同年通過中美生物化學聯合招生項目公費留學生考試。2012年當選美國藝術與科學學院院士、美國國家科學院院士。中科大少年班在我國高等教育界可謂獨樹一幟,備受社會關注。一直以來,關於「少年班是否成功」的話題也多有爭議。
  • 斯坦福駱利群課題組Cell新成果:單細胞RNA測序為果蠅神經元分類
    在過去的二十年裡,駱利群教授一直致力於研究果蠅的神經迴路。 他說:「我們已經知道了果蠅的基因組信息,通過單細胞RNA測序,我們可以知道哪種細胞表達了哪些基因。」在果蠅的嗅覺神經系統中,五十類嗅覺投射神經細胞和五十類上遊的嗅覺感受神經細胞形成一對一的突觸連接,不同種類的嗅覺投射神經細胞有非常特異的連接和功能,因此是一個研究神經細胞分類的極佳模型。
  • 他是清華姚班校友,2009獲信息學金牌,今是斯坦福計算機助理教授
    他已在計算機視覺、機器人領域的頂會、頂刊發表 59 篇論文,本科畢業前姚期智稱讚他「在科研方面取得的成績媲美博士生」。他目前在麻省理工學院攻讀博士,即將加入史丹福大學擔任計算機科學助理教授。他就是被無數人稱為「清華學神」的吳佳俊。
  • 人腦在智腦面前一敗塗地?絕非如此!人腦內存等於77億G
    圖為電子計算機內存人類的大腦相當於多少個G的內存?我們人腦自從出生開始就在無時無刻地工作和運行,直到生命的結束它才會停止,因此也有些人把其與電腦作比較,認為大腦的容量就相當於其中的內存,為此大家肯定對我們人的大腦相當於幾個G存在疑惑?眾所周知,內存呢是計算機中的一種硬體設施,內存的運行決定了計算機的穩定性,因此內存的性能對此影響是很大的,就相當於人的大腦是人體器官中必不可少的一種組織結構。
  • 世界前 1000 頂級計算機科學家名單出爐,中國共 42 位上榜
    技術編輯:芒果果丨發自 思否編輯部SegmentFault 思否報導丨公眾號:SegmentFault近日,Guide2Researchs 發布了第六屆年度計算機科學和電子領域 1000 名頂級科學家的排名。