DeepMind簡史:解決科技棘手問題,挑戰史詩級任務

2021-01-19 澎湃新聞

過去,機器玩遊戲表現出一些明顯特徵:

        無情和僵硬的遊戲風格。

        但在圍棋挑戰中,AlphaGo以類人類的方式擊敗了Sodol。

        第二場比賽的第37步——吸引了所有首爾現場觀眾和數百萬在線觀眾的注意。

        該算法走出了具有創造性的一步。

        對於Hassabis、Suleyman和Legg來說,如果DeepMind的前九年由強化學習來定義,即基於代理系統,嘗試建立世界的模型並識別(像深度學習一樣),但DeepMind還積極決策,並嘗試達到目標。

        而遊戲挑戰成功的證明將定義未來十年:

        用數據和機器學習來解決一些最難的科學問題。

        據Hassabis說,公司的下一步將基於深度學習把強化學習擴展到解決現實問題上。

        「強化的問題在於,它總是致力於玩具問題、小範圍網絡世界。

        人們認為它也許不能解決混亂的、現實的問題——而這正是這種結合的真正意義,」他說。

        對於DeepMind來說,新總部標誌著公司翻開了新篇章。

        它將把研發實力和計算能力轉向研究有機生命的基石。

        公司希望這能在一些領域(如醫學)取得重大突破。

        Hassabis說:「我們致力於開創科技新紀元。」

        Hassabis先後在倫敦大學學院(UCL)和麻省理工學院(MIT)學習,他發現跨學科合作是一個熱門話題。

        他回憶了涉及不同學科的研討會,例如神經科學、心理學、數學和哲學。

        在學者們會進行幾天的會談和辯論,他們努力通過研討會找到合作的方法。

        Hassabis說:「跨學科研究是很難的。假設有兩位在數學和基因組學方面世界領先的專家,這兩個學科顯然會有一些交叉。但是他們該如何了解對方的領域和行話以及真正的困難?」

        找出要問的正確問題,為什麼這個問題沒有得到回答甚至這個問題是什麼。

        最棘手的問題在局外人看來或許相對簡單。

        但是即使同學科的科學家,並不總以同樣的方式看待他們的工作。

        眾所周知,研究人員很難為其他學科增加價值,要找到一個他們會回答的聯合問題就更加困難了。

        DeepMind總部現位於谷歌的國王十字大樓,員工人數在過去幾年裡不斷增加。

        公司AI研究中心有六、七個學科,隨著公司職權範圍擴大,數學、物理、神經科學、心理學、生物學和哲學方面的專家被不斷聘請。

        Hassabis說:「一些科學領域最有趣的地方在於學科之間的匯合。我在構建DeepMind時,致力於尋找那些在多個領域都是世界級的人,他們擁有發現不同學科之間的類比和接觸點的創造力。一般當這種情況發生時,魔法就會出現。」

        如Pushmeet Kohli,前微軟研究部主管,現領導DeepMind的科學團隊。

        該團隊現研究蛋白質摺疊——預測生命基石的形狀的科學。

        Kohli召集了一組結構生物學家、機器學習專家和物理學家,以應對這一挑戰。

        蛋白質是所有哺乳動物生命的基礎,它們在分子水平上發展組織和器官的結構和功能。

        蛋白質由胺基酸構成鏈。

        其序列決定了蛋白質的形狀和功能。

        「蛋白質是有史以來為在納米尺度上移動原子而創造的最壯觀的機器,通常比我們建造的任何器件都更高效地進行化學數量級。

        自行組裝讓他們變得它們更難以理解,」DeepMind研究蛋白質摺疊的科學家John Jumper說。

        蛋白質以單位埃排列原子,其單位長度等於0.1納米。

        對其更深層的理解能使科學家更好的理解結構生物學。

        如蛋白質幾乎是細胞內所有功能所必需的,而不正確的摺疊蛋白質會導致帕金森氏症、阿爾茨海默氏症和糖尿病等疾病。

        「如果我們能理解大自然製造的蛋白質,我們就能學會建立自己的蛋白質。

        這將幫助我們在這個複雜、微觀的世界獲得真正具體的觀點,」Jumper說。

        基因組數據集的廣泛普及使蛋白質摺疊成為DeepMind團隊的一個難題。

        自2006年以來,DNA數據的採集、存儲、分布和分析呈爆炸式發展。

        研究人員估計,到2025年,可能需要40個艾字節存儲分析的20億個基因組數據集。

        「在付出不可計數的時間金錢後,人們對蛋白質有了驚人的理解,」Jumper說。

        在取得進展的同時,科學家們呼籲不要盲目自滿。

        備受尊敬的美國分子生物學家Cyrus Levinthal指出,在正確獲得蛋白質的3D結構之前,將經歷很長的階段列舉典型蛋白質的所有可能結構。

        「搜索空間很大,大過GO項目。

        」DeepMind的研究科學家Rich Evans說。

        然而,2018年12月在墨西哥坎昆舉行的蛋白質結構預測技術關鍵評估競賽(CASP)中,蛋白質摺疊獲得了裡程碑式的進展。

        該競賽兩年舉辦一次,競賽科學家團隊從已知但尚未公開的胺基酸序列中預測蛋白質的結構,由獨立評估員驗證預測。

        DeepMind的蛋白質摺疊團隊以AlphaFold為基準參賽,這是它在過去兩年中開發的算法。

        在會議召開前的幾個月裡,組織者向國王十字團隊成員發送了數據集,參賽者發回他們的預測。

        一共需預測90個蛋白質結構——有些是基於模板的目標:

        用已知的蛋白質作指導,另一些則從零開始建模。

        參賽者在會議召開前收到了結果,平均而言,AlphaFold比其他隊預測更準確。

        部分指標上,DeepMind明顯領先於其他團隊,對於43個從零開始建模的蛋白質序列,AlphaFold對其中25種蛋白質做出了最準確的預測,比對手多三個。

        哈佛醫學院系統藥理學實驗室和系統生物學系研究員Mohammed AlQuraishi參加了此次活動,並在結果公布前了解了DeepMind的方法。

        他說:「在讀他們的摘要時我並沒有覺得這是全新的,但他們做的比我想的更出色。」

        據AlQuraishi說,這種方法與其他實驗室類似,但與深度思維過程的區別在於這種算法能夠執行地更好。

        他認為DeepMind團隊在工程方面有優勢。

        「我認為他們比學術組做得更好,因為學術團體在這一領域往往非常隱秘。

        學術組孤立地嘗試DeepMind算法中的想法,從沒想過將他們結合,」AlQuraishi說。

        AlQuraishi認為學術界經歷了人才外流,因為Google Brain、DeepMind和Facebook等公司的組織結構效率和薪酬更高。

        而且有些計算資源不一定存在於大學。

        機器學習計算科學界在過去的四五年也經歷了這個問題,計算生物學也認識到了這個現狀。

        這與DeepMind創始人在2014年1月出售給谷歌時給出的解釋相呼應。

        谷歌計算網絡的規模之大能比有機擴展更快地推進研究,而4億歐元的支票使這家初創公司能夠僱傭世界級的人才。

        Hassabis描述了一種適合特定研究領域的個人策略。

        「我們通過路線圖得知重要的主題領域、AI或神經科學的子領域,從而去找最好的專家,」他說。

        「我認為對DeepMind這樣的公司來說,蛋白質摺疊是一個很好的起點。

        因為這是一個定義非常明確的問題,有充足可利用的數據,你幾乎可以把它當作一個純粹的計算機科學問題來看待。

        在生物學其他更複雜的領域,情況可能並非如此。

        因此我認為DeepMind在蛋白質摺疊方面取得的成功不一定能自動轉化應用到其他領域,」AlQuraishi說。

        對於一家研究公司來說,DeepMind 注重項目管理方面。每六個月,高級管理人員都會檢查優先事項、重組項目、並鼓勵團隊(尤其是工程師)開展合作。

        混合學科是例行公事和目的。

        該公司的許多項目時長超過六個月,一般在兩到四年之間。

        DeepMind雖一直關注研究,但它現在是Alphabet的子公司,也是全球第四大最有價值的公司。

        倫敦學者期望參與長期開創性的研究,但加州的高管們自然會關注投資回報率。

        「我們希望谷歌和Alphabet取得成功,並從我們正在做的研究中獲益。

        現在有數十種包含DeepMind代碼和技術的產品,但要注意的是,應是利益推動研究,而不是研究為了獲利,」Hassabis說。

        由Suleyman領導的谷歌DeepMind公司由約一百人組成,其中大多數是工程師,他們將公司的純研究轉化為產品化應用。

        例如,WaveNet,一種模仿人類聲音的語音生成模型,現在應用於大多數谷歌設備中,並在谷歌內部擁有自己的產品團隊。

        Hassabis說:「工業領域的許多研究都是以產品為主導。問題在於,你只能得到增量研究。這不利於進行可以取得突破性進展、有風險的研究。」

        在談話中,Hassabis語速很快,常常問「對不對?」從而引導聽眾。

        他經常向哲學、歷史、遊戲、心理學、文學、西洋棋、工程等多個其他科學和計算領域發散,但他並沒有忽視他最初理論,經常回來澄清一個評論或反思早先的評論。

        就像軟銀的創始人,孫正義設想了300年的藍圖。Hassabis和其他創始人也有一個「DeepMind數十年路線圖」。

        Legg,公司首席科學家,還留有最初的商業計劃。

        Legg 偶爾會在全體會議上展示它,以證明創始人在2010年考慮的很多方法:

        學習、深度學習、強化學習、增量、概念和轉移學習,以及神經科學、記憶和想像力仍然是其研究計劃的核心部分。

        最初DeepMind僅有一個帶公司標誌的網頁。

        沒有地址、電話號碼或「關於我們」。

        正如Hassabis所說,為了僱傭員工,創始人必須依靠個人聯繫,讓人們相信他們是「正經人和認真的科學家,有真正計劃。」

        「對於任何初創公司來說,你要說服人們信任你是管理層。

        但對於DeepMind來說需要更多,因為你需要一種史無前例、獨特的方法做到,這個方法不被傳統的頂尖科學家所認可。」他說。

        科學突破是如何發生的,這是未知的。

        在學術界,頂尖專家聚集在機構中進行反覆的研究,往往結果不確定。

        進展通常是艱苦和緩慢的。

        然而在私營部門,在沒有限制,而且有機會獲得高薪管理顧問的情況下,生產力和創新也在下降。

        2019年2月,史丹福大學經濟學家Nicholas Bloom發表了一篇論文,表明許多行業的生產率在下降。「研究工作正在大幅上升,而研究生產力卻在急劇下降。摩爾定律就是一個很好的例子。如今,計算機晶片密度每兩年翻一番所需的研究人員數量是20世紀70年代初的18倍多。在不同層次的案例研究中,我們發現想法,尤其指數增長,越來越難找到,」

        Bloom寫道。

        Hassabis提到,大製藥公司在研究上投入了數十億美元:

        在季度收益報告的驅動下,隨著破產成本的上升,製藥業變得更加保守。

        根據創新基金會Nesta在2018年的一份報告顯示,在過去50年裡生物醫學研發生產率穩步下降——儘管公共和私人投資大幅增加,但新藥的研發成本更高。

        根據該報告,開發新藥的成本呈指數級增長,這直接反映在研發支出的低回報率上。

        據最新統計顯示,全球最大製藥公司的回報率為3.2%,大大低於他們的資本成本。

        Deloitte的研究顯示,生物製藥的研發回報率已降至9年來的最低水平。

        從2010年的10.1%降至2018年的1.9%。

        Hassabis說:「大多數大型製藥公司的執行長,不是科學家而是來自財務部門或營銷部門。這意味著,他們要做的是嘗試從已經發明的東西中擠出更多利潤,削減成本或更好地迎合市場,而不是真正發明新事物。這不利於天馬行空的設想。」

        對於許多創業者來說,有一定程度的意外任務——他們所遇到的待解決問題,遇到一個聯合創始人或投資者的機會或一個學術主張。

        這對Hassabis來說並非如此,他早期的一系列決定是有目的性的,這導致DeepMind的創立。

        「我知道我在幹什麼,」他說。

        「從遊戲設計,從神經學到編程,在本科研究人工智慧,去世界頂級機構,攻讀博士學位以及運行初創公司,我試著運用並有意識地選擇每一個決策點獲得的經驗。」

        擔任CEO是現在他的日常工作。

        他還有另一個角色——研究員。

        為了兼顧平衡企業的運行與他的學術利益。

        在結束白天的執行官後,他在19:30左右回家吃晚飯,約22:30開始進行學術研究,這通常會持續到凌晨4:00-4:30。

        「我很享受那段時間,」他說。「我從孩提起就是一個夜行的人。我覺得夜晚非常有利於思考,閱讀,寫東西。

        那時我與科學文獻打交道。或者我將寫一篇論文,或思考一些新的算法或戰略,或者調查一些人工智慧可以應用的科學領域。」

        他會在工作時聽音樂。

        音樂幫助他喚起情感。

        選擇哪種音樂則取決於他想集中或啟發。

        選擇的音樂必定沒有人聲,但對他來說又有些熟悉。

        Hassabis說,他會花50%的時間在直接研究上。

        2018年4月,他僱用了Lila Ibrahim,在英特爾工作18年的矽谷老兵,之後成為Kleiner,Caulfield,Perkins和Byers的參謀長。

        Ibrahim接手了許多Hassabis的管理任務,他的直接下屬從20人降到6人。

        Ibrahim將她決定加入DeepMind描述為「道德的號召」。

        她與Hassabis和Legg提出倫理與社會倡議,試圖建立標準的應用技術。

        「我認為總部基於倫敦會給帶來一個稍微不同的角度,這將與總部設立在矽谷會有很大不同。

        倫敦更人性化,藝術文化的多樣性會給創始人帶來不一樣的開端。

        以及在DeepMind工作的人們會有特定的做事方式和心態,」她說。

        儘管該公司擴展到新總部,但Hassabis認為DeepMind仍然是一個初創公司。

        他說有很多中美公司在努力嘗試這些事情。

        事實上在商業和政治,美國和中國都把標準化領域作為自己的優勢。

        他提到好幾次儘管取得一些進展,但還有很長的路要走。

        DeepMind的使命是解決人工智慧和建立通用人工智慧(AGI)。

        「我希望我們仍然擁有初創公司具有的動力和能量,」他說。

        創新是艱難和奇特的。

        構建過程和一個組織的文化,使其能夠削弱統一性,史蒂夫·賈伯斯告訴團隊,建造Macintosh電腦是很少有公司或機構能實現的。

        隨著成長,追求前面的道路,同時密切關注、預測未來幾年最具革命性的技術。

        這是機遇與挑戰的並存。

        「你將經過很多困難的日子,在一天結束的時候,賺錢並不會讓你緩解痛苦,真正能幫助你度過的,是激情和認定你正在做的事情是重要的,」Hassabis說。

- END

閱讀原文

相關焦點

  • DeepMind悄咪咪開源三大新框架,深度強化學習落地希望再現
    儘管取得了很多進展,但由於缺乏工具和庫,DRL 方法仍難以應用於主流的解決方案。因此,DRL 主要以研究形式存在,並未在現實世界的機器學習解決方案中得到大量應用。解決這個問題需要更好的工具和框架。而在當前的 AI 領域,DeepMind 在推動 DRL 研發方面做了大量工作,包括構建了許多專有工具和框架,以大規模地簡化 DRL agent 訓練、實驗和管理。
  • 從AlphaGo到蛋白質摺疊,Deepmind在不斷捅破AI領域的天花板!
    #近日,又一世紀級難題被AI迎刃而解:谷歌旗下子公司Deepmind通過AI建立的算法模型,成功精準預測了蛋白質的摺疊方式,這將對人類了解重要的生物學過程和治療新冠等疾病起到十分關鍵的作用。Deepmind最初由三名科學家聯合創辦,就像其創始人兼CEO哈薩比斯(Demis Hassabis)所說的,它的性質更像一個科技研究院而不是創業公司,因為公司一開始並沒有任何產品,而是一直在通過遊戲來研究人工智慧算法。在被谷歌收購前,Deepmind通過人工智慧的無監督學習算法打爆了57個atari遊戲,即八九十年代國內也很流行的小霸王卡帶遊戲。
  • 生物學50年難題被DeepMind解決了,蛋白質版「阿法狗」預測結構準確...
    11月30日,DeepMind宣布:AlphaFold 2,這個AI已經成功解決蛋白質摺疊的問題。這一次,AlphaFold的「準確性」均分,直接從原本的60+/100,提升至了92.4/100。而過去十幾年,其他方法只能在40分左右徘徊。
  • DeepMind推出Agent57,在所有雅達利遊戲上超越人類
    DeepMind 對雅達利遊戲的挑戰很早就開始了。2012 年,他們創建了 Deep Q-Network(DQN)算法來挑戰雅達利的 57 種遊戲,此後又經過了多次改進。但遺憾的是,經過改進的 DQN 也始終沒有克服四種比較難的遊戲:Montezuma's Revenge、Pitfall、Solaris 和 Skiing。
  • 再創新高:DeepMind一年燒掉6.5億美元,谷歌卻揮手免除15億債務
    DeepMind 麾下的頂尖人才通常擁有牛津、劍橋、斯坦福或 MIT 等學校的博士學位,並得到 Facebook、蘋果、亞馬遜和微軟等科技巨頭的追捧。DeepMind 發言人表示:「在這些費用覆蓋的時間裡,DeepMind 的突破性成果為解決蛋白質結構預測這一生物學 50 年來重大挑戰奠定了基礎。DeepMind 還與谷歌團隊合作為現實世界帶來影響。
  • 械臂最近有點忙:OpenAI教它玩魔方,DeepMind讓它搭積木!
    回放連結:  【騰訊科技】客戶端:https://view.inews.qq.com/a/TEC2019101600718500    PC 端:http://v.qq.com/live/p/topic/74606/preview.html【海澱融媒】https://m.toutiaoimg.cn/i6748195040323062540【新浪科技】http://video.sina.com.cn
  • DeepMind又出大招!新算法MuZero登頂Nature,AI離人類規劃又近了一步
    與其他方法不同的是,MuZero通過學習僅關注規劃環境中最關鍵因素的模型來解決該問題。通過將模型與AlphaZero的樹搜索功能相結合,MuZero在Atari基準上取得了最新的技術優勢,同時在圍棋、西洋棋和日本將棋的經典規劃挑戰中與AlphaZero的性能不相上下,展示了強化學習算法的快速飛躍。先前,研究人員通過前向搜索與基於模型的規劃等兩種方法來提高AI的規劃能力。
  • 解決生物學50年來重大挑戰!人工智慧預測蛋白結構能力堪比實驗室水平
    Alphafold的表現超過了大約100個其他團隊,準確性達到了與實驗室方法不分伯仲的水平[1],一舉解決了困擾學界長達五十年之久的蛋白質摺疊問題。 「它將改變醫學。
  • 夜讀|《今日簡史》:提出問題比解決問題更為重要
    如果說《人類簡史》講述「我們從哪裡來」,《未來簡史》關注「我們往何處去」,《今日簡史》則明顯表現出不同的風格,它不再像前兩本書那樣執著於「給出答案」,而是「提出問題」,聚焦當下世界
  • DeepMind攜手暴雪發戰帖:周五直播AI打星際II,發布研究新進展
    Twitchhttps://www.twitch.tv/starcraftYouTube:https://www.youtube.com/c/deepmind暴雪在最近的BlizzCon上,總結了自己2018年的工作,並相當低調地發布了「與DeepMind合作正在繼續 」的更新:
  • 不只是AlphaGo,谷歌DeepMind到底是何方神聖?
    圖源:unsplash 人工智慧技術飛速發展,越來越多曾被認為只有人類才能完成的任務,AI都做出了出色表現,例如執行管理任務,識別面孔,下棋,甚至翻譯語言。DeepMind科技於2010年在倫敦成立,四年後被谷歌收購了,其所有權在2015年也發生了變化。當時它被Alphabet收購,此後,它一直是這家公司的子公司。
  • DeepMind打造AlphaFold擊敗人類,精度碾壓人類專家!
    但是純粹從其基因序列中確定蛋白質的三維形狀是一項複雜的任務,挑戰在於DNA僅包含有關蛋白質結構塊序列的信息,這些結構塊稱為胺基酸殘基,排布形成長鏈。預測這些長鏈按照何種方式摺疊成蛋白質的複雜3D結構,就是所謂的「蛋白質摺疊問題」。蛋白質越大,模型就越複雜和困難,因為胺基酸之間的相互作用更加複雜。
  • DeepMind AI破解「蛋白質摺疊」難題,攻克生物學50年...
    同一時間,谷歌CEO兼執行長桑達爾·皮查伊 (Sundar Pichai)、斯坦福教授李飛飛、馬斯克等眾多科技大佬也在第一時間轉推祝賀!那麼這場驚動科技圈、生物學界和科學界的重大突破,到底是一項怎樣的研究?
  • DeepMind的蛋白質摺疊AI解決了50年來的生物學重大挑戰
    該活動挑戰團隊預測已經用實驗方法解決的蛋白質的結構,但這些蛋白質的結構還沒有被公開。Moult認為這個實驗極大地改善了這一領域。DeepMind已經取得了不俗的成績,展示了人工智慧已經學會了用超人的技術來玩各種複雜的遊戲。但DeepMind的聯合創始人Demis Hassabis一直強調,這些成功只是邁向更大目標的墊腳石。
  • 受啟於做夢,DeepMind 提出壓縮 Transformer,並開源書本級數據集PG...
    論文連結:https://arxiv.org/pdf/1911.05507.pdfPG-19開源連結:https://github.com/deepmind/pg19在過去二十年的時間裡,人工神經網絡在記憶這一方面有了長足的進展。
  • 谷歌DeepMind發布最新研究:人類認知心理學開啟人工智慧的「黑盒子」
    隨著這些任務變得越來越複雜,神經網絡摸索出來的解決方法也變得越來越繁瑣。 因為這個系統太複雜了,即使是設計該系統的工程師可能也無法分析出它發出某一指令的原因。當然,你也不能強求這個神經網絡能夠給出它下達每一個指令的原因:目前為止還沒有一套能夠讓 AI 自己解釋自己行為的系統。
  • DeepMind新研究登上《Nature》
    解決獎勵預測問題的重要突破是時序差分算法(TD),TD 不會去計算未來的總體回報,它嘗試預測當前獎勵和未來時刻預期獎勵之和。當下一個時刻來臨時,將新的預測結果與預期中的相比,如果有出入,算法會計算二者之間的差異,並用此「時序差分」將舊版本的預測調整為新的預測。
  • Jax 生態再添新庫:DeepMind 開源 Haiku、RLax
    Haiku:https://github.com/deepmind/haiku RLax:https://github.com/deepmind/rlax Haiku:在 Jax 上進行面向對象開發
  • 公務員結構化面試-領導交給你棘手任務,讓你完成,你怎麼做?
    領導交給你一個棘手的任務,並交代說上級領導要來檢查這項任務,你完成任務的時間只有一天,問怎麼做?工作中種會出現一些挑戰,這些挑戰不僅僅使工作能力得到提升,也是一種自我突破,通過一些啃硬骨頭的工作使自己的綜合素質得以提升。
  • DNF:百級史詩畢業指南,盤點百級副本中五大必刷副本
    百級版本即將在3.19到來,相信很多小夥伴已經開始為百級版本做準備,在新版本中更加強力的史詩裝備的獲取方式肯定是小夥伴們關心的問題。今天,小編就來為大家盤點一下百級版本中產出史詩和神話的副本。智慧的引導智慧的引導是百級版本的深淵副本,相當於現版本的超星空裂縫,每次入場需要消耗18個時間引導石,時間引導石除了可在百級版本的副本中獲取外,也可以用深淵派對邀請函、星空深淵靈石、史詩靈魂兌換。新深淵副本——智慧的引導的閃光機制也別具特色。智慧的引導副本中的史詩裝備與神話裝備均由這個球體產出,其實就是變了個模樣的深淵柱子。