日前，吳恩達在聖誕節之際回顧了2020年AI的一些重大事件，包括AI應對新冠疫情、數據集存在種族偏見、對抗虛假信息算法、AlphaFold預測蛋白質三維結構、1750億參數的GPT-3出現等等，並為大家送上節日祝福。親愛的朋友們，在過去的十年中，每年我都會飛往新加坡或香港，與我的母親一起慶祝她的12月22日的生日。今年，我們則是通過Zoom線上慶生。儘管距離遙遠，但我仍然感到很高興，我的家人們可以從美國，新加坡，香港，香港和紐西蘭一起線上聚會，並演唱同步性很差的「Happy Birthday To You」。
我希望我也可以和大家一起在Zoom上通話，以祝大家節日快樂，新年快樂！
節假日期間，我經常想一想重要的人，回顧他們為我或他人所做的事，並默默地表示我對他們的感謝。這使我感到與他們的聯繫更加緊密。我覺得在我們遠離社交的假期中思考這一點非常有價值：誰是您生活中最重要的人，您可能出於什麼原因要感謝他們？無論是面對面的還是在線的，我都希望您能找到屬於自己的方式——在這個假期裡培養於最重要的人之間的關係。
2020年回顧
在過去一年，一種新的具有高度傳染性的冠狀病毒破壞了人們的正常生活，它所導致的社會裂痕也威脅到了我們的共同利益。
在這一年期間，有大量的機器學習工程師參與其中，設計了用於新冠肺炎（Covid-19）診斷和治療的工具、建立了識別仇恨言論和虛假信息的模型，並指出和強調了整個AI社區偏見的存在。但是事情也有輕鬆的一面：這一年裡可以將睡衣一鍵轉換成西裝的在家辦公工具、GPT-3語言模型、在AI輔助藝術和表演方面的引人入勝的實驗。接下來請就讓我們一起探討過去一年我們的艱辛和輝煌。1、AI加快了科學家對冠狀病毒疫苗的搜尋，全球的機器學習研究人員爭先恐後地利用AI技術來對抗冠狀病毒。2、巴黎和坎城市在公交車站、公共汽車和市場中使用計算機視覺評估了法規的遵守情況。3、多哥政府訓練一個模型以識別衛星圖像中的貧困地區，然後使用模型的輸出指導將救濟金分配給最需要的人。攝影：環球影業集團/阿拉米4、聊天機器人提供了合成的虛擬朋友，供被疫情封鎖的人們孤獨時聊天和調情。5、對於在家工作的人們，視頻會議公司訓練AI模型來過濾背景噪音並將睡衣變成虛擬的商務正裝。6、中國許多機構合作開發了一種可在CT掃描中檢測Covid-19的模型，其準確度超過90％。該模型已在七個國家/地區部署，到目前為止，該模型的代碼已下載了超過300萬次。相關連結：https://www.cell.com/cell/pdf/S0092-8674(20)30551-1.pdf7、美國生物技術公司Moderna，其疫苗於12月份獲得美國食品藥品監督管理局的批准，它使用機器學習來優化mRNA序列以轉化為可以測試的分子。圖源：https://www.shutterstock.com/新聞背後：AI可能仍在治療Covid-19中起重要作用。某非營利組織使用了半監督式深度學習平臺來篩選14,000種候選抗病毒藥物。該系統驗證了有望用於動物試驗的四種化合物。8、在防範新冠疫情傳播中，口罩成為了絕對主力。為了讓大眾乖乖帶上口罩，人們可謂是操碎了心，AI也在這時候幫上了忙。有人開發了一套AI系統，號稱能夠根據一個人說話的口音「聽」出是否佩戴口罩，且檢測的準確率已經達到了78.8%。研究人員開發這項技術的初衷是，他們發現，戴上口罩會影響語音的的效果，這是由於肌肉收縮、發聲量增加和傳輸損失引起的。如今，戴口罩已經成為了日常。為了適應全民戴口罩的新環境，許多AI應用也在對自身進行升級。一些企業就開發出了口罩檢測模型，可以判斷人群中的個體是否有戴口罩，甚至還開發了對戴口罩人臉進行身份識別的模型。我的立場：人工智慧不是萬能藥，但這種新型、高病毒性、高傳染性冠狀病毒的問世已經成為人類利用AI對抗傳染病能力的有力試驗。當生成對抗網絡滲透到文化、社會和科學領域時，它們正悄悄地在網絡中充斥著無數的合成圖像。圖源：TechtalkDeepfake出現在主流娛樂活動、商業廣告、政治活動中，甚至出現在紀錄片中，用來替換當事人的真實面貌以提供隱私保護。在喧囂中，對圖像生成器的在線前端的狂潮基本上沒有引起人們的注意。受到2019年的「 This Person Does Not Exist」（一個可以生成假的、逼真的個人肖像網絡應用程式）的啟發，具有幽默感的工程師採用模仿現實世界細節的生成對抗網絡（GAN）。1、經過訓練的Google Earth 可以使「This City Does Not Exist」產生大大小小的不存在的定居點的鳥瞰圖。AI生成的假的鳥瞰圖 圖源：http://thiscitydoesnotexist.com/2、「This Horse Does Not Exist」 可以生成各種各樣的姿勢、品種和狀態的馬：圖源：https://thishorsedoesnotexist.com/3、 「This Pizza Does Not Exist」 生成不存在的披薩，與真實的披薩相比，可能會缺少一些奶酪和醬汁的光澤感。4、用AI生成的不存在的中國山水畫，欺騙了眾多藝術愛好者。論文連結：https://arxiv.org/pdf/2011.05552.pdf關於GAN的發展、應用和風險等問題，我曾經對Ian Goodfellow進行了簡單的訪談。Ian Goodfellow表示，他在GAN那篇論文中就列舉了很多未來可能的研究方向，但沒有想過域到域的轉換（domain-to-domain translation），比如CycleGAN。關於GAN的用途，Ian Goodfellow認為，將GAN應用在醫學領域會更有意義，比如為牙科患者設計個性化的牙冠，以及設計藥物等等。最後，談到GAN輸出中包含的偏見，Ian Goodfellow表示：「隨著GAN生成人臉越來越逼真，GAN可以通過為其他機器學習算法生成訓練數據，來抵消訓練數據中的偏見。如果你使用的語言在數據中代表性不高，則可以對其進行過度採樣。但是，我希望還有其他方法可以解決數據集中代表性不足的問題。」https://blog.deeplearning.ai/blog/the-batch-gan-special-issue-ian-goodfellow-for-real-detecting-fakes-including-minorities-synthesizing-training-data-applying-virtual-make-up由於數據集的編譯、標記和使用方式的不同，導致其在模型訓練過程中會對社會邊緣化群體產生偏見。研究人員的審查促進了AI的改革，同時也加深了人們對AI所隱含的社會偏見的認識。今年涉及的典型案例包括：1、知名計算機視覺數據集ImageNet被推到了風口浪尖。ImageNet的創建者李飛飛及其同事對數據集進行了重新梳理，並刪除了WordNet詞彙資料庫帶來的種族主義、性別歧視和其他貶義標籤。 2、一項研究發現，即使使用未經標記的ImageNet數據進行訓練，其模型也可能由於數據多樣性不足而引起偏差。3、麻省理工學院計算機科學與人工智慧實驗室撤回了Tiny Images數據集，原因是有外部研究人員發現該資料庫充斥著性暗示、種族歧視等大量不良標籤。4、用於訓練StyleGAN的數據集FlickrFaces-HQ（FFHQ）同樣缺乏足夠的多樣性。基於StyleGAN模型訓練的PULSE算法將美國黑人總統巴拉克·歐巴馬（Barack Obama）的肖像畫變成了白人。（PULSE可以將提高低解析度照片轉化為高解析度的圖像）在PULSE事件爆發後，Facebook首席科學家Yann LeCun和當時Google AI倫理負責人Timnit Gebru之間展開了一場辯論，爭論的焦點在於：機器學習中的社會偏見是出自AI數據集，還是AI模型？LeCun的立場是：模型在訓練「存在偏見的數據集」之前不存在偏見，也就是模型本身不存在偏見，而且有偏見的數據集是可以修改的。Gebru則表示：正如我們在信中所說的，這種偏見是在社會差異的背景下產生的，要消除AI系統的偏見，必須解決整個領域的差異。隨後，在關於偏見的進一步分歧中，Gebru和谷歌分道揚鑣。Gebru對人臉識別技術進行過深入研究，並曾就科技行業缺乏多樣性發表過言論。此次Gebru被谷歌解僱事件的起因是Gebru想要發表一篇關於大型語言模型的社會危害的論文，但被谷歌內部否決、要求撤稿，Gebru嘗試溝通無果，控訴谷歌不尊重邊緣群體的人權。我的立場：確保數據集中的偏見在任務開始前被刪除，而這項重要的工作才剛剛開始。https://blog.deeplearning.ai/blog/the-batch-ais-progress-problem-recognizing-masked-faces-mapping-underwater-ecosystems-augmenting-feature全球新冠疫情和有爭議的美國大選掀起了一場虛假信息風暴，大型AI科技公司均受到了影響。面對來自公眾日益增加的壓力——阻止煽動性謊言，Facebook、Google的YouTube部門以及Twitter在爭相更新其推薦引擎。據了解，紀錄片Netflix對他們進行了嚴厲的痛斥；美國國會議員對他們展開了調查；民意測驗顯示，他們已經失去了大多數美國人的信任。這幾家公司嘗試通過各種算法和策略解決虛假信息問題，例如：1、在發現了數百個包含AI生成的虛假頭像的用戶個人資料後，Facebook嚴厲打擊了被認為有誤導性的操縱媒體，並徹底禁止了Deepfake視頻。該公司繼續開發深度學習工具，以檢測仇恨言論，導致偏見的模因以及有關Covid-19的錯誤信息。2、YouTube開發了一個分類器來識別所謂的邊界內容：包括仇恨言論、宣傳陰謀論、醫學錯誤信息以及其他想法的視頻。3、Facebook和Twitter關閉了他們認為是擾亂國家宣傳活動的帳戶。4、這三家公司在含有美國大選誤導性信息內容中均添加了免責聲明。Twitter採取了最嚴格的政策，直接舉報了川普的虛假推文。不過，他們顯然沒有做出觸及底線的更改。而且其改革可能也不會持續很久，因為他們採取的政策有的已經鬆懈，有的已經發生了適得其反的效果。比如：今年6月，《華爾街日報》報導說，一些Facebook高管已經停止使用部分監管工具。該公司後來撤銷了在選舉期間使用的修改算法，因為它促進了某些新聞源的知名度。Facebook不夠誠意的做法已經導致了一些員工辭職。YouTube採用的算法成功減少了虛假信息內容的創作者的訪問量。但是，它也增加了某些經常傳播同樣可疑信息的大型實體網站的訪問量。我的立場：在這場貓和老鼠的遊戲中，目前尚無明確的方法能夠贏得那些造謠者或虛假內容傳播者，但是貓在這場遊戲中必須保持領先的地位，否則將會失去公眾的信任，或者遭到監管機構的調查。 AI在醫學領域的制度阻礙逐漸減少，為深度學習在醫療設備和治療中的廣泛應用奠定了基礎。前不久，DeepMind的AlphaFold2 模型在短短幾個小時內就確定了蛋白質的三維結構，其對研發新型藥物的承諾和對生物學的洞察迅速引起了人們的關注。具體而言，是DeepMind的第二代AlphaFold 在國際蛋白質結構預測競賽（CASP）上擊敗了其餘的參會選手，能夠精確地基於胺基酸序列，預測蛋白質的3D結構。其準確性可以與使用冷凍電子顯微鏡（CryoEM）、核磁共振或 X 射線晶體學等實驗技術解析的3D結構相媲美。據了解，醫療機構已經採取了行動將此類技術納入了主流醫學實踐中。以下制度上的轉變提高了醫療AI的知名度，也讓它越來越受到認可：1、美國最大的醫療保險公司已同意向某些使用了機器學習設備的醫生提供補償。2、美國食品藥品監督管理局（FDA）批准了幾種新的基於AI的治療方法和設備，例如心臟超聲檢查系統。3、一個跨學科的國際醫學專家小組介紹了兩個協議：Spirit和Consort，該協議旨在確保基於AI的臨床試驗能夠遵循最佳實踐，同時，便於外部評審人驗證試驗成果並進行報告。我的立場：AI在醫學中的應用要求醫生和醫院重新組織其工作流程，這在一定程度上延緩了AI應用的進度。一旦FDA和醫療保障制度變得更加明朗，臨床醫生就會獲得更大的動力去做出改變以適應它們。更多信息：Deeplearning AI醫療專刊包括深度學習在診斷、預防和治療方面的應用，以及AI醫學教父Eric Topol的獨家專訪。https://blog.deeplearning.ai/blog/the-batch-ai-for-medicine-special-eric-topols-planetary-health-system-discovering-drugs-diagnosing-heart-disease-predicting-infections-alexa-for-doctors自然語言處理的神經網絡規模越來越大，功能也越來越豐富、有趣。例如GPT-3可以用來寫作畫圖、敲代碼、玩遊戲等，被網友們玩出了50多種新用法。GPT-3是OpenAI打造的包含1750億參數的文本生成器，它展示了自然語言處理方面的持續進步。同時，它展現了機器學習領域的廣泛趨勢：模型參數呈指數增長，無監督學習成為主流，且越來越普遍。 圖源：Musings about Librarianship1、GPT-3的寫作能力比上一代GPT-2更加強大，以至於用它來撰寫博客文章和Reddit評論時，成功欺騙了很多人類讀者。另外，也有很多人以不同的方式展現了GPT-3的創造性，例如撰寫哲學文章、與歷史人物對話。 圖註：AI生成的哲學文章2、語言模型促進了商業工具的發展，例如幫助Apple自動更正功能區分不同語言；讓Amazon的語音小助手Alexa能夠跟隨對話內容切換；更新機器人律師，對非法稱呼美國公民的電話銷售商提起訴訟。3、OpenAI的GPT-2能夠訓練像素數據生成（即iGPT），iGPT通過填充部分模糊的內容以生成怪異的圖像。我的立場：語言模型顯然越大越好，但它還不止於此。iGPT預示著在圖像和文字上訓練的模型（至少在OpenAI的工作中），它可能比2020年的大型語言模型更聰明、更怪異。更多信息：NLP特刊包括有關如何消除偏見，以及對NLP先驅Noam Shazeer的獨家採訪。https://blog.deeplearning.ai/blog/the-batch-nlp-special-issue-powerful-techniques-from-amazon-apple-facebook-google-microsoft-salesforce
2021年展望
與吳恩達的2020年回顧相呼應，Highland Capital Partners 風險投資家 Rob Toews 對 2021 年 AI 的領域將會發生什麼提出了 10 個大膽預測，包含了從學術研究、監管等各個領域。其中兩者提到的話題有很多重合的部分，比如Deepfake、GPT-3、AlphaFold等，基於這些事物在今年的關注度，相信讀者也不會感到意外，以下節選7個供讀者參考。
以下內容轉載自學術頭條
1、Deepfake 騙局將引發廣泛的混亂和錯誤信息
Deepfake 技術正在迅速改進和擴散。加彭和巴西最近發生的事件，反映出了該技術在政治領域具有的破壞力。2021 年將是 Deepfake 內容在美國成為主流的一年，有相當一小部分人最初認為它是真實的。Deepfake 所引起破壞的，很可能就是一個公眾人物發表具有爭議評論的視頻。
作為回應，一些政策制定者將加大呼籲力度，認為大型科技公司必須負責監管 Deepfake 技術在其平臺上的傳播。
2、有關聯邦學習的學術研究將激增
對於消費者和監管機構而言，數據隱私的保護正成為一個日益緊迫的問題。因此，保護隱私的 AI 方法將繼續成為構建機器學習模型的最可持續的方式。這些方法中最突出的是聯邦學習（Federated Learning）。
（來源：Proandroidde）
據谷歌學術（Google Scholar）統計，有關聯邦學習的學術研究論文數量已經從 2018 年的 254 篇增加到 2019 年的 1340 篇，到 2020 年該領域的論文發表數量達到了 3940 篇。這種指數級的增長將持續下去：到 2021 年，將發表超過 10000 篇關於聯邦學習主題的研究論文。
3、AI 晶片初創公司將被大型半導體公司超高價收購
專為 AI 工作負載而打造的矽基晶片，是半導體行業的未來。英特爾去年以 20 億美元收購 Habana Labs 就是對這一趨勢的認可。為了防止自身受到幹擾，另一家傳統晶片製造商將在 2021 年大舉收購一家 AI 晶片初創公司。
（來源：Designnews）
最可能的收購目標：Graphcore、Cerebras、SambaNova
最有可能的收購者：NVIDIA、AMD、Qualcomm、Intel
4、AI 藥物公司將被大型製藥公司以超高價收購
大型製藥公司已經意識到這樣一個事實，即機器學習提供了革新藥物發現和開發的潛力。2021 年，一家主要的製藥公司將出資收購一家 AI 藥物初創公司，將其技術和人才引入到公司內部。
（來源：Nature）
最可能的收購目標：Recursion、Exscientia、Insitro、Atomwise
最有可能的收購方：Bayer、GlaxoSmithKline、Novartis、Bristol Myers Squibb、Eli Lilly、Gilead
5、GPT-4 參數將超過一萬億
OpenAI 在 2019 年發布了 GPT-2，它擁有 15 億個參數，這是第一個具有超過 10 億個參數的非線性規劃（NLP）模型。當時，這被認為是驚人的模型。2020 年，OpenAI 在全球發布了 GPT-3，其參數高達 1750 億。
第一個參數超過 1 萬億的模型最有可能來自 OpenAI，並命名為 GPT-4。其他可能突破萬億參數模型大關的組織包括 Microsoft、NVIDIA、Facebook 和 Google。
隨著第一個參數超過 1 萬億的模型發布，模型 「軍備競賽」 將在 2021 年繼續。
6、AI 將成為監管機構反壟斷調查的重要部分
今年，美國和歐洲的監管機構對亞馬遜、蘋果、Facebook 和 Google 正式發起了反壟斷訴訟。到目前為止，監管機構在闡述針對科技巨頭的反壟斷案件時，並沒有明確關注 AI。
圖 | 多家公司參加反壟斷調查（來源：Venture Beat）
在未來的一年裡，預計監管機構將開始更頻繁地關注、提及 AI，闡述這些公司如何以及為什麼不公平地扼殺競爭。核心討論的地方是，這些公司的數據壟斷讓它們在開發有效的機器學習算法方面擁有不可逾越的優勢。
7、生物將繼續是機器學習最熱門、最具變革性的領域
這是這個列表中最不可預測的部分，同時它也是這個列表中最重要的預測。
圖 | AlphaFold 解決蛋白質結構問題（來源：Edward Kinsman）
無論是在學術研究、創業投資和主流媒體關注方面，生物學都將日益成為應用人工智慧影響最大的領域。DeepMind 上個月的歷史性 AlphaFold 成就，其影響將需要數年才能完全發揮出來。而當前這些 AI 在生物領域的成果，僅僅是人類通過將計算方法和機器學習應用於生物學奧秘實現成就的開端。
https://blog.deeplearning.ai/blog/the-batch-biggest-ai-stories-of-2020-covid-triage-fun-with-gans-disinfo-whack-a-mole-gpt-superstar-imagenet-recall-fda-approvals?utm_source=Social&utm_medium=Twitter&utm_campaign=TheBatch_12.23.20
https://www.forbes.com/sites/robtoews/2020/12/22/10-ai-predictions-for-2021/
重磅！
AI有道年度技術文章電子版PDF來啦！
掃描下方二維碼，添加 AI有道小助手微信，可申請入群，並獲得2020完整技術文章合集PDF（一定要備註：入群 + 地點 + 學校/公司。例如：入群+上海+復旦。
長按掃碼，申請入群
（添加人數較多，請耐心等待）
感謝你的分享，點讚，在看三連