在加拿大溫哥華舉行的神經信息處理系統（NeurIPS）會議上，機器學習成為焦點，13,000名研究人員探索了諸如神經科學，如何解釋神經網絡輸出以及AI如何幫助解決現實世界中的重大問題之類的事物。
由於已接受1,400多種作品的出版，必須統籌安排時間。對於Google AI負責人Jeff Dean而言，這意味著在研討會上進行演講，討論機器學習如何幫助應對氣候變化帶來的威脅以及機器學習如何重塑系統和半導體。VentureBeat周四與Dean談到了谷歌在使用ML創建機器學習半導體方面的早期工作，谷歌的BERT對會話式AI 的影響以及2020年值得關注的機器學習趨勢。
為簡潔明了起見，對本採訪進行了編輯。
VentureBeat ：您將在周六的「通過機器學習應對氣候變化」研討會上進行演講。您可以在演講前分享什麼嗎？
傑夫·迪恩（Jeff Dean）：這顯然是一個非常廣闊的領域，使用機器學習來幫助解決與氣候變化相關的話題或減輕某些影響的潛力很大。因此，我們對此感到非常興奮。我認為Google和整個[AI]社區都感到非常興奮，因為這是一個嚴重的問題，而且……這背後有很多技術問題。就像，我們如何才能將機器學習實際應用於其中一些子問題？
VentureBeat：您可以完成[NeurIPS]上的工作嗎？我的意思是，我想您並未篩選所有項目，但是在Google展示的內容之外，您是否有其他感興趣的內容？
院長：嗯，可能不是所有的項目，但是我們對人們看到的有趣的事情進行了內部討論。而且我認為，如今機器學習領域整體而言在其研究成果中相當多產，因此很難跟上發展的步伐，但是其中一種方法是對人們認為重要的事情有很多集體意見。
我昨天才到，所以我自己的眼睛還沒看很多東西，但是我知道其他人對很多其他東西都感興趣。
VentureBeat：我上個月在arXiv上看到了您關於機器學習硬體發展的評論，您將在下個月的ISSCC上進行擴展。您認為在後摩爾定律世界中人們需要牢記哪些事情？
迪恩：嗯，我認為已證明非常有效的一件事是晶片的專門化，以執行你想要做的並非完全通用的某些類型的計算，例如通用CPU。因此，我們已經從更嚴格的計算模型（例如GPU甚至TPU）中受益匪淺，這些模型雖然更為嚴格，但實際上是根據ML計算需要做的事情設計的。相對於通用CPU，這實際上為你帶來了相當多的性能優勢。這樣一來，你就無法獲得我們過去通常會在總體製造過程中獲得的大幅增長，從而大大改善了你的年同比增長率。但是我們通過專業化獲得了巨大的架構優勢。
VentureBeat：您還了解了使用機器學習來創建機器學習硬體的知識。您能談談更多嗎？
院長：是的，我星期六要講的另一個話題是在ML for Systems研討會上。因此，我要談論的一件事是[如何]我們已經在ASIC晶片設計的機器學習中進行了一些早期工作，特別是布局和布線。因此，你有一個晶片設計，然後有很多電晶體以及它們的連接方式。
基本上，目前在設計過程中，你擁有可以幫助進行某些布局的設計工具，但是你卻擁有人工布局和布線專家，可以使用這些設計工具進行多次重複的迭代。從想要的設計開始，到實際上將其物理布局在晶片上，並在面積，功率和導線長度方面有適當的限制，並滿足所有設計角色或您正在執行的任何製造過程，這是一個數周的過程。
事實證明，我們在某些工作中擁有早期證據，可以使用機器學習來進行更多自動化的布局和布線。而且，我們基本上可以擁有一個機器學習模型，該模型可以學習為特定晶片玩ASIC的遊戲。
VentureBeat：太酷了。
院長：是的，我們在嘗試的一些內部晶片上都取得了不錯的結果。
VentureBeat：關於氣候變化問題，出現了一件事：我最近與英特爾AI總經理Naveen Rao交談，他提到了[每瓦]計算應該成為一個例如標準基準的測試，這裡的一些組織者正在談論人們必須分享他們在此處提交的培訓模型的碳足跡的概念。
院長：是的，我們對此感到很興奮，因為我們在Google數據中心培訓的所有內容–碳足跡為零。因為…基本上，我們所有的能源使用都來自可再生能源。所以那太好了。我認為其他人可能不會那麼興奮。
VentureBeat：我猜想對大型模型（如XLNet）或此類模型的批評是製造和部署它們所需的能量。我想如果它在Google數據中心中將是碳中和的，但是如果有人使用大型模型，那將是碳中和……
院長：是的，我認為有一個普遍的觀點，即這些大型模型中的一些模型是計算密集型的，並且在能源使用方面相當昂貴。因此，我認為對於社區而言，重要的是要研究可以使用哪些更有效的算法技術，以使我們希望……通過更少的計算和更少的……能量輸入就可以實現特定的模型或結果。
我認為諸如多任務學習和轉移學習之類的東西實際上是我們可以改善能源使用的相當有效的算法工具，因為您可以訓練一個模型，然後對其進行微調，或者針對相對較少的示例進行多任務學習。您想擅長的新任務。這比每次都從頭開始要好得多，這幾乎是當前的慣例。
VentureBeat：我想知道您最感興趣的事情是確保來自非洲或亞洲的旅行籤證有問題的研究人員能夠做到這一點，而且組織者之前對此進行了討論。但我正在與本周早些時候仍無法到達這裡的人交談，他建議在開放邊界類型的國家中至少召開一次主要會議（如ICML或CVPR）的想法，與獲得籤證有關。您對該想法有何看法？
院長：我認為我們確實希望更多的人可以參加這些會議。我認為有時會出現問題-無論您在哪裡召開會議，總是會有一些限制。例如，有時在美國學習的學生很難離開美國參加會議。因此，如果將它放在美國以外的特定地方，有時會帶來麻煩。
不同的國家/地區有不同的政策，但我認為讓大型會議在舉行會議的地方輪流召開是一件很明智的事情，因此並非每個人都面臨著來自同一地點的相同籤證問題。而且，我認為[我們需要]幫助政府了解科學交流為何如此重要以及為什麼他們願意讓人們參加科學會議一周或其他時間。
VentureBeat：對於BERT來說，這是重要的一年。到處都是BERT，以及各種BERT。人們接下來應該看到的BERT會有哪些變化，或者即將出現？
院長：BERT之所以有趣，是因為它建立在其他研究成果不斷發展的基礎上。因此，BERT的種類取決於一年前完成的Transformer工作。變壓器工作確實是在解決與基於LSTM的早期序列模型相同的問題。而且，我認為整個研究線程在實際產生機器學習模型方面非常富有成果，[現在]完成的機器學習模型比過去更複雜。對在一堆文本（任意文本）上進行預訓練的BERT的微調，然後對你關心的特定NLP任務進行微調，對於許多我們希望能夠解決的NLP問題來說，這是一個很好的範例。因此，在Google內部，我們正在研究產品中許多不同類型的應用程式。你知道我們只是在搜索堆棧中推出一些內容以提高搜索質量。
我想你也在更廣泛的社區中也看到了這一點。我們仍然希望能夠執行更多上下文相關的模型。像現在這樣，BERT和其他模型可以很好地處理數百個單詞，但不能作為上下文的10,000個單詞。因此，這是一個[有趣的方向]。我認為多模式模型非常有趣-例如你可以通過有趣的方式將文本與圖像，音頻或視頻相結合嗎？我們已經做了一些工作，社區的其他成員也做了一些工作，但是我認為這在將來將變得越來越重要。而且我敢肯定，人們會發現BERT所採用的基本方法有所改進。我們有一些小的甚至是重大的改進。
因此，基礎研究的重點將繼續。無論是在Google內部還是外部，使用我們現在知道如何做的事情將繼續是一組很好的應用程式。我們很興奮。
VentureBeat：是的，我遵循了很多類似的MT-DNN，RoBERTta。
院長：是的，每個人的名字都很可愛。很難讓它們保持筆直並確切地記住這裡或那裡的皺紋。我確實認為，在社區中有點過分強調要在某些問題上取得略微更好的最新技術成果，而對於完全不同的問題解決方法卻有點不了解也許沒有得到最先進的技術，因為它實際上是非常困難的，並且是一個非常漂亮的探索區域。
VentureBeat：喜歡穩健性嗎？
院長：是的，或者就像「解決我們認為重要的問題並表現出希望的完全不同的方法是什麼？」然後，如果人們遵循了這些粗糙的方向，那將很有趣。
VentureBeat：不是試圖登上GLUE排行榜的榜首？
院長：是的。
VentureBeat：您覺得來年Google面臨哪些技術或道德挑戰？
院長：就AI或ML而言，我們已經完成了一個相當合理的工作，以建立一個流程，通過該流程，我們可以了解如何在與AI原理相一致的不同產品應用和領域中使用機器學習。該過程已經得到了更好的調整，並通過模型卡之類的東西進行了潤色。我真的很高興看到這些事情。因此，我認為這些很好，並象徵著我們作為社區應該做的事情。
然後，我認為在許多原則領域中，存在真正的開放研究方向。就像，我們有一種最公知的實踐，可以幫助我們解決公平和偏見以及機器學習模型或安全性或隱私問題。但是，這些絕不是解決的問題，因此我們需要繼續在這些領域中進行長期研究，以提高技術水平，同時我們目前將最著名的最新技術應用於我們的工作中。應用的設置。
VentureBeat：您預計會出現哪些趨勢，或者您認為在2020年AI可能會超越哪些裡程碑？
迪恩：我認為我們將看到比以前解決的更大的多任務學習和多模式學習。我認為那會很有趣。而且我認為，將有一種持續的趨勢，那就是使更有趣的設備上模型（或諸如電話之類的消費類設備）更有效地工作。
我認為與AI相關的原理相關工作顯然很重要。我們是一個足夠大的研究機構，實際上我們正在做許多不同的工作，因此很難一一列舉。但我認為，總的來說，我們將[發展]最先進的技術，進行基礎研究，以提高我們正在關注的許多重要領域的能力，例如NLP或語言模型或視覺或多模式事物。但同時，還要與我們的同事和產品團隊合作，進行一些準備用於產品應用的研究，以使他們能夠構建有趣的功能和產品。[我們將]做一些Google目前沒有產品的新事物，但它們是ML的有趣應用，例如我們一直在進行的晶片設計工作。
VentureBeat：喜歡日常的機器人嗎？
院長：是的，我們進行了大量的機器人研究工作。我認為機器人技術是一個非常棘手的問題，要使機器人能夠在任意環境中運行，例如一個有椅子和東西的大會議室。但是，你知道，最近幾年我們進行了大量的研究工作，並且在這方面也取得了相當大的進步，我認為這也是一個有趣的研究方向。