【新智元導讀】生命、宇宙和萬物的奧秘究竟是什麼，是4.398 萬億個參數？GPT-3的究極進化就是AGI嗎？AI大佬們為此還產生了分歧。
生命、宇宙和萬物的奧秘究竟是什麼？
數學家說是來自於根號、方程式和複雜的函數；
天體物理學家說來自量子糾纏、原子核裂變、白矮星坍縮；
生物學家說來自DNA、RNA.....
而AI大佬卻說，是來自4.398 萬億個參數而已。
除非你一直在火星上度假，否則你肯定注意到了 GPT-3。
AI大佬們談GPT-3：生命、宇宙和萬物的答案，就只是 4.398 萬億個參數而已
在GPT-3論文發表不久，神經網絡之父Geoffrey Hinton對最近媒體追捧的有1750億個參數的語言訓練模型GPT-3 的評價：「鑑於 GPT-3 在未來的驚人前景，可以得出結論，生命、宇宙和萬物的答案，就只是 4.398 萬億個參數而已」。
但是著名的人工智慧研究者Gary Marcus，發表最新見解，認為GPT-3壓根不了解它所談論的世界，you know nothing, GPT-3....
進一步增加語料庫只能讓它產生那些看起來更可信的七拼八湊的話語，但無法彌補其對世界根本性理解的缺失。將來出了GPT-4，也還是會需要人工幹預和篩選。
言外之意，儘管增加了這麼多的參數，也只是表面上看「懂」得多了許多，但這種「懂」是沒有靈魂和內核的，並沒有從本質上破解人類世界的奧秘。
起因是其中一個讀者提到，cherry-picking是一個巨大的問題，cherry-picking指的是人為的精挑細選，比如通順有趣的句子。
「大部分GPT-3的樣例都是人工篩選的」。目前的結果只是把光鮮亮麗的cherry呈現在了眼前，還有一大堆成千上萬的bad case怎麼不說。
cherry-picking的問題其實早已有之。
去年年底，《經濟學人》雜誌發表了對 OpenAI 的 GPT-2 文本生成系統的採訪，當時故意說 GPT-2 給出的這些回答「未經編輯」，而實際上，每個回答都是從生成的 5 個候選回答中由人類挑選的，挑選標準是要語意連貫而且幽默。看了這篇報導，原本以為AI已經能和人類自如對話了，但其實只是一場作秀。
當然Gary Marcus這麼認為不無道理。
他一直以來對深度學習領域的學術和應用成果持懷疑態度，這麼「潑冷水」也不是一次兩次了，為此也經常和其他大佬撕。
Marcus在此前的電話採訪中表示，我認為需要以一種哲學家們樂於接受的方式，以及經典人工智慧領域的人們有時會採用的方式，對世界進行非常仔細的分析，但不是只知道用正確的工具。」
他還曾經批判，「現在人工智慧，人們就知道一味地追求更多的數據和更快的機器。」
也有讀者進行了諷刺地回復，20年後的新聞：深度學習能夠治療癌症。
Gary Marcus：這個算法根本不能理解蛋白質的反應性......
都能治療癌症了，還要啥自行車？
GPT-3在進化：可生成高級論點，寫熱搜文章，還能構建AI模型
不論兩位大佬孰是孰非，隨著GPT-3的不斷進化，GPT-3會不斷產生新的應用是不爭的事實。
當GPT-3達到人類數量的神經元後，會變的和人一樣聰明嗎？
像所有的深度學習系統一樣，GPT-3在數據中尋找模式，然後在神經元中更新權重。
為了簡化這事，GPT-3已經訓練了一個巨大的文本語料庫，從海量文本中挖掘統計規律。這些規律對人類來說是未知的，它們以向量的形式被存儲為 GPT-3神經網絡中不同節點之間的數十億個權重連接中。
GPT-3革命性的一點在於，這個過程不需要人工幹預， 程序在沒有任何先驗指導的情況下就能自動查找和發現模式，然後用這些模式來完成文本生成。
如果你在 GPT-3中輸入單詞「fire」，它會推測到單詞「 truck」和「 alarm」比「 lucid」或「 elvish」出現的概率更大，一切都很簡單。
吞噬了巨大的文本之後，GPT-3的知識深度和複雜性都遠超常人。
可生成高級論點，能自我反省
哥倫比亞大學的認知神經科學家拉斐爾 · 米利埃做了一個實驗，他把一篇關於GPT-3的論文輸入給 GPT-3並要它對論文做出回應。
有趣的是，生成的文本不僅有高級的論點，甚至還有自我反省: 「人類哲學家經常犯這樣的錯誤，即假設所有的智能行為都是一種推理形式。這是一個很容易犯的錯誤，因為推理確實是大多數智能行為的核心。然而，智能行為也可以通過其他機制產生。我缺乏長期記憶力。每次我們的談話重新開始，我就會忘記以前發生的一切」。
確實有很多人質疑GPT-3的寫作能力，但是伯克利大學的Liam Porr用事實證明，GPT-3是有實用價值的。
牛刀小試，首發就上熱搜
你寫的文章上過熱搜嗎？他用GPT-3生成的第一篇文章，就登上了當天hackernews的熱榜！
他會給文章寫標題和介紹，添加照片，其他的內容由 GPT-3來完成。這篇博客現在有超過26000的訪問量，獲得了大約60個忠實粉絲，真的是漲粉利器！
自動構建圖片分類模型，生成Keras代碼
寫寫前端代碼，並不能充分展現GPT-3的代碼能力，現在有網友做出了一個可以直接生成Keras模型的應用，你告訴GPT-3想要一個圖片分類模型，圖片的格式，Keras模型就自動生成了。
儘管 GPT-3可以編寫代碼，但是很難判斷它的整體實用性。代碼是不是很亂？代碼是否會給人類開發人員帶來更多的問題？沒有詳細的測試很難說，也許一些bad case被刻意隱藏了。
但是大框架基本是沒問題的，即便加上人工的修改時間，GPT-3作為一個輔助工具，也極大地提高了工程師的生產力。
有微博網友表示，GPT-3這樣的大模型會讓很多人失業。
對人工智慧行業來說，算法工程師不會受到大的衝擊，但是「調參俠」們可要上點心了。通用的人工智慧還有很久，但特定領域通用的代碼實現起來就沒那麼難了。
GPT-n的終極模式：通用人工智慧？
通用人工智慧（AGI）是 AI 研究的究極目標。這個目標何時能實現？此前在一次對全球23位頂尖AI學者的一次調查中，最樂觀的人給出的時間為2029年，最悲觀的人認為要到2200年。平均來看，這個時間點為2099年。AGI是真正的有生之年系列。
其實Hinton和Marcus兩位大佬的分歧焦點最終要落在： 我們能否用現有的GPT-3來構建 AGI（通用人工智慧），或者我們需要在哪些基礎性研究中取得突破？
對於這個問題，人工智慧從業者們沒有一致的答案。
一方面，GPT-3缺少創造人工智慧的關鍵組成部分，計算機在接近人類智能水平之前，需要理解諸如因果之類的東西。
另一方面，通過簡單地向GPT-3扔更多的數據和算力，這些模型確實會帶來更大的性能提升。
計算機科學家Rich Sutton在一篇名為《苦澀的教訓》(The Bitter Lesson)的文章中提出了一種觀點，他指出，當研究人員試圖基於人類知識和特定規則創建人工智慧時，往往會失敗。
GPT-3代表著人類向 AGI 邁出了一小步，但這一小步並非微不足道，因為這個模型是非監督學習的。
它吃進無限的原始數據 ，而且每次都會有進步，它的知識是人類知識的總和，可以用你最喜歡的方式跟你交流，接下來，它會不會建立一個「世界模型」，變的無所不知？
未來還會有GPT-4，GPT-5，GPT-n值得期待。