自然語言處理最強 AI 模型 GPT-3:未來還有多少可能?(下)

2021-01-09 中國科學技術館

　　編者按：今年夏天，OpenAI推出了一個新的計算機系統，這個新系統名為 GPT-3。在自然語言處理方面，GPT-3展示出驚人的能力，它能寫文章，做翻譯，還能生成代碼，甚至可以學習一個人的語言模式，並遵循這個模式與人進行談話。但是，GPT-3也有一定的缺陷，未來還需逐步完善。本文是下篇，上篇主要介紹了GPT-3的功能和特性，下篇將介紹GPT-3的缺陷及未來發展方向。本文譯自New York Times，作者Cade Metz，原標題為" My Name Is GPT-3 and I Approved This Article"，希望對您有所啟發。

　　今年夏天，舊金山一家名為OpenAI的人工智慧實驗室公布了一項醞釀數月的技術，即名為GPT-3的新系統。這個系統通過分析數千本電子書、維基百科(Wikipedia)中的文字，以及貼在博客、社交媒體和網際網路上的近1萬億單詞，來學習自然語言的細節之處。

GPT-3無人察覺的缺陷

　　在20世紀60年代中期，麻省理工學院(Massachusetts Institute of Technology)的研究員約瑟夫·魏森鮑姆(Joseph Weizenbaum)建造了一種他稱之為ELIZA的自動化心理治療師。從2020年的角度來看，這個聊天機器人非常簡單。

　　與GPT-3不同，ELIZA並沒有從散文中學習。它是根據設計者定義的一些基本規則運行的。它基本上是在重複你對它說的話，只是以問句的形式。但更讓魏森鮑姆吃驚的是，許多人把機器人當作人類一樣對待，毫無保留地提出他們的問題，並從機器的回應中獲得了安慰。

　　當狗和其他動物表現出一點點類似人類的行為時，我們傾向於認為它們在模仿我們，而不是它們真正的行為。機器也是如此，科林·艾倫(Colin Allen)是匹茲堡大學(University of Pittsburgh)研究動物和機器的認知技能的教授，他說：「人們被吸進去了，」他說，「即使他們知道自己被吸進去了。」

　　這就是GPT-3的一部分。因為它可以生成令人信服的推文、博客文章和計算機代碼，因此我們把人性解讀到這個數字系統中，而不那麼關注它的局限性。

　　實際上在實踐中，系統失敗的次數和成功的次數差不多。我們忽略了它編寫的計算機代碼需要人類程式設計師進行一些微調——這裡刪除一行，那裡添加一行。我們沒有注意到，在幾次交流之後，它的對話天賦就會失效，因為它無法 「記住」 幾秒前說的話。我們也沒有完全意識到，雖然這個系統為利亞姆·波爾(Liam Porr)生成了一篇令人信服的博客文章，但是是波爾擬定的標題、配圖和前幾句話，並刪除了一些不太令人信服的句子。

　　波爾認為，GPT-3在短期內不會對打擊虛假信息的戰鬥造成巨大威脅，因為它仍然需要人類的大量幫助。像這樣的工具只有在完全靠它自己能夠產生大量令人信服的虛假信息的情況下，才會變得真正危險，而這些虛假信息的數量遠遠超過當今僱傭一個團隊能夠完成的數量。

　　同樣，當應用程式設計師問 Singer 關於GPT-3是否對其職業生涯構成威脅時，他向他們保證，至少現在還沒有。他認為這是讓他們的工作更輕鬆的一種方式。他說：「如果GPT-3能實現70%的目標，那就意味著省去了許多繁瑣的工作。」

　　我們不知道的是，在未來的幾個月和幾年裡，這項技術將會有多少改進。

更智能、更快，也更貴

　　當OpenAI的研究人員用發布在網際網路上的超過1萬億字對GPT-3進行訓練時，他們進行了第二個實驗，用數萬張數碼照片對一個類似的系統進行訓練。該系統可以分析所有這些照片，並學習如何構建圖像，就像GPT-3構建段落一樣。給定一張貓的照片的一半，它可以生成貓的其餘部分。

　　一些研究人員認為，這個實驗表明，這樣的系統最終可以像人類一樣，同時處理語言、視覺、聲音等跨越多個維度的任務。他們說，即使只訓練語言，這個系統也已經可以進入其他領域，無論是計算機編程、下棋還是製作吉他標籤。

　　但是，繼續改進這項技術並不是一件小事。處理所有這些網際網路數據需要一臺專門的超級計算機連續運行數月，這是一項極其昂貴的任務。當被問及這樣一個項目是否耗資數百萬美元時，OpenAI的執行長薩姆·奧特曼(Sam Altman)表示，成本實際上「更高」，可能會達到數千萬美元。

　　OpenAI負責研究的副總裁Amodei說，這項技術仍有改進的空間，需要使用更強大的處理能力來分析更多的數據。但他也表示，這種方法的「動力」可能即將耗盡。

　　但至少，GPT-3對於人工智慧研究人員和企業家來說是一種新工具，一種構建各種新技術和新產品的方式。電腦程式員瑞格利(Wrigley)最近辭去了他的日常工作，創辦了一家名為LearnFromAnyone的公司，旨在利用GPT-3 構建一種自動化導師，它可以偽裝成從科學家道格拉斯·霍夫斯塔德(Douglas Hofstadter)到風險投資家彼得·蒂爾(Peter Thiel)等所有人的樣子。還有一些初創公司則致力於為電腦程式員自動生成代碼，為營銷專業人士自動編寫促銷郵件和推特等。

　　但目前還不清楚這些服務最終的效果如何。如果GPT-3隻有一半的時間能生成正確的文本，它能滿足專業人士嗎？目前還不清楚這項技術能否成為真正的對話機器，更不用說真正的智能系統了。Amodei說，在通往能夠模仿人類大腦的漫長道路上，如果想要取得更多進展，需要全新的想法。「這有點像化學反應，」他說，「我們有一種原料，但還需要其他成分。」

　　譯者：Jane

相關焦點

  • 微軟獲自然語言處理模型 GPT-3 獨家授權
    今年以來，人工智慧領域出現了一個熱詞：GPT-3。由人工智慧非營利組織OpenAI 耗資 1200 萬美元開發，涵蓋 1750 億個參數，達到了目前最佳 SOTA，寫作水平媲美人類。種種光環加持下，自然語言處理模型GPT-3 已然成為一款 AI 神器。
  • OpenAI發布GPT3 api調用接口!可處理幾乎所有英文問題
    今天還有博客稱，GPT-3可以看作是研究神經網絡縮放律的一次嘗試。就是說，從一個好的神經網絡開始，把它增大十倍，它能變更聰明嗎？聰明多少？會聰明十倍嗎？能一直這樣做下去，直到它變得無限智慧、或是把所有電腦都用上？」
  • GPT-3:一個令人失望的語言模型
    GPT-2 論文認為，語言模型（文本預測器）在用作 NLP 基準測試的一些特定任務上可以做得很好，或者在某些場景下「至少不是很糟糕」——即使模型事先並不了解這些任務的細節。這主要是為了證明語言模型的能力有多強。
  • PyTorch-Transformers:最先進的自然語言處理庫(附帶python代碼)
    我相信這有可能徹底改變我們所知的自然語言處理領域。揭開NLP的神秘面紗本質上，自然語言處理是教計算機理解人類語言的複雜性。在討論PyTorch-Transformers的技術細節之前，讓我們快速回顧一下該庫構建的概念——NLP。我們還將理解最先進的(state-of-the-art)意味著什麼。
  • 性能堪比GPT-3,但參數量僅為0.1%,LMU團隊推出NLP最強文本生成模型
    模型越大，性能越佳？答案可能是不一定。在NLP領域，談到超大模型必然想到預訓練語言模型GPT-3，自今年3月份對外開放以來，其因超大模型和超強性能頻頻刷屏。GPT-3擁有1750億參數量，約有700G大小，一次訓練成本高達上百萬美元。1750億是什麼概念？去年2月份，OpenAI推出的GPT-2參數量為僅15億，是它的1\116。
  • AIOpen 預訓練語言模型專刊徵稿
    2018 年 ELMo、BERT 和 GPT 的成功發布，表明了預訓練語言模型（PLM）的成功，隨後又在自然語言理解和生成方面取得了重大突破。目前，在探索更有效的預訓練架構方面，已經做了很多卓有成效的工作，比如使用跨模態數據、跨語言數據和結構化知識等方法改進預訓練語言模型，或將 PLM 創新地應用於各種與 NLP 相關的任務。
  • 網際網路原子彈,算力吞噬者:1750 億參數的 AI 模型 GPT-3 引爆矽谷
    整個 2019 年，GPT-2 都是 NLP 界最耀眼的明星之一，與 BERT、Transformer XL、XLNet 等大型自然語言處理模型輪番在各大自然語言處理任務排行榜上刷新最佳紀錄。而 GPT-2 得益於其穩定、優異的性能在業界獨領風騷。而 GPT-3 的參數量足足是 GPT-2 的 116 倍，實現了對整個 2019 年的所有大型自然語言處理模型的降維打擊。
  • Vokenization:一種比GPT-3更有常識的視覺語言模型
    看著一個牙牙學語的小嬰兒開始對這個世界發生好奇，終於有一天開始指著一個毛茸茸的東西叫出「貓咪」的時候，你可能就會理解教會一個孩子說話並不比教會人工智慧認出一隻貓更容易。人工智慧靠大量的算力和數據，而人類靠著五感，還有我們那個低功率的大腦。
  • 人工智慧之自然語言處理初探
    雖然自然語言處理是人工智慧的一個細分領域，但是自然語言處理這個細分領域內，又有很多的細分領域。自然語言處理，也是涵蓋了多個學科的一個系統化的大型工程。自然語言處理，除了包含常見的分詞、分句、分段，詞目計算、詞類標註，有限狀態自動機、隱馬爾可夫模型等基礎的計算機理論知識外，還包含了語音學、語言學、心理學、統計學、腦科學等多個領域的學科知識。
  • GPT-2沒什麼神奇的,PyTorch 就可以復現代碼
    它是 fast.ai 團隊免費提供的優秀資源。 另一個關於 GPT-2 本身的優秀資源，是 Jay Alammar 的 The Illustrated GPT-2（http://jalammar.github.io/illustrated-gpt2/）。本文從語言模型的基本介紹開始，以一種非常容易理解的方式逐步解釋 GPT-2 模型。
  • 1750億參數,史上最大AI模型GPT-3上線:不僅會寫文,答題,還懂數學
    從圖中可以看到，小模型的性能較差，即使是擁有 130 億參數的模型（僅次於擁有 1750 億的 GPT-3 完整版模型）處理二位數加減法的準確率也只有 50% 左右，處理其他運算的準確率還不到 10%。
  • 用飛槳做自然語言處理:神經網絡語言模型應用實例 - 量子位
    想要讓模型能落地奔跑，就需藉助深度學習框架之力，Tensorflow、PyTorch自然是主流，但在Dropout都成獨家專利之後，不儲備「B計劃」，多少讓人有些擔驚受怕這裡有一份飛槳（PaddlePaddle）語言模型應用實例，從基礎概念到代碼實現，娓娓道來，一一說明。現在，量子位分享轉載如下，宜學習，宜收藏。
  • GPT-3的50種玩法告訴你,它很酷,但是沒有通過圖靈測試
    這個應用甚至能根據自然語言描述生成AI模型的代碼。例如我們輸入「構建將圖像分為5個類別的模型，數據集有25000張圖像，圖像大小為500x500」，應用立馬用keras寫出了一個卷積神經網絡，AI科技評論仔細檢查過代碼，除了沒有載入數據集的命令，模型構建部分基本是正確的。
  • 機器學習新聞綜述:2019年AI領域不得不看的6篇文章
    它給其打車軟體的所有用戶發送了一封電子郵件，郵件中提到：您下一次的Waymo之旅或許會是完全自主的無人駕駛之旅。自然語言處理 （NLP）3.Open AI發布GPT1 1.5B文章連結：https://openai.com/blog/gpt-2-1-5b-release/自然語言處理(NLP)領域中最大的事件之一就是在2019年11月發布的GPT2 1.5B。GPT2是來自於Open AI的文本生成神經網絡，由於其生成自然語音文本的驚人能力而成為世界各地的頭條新聞。
  • 德國小哥用AI拍大片!GPT-2寫臺詞、StyleGAN做特效、Replica來配音
    Vlad Alex考慮到自己是電影業餘愛好者，沒有專業的工作室，因此可以在不影響影片質量的前提下去掉一些可有可無的元素，只保留電影的必要元素：情節、演員和視覺效果、音樂。　　生成一份充滿荒誕派情節的電影劇本　　Alex使用由Openai推出的GPT-2語言模型，為自己生成了電影腳本。
  • 自然語言模型算法太雜亂?國產統一 AI 開源框架來了!|文末福利
    2019年8月，基於深度學習的語音和自然語言理解模型訓練平臺DELTA正式開源。一經開源，DELTA登上GitHub 熱榜，獲得 1k+的Star數，受到深度學習框架Keras的作者Franois Chollet的關注。DELTA可助力AI開發者創建、部署自然語言處理和語音模型，構建高效的解決方案，讓NLP應用更好落地。
  • 用GPT-2做個「姥爺」!57行代碼給《瑞克和莫蒂》寫新劇集
    大數據文摘出品來源：Medium編譯：xt、coolboy最近，一提到語言模型，我們想到的可能就是GPT-3，畢竟是有史以來規模最大的語言模型，參數高達1750億個。介紹隨著機器學習（Machine Learning, ML）和自然語言處理（Natural Language Processing, NLP）技術的快速進展，新算法具備生成文本的能力，這些文本也變得越來越接近人類寫出的內容。GPT21就是其中一個算法，它被應用在很多開源項目2中。
  • 自然語言處理之詞性標註
    圖：詞性標註示意，來源於網絡 詞性標註主要被應用於文本挖掘和NLP領域，是各類基於文本的機器學習任務（如語義分析、指代消解）的預處理步驟，是自然語言處理中一項非常重要的基礎性工作
  • 這款「狗屁不通」文章生成器火了,效果確實比GPT 2差太遠
    這次我們就來解讀一下，這個生成器是怎麼運行的，以此為例，延展探討一下文本生成未來還有哪些改進的方向。 話說，BullshitGenerator 這個項目最初起源於知乎上一位網友的提問：「學生會退會申請六千字怎麼寫？」
  • 自然語言處理中的卷積深度語義匹配模型簡介
    這幾年深度學習技術異常火熱，在自然語言處理方面也是備受關注。下面就讓我們來看看卷積深度語義結構模型和深度匹配模型是怎樣的原理吧。1. 卷積深度語義結構模型在深度語義結構模型的基礎上，有人通過考慮詞間的順序提出了卷積深度語義結構模型。