【新智元導讀】自從API開放以後，GPT-3真的要成精了！可以陪你從詩詞歌賦談到人生哲學，還可以畫圖表搞運維做PPT，真的無所不能。GPT-3到底有沒有說的那麼神，又是否過譽呢？
疫情期間你和TA怎麼樣了？
上半年的疫情，讓很多朋友，戀人都不得不相隔兩地，我在海澱頭，君在朝陽尾，日日思君不見君，只能...
這個時候有個GPT-3陪你，看星星看月亮，從詩詞歌賦談到人生哲學。豈不美哉。
還玩什麼戀與製作人啊，直接申請一個API接口，和GPT-3聊天就好了。未來，紙片人+GPT-3的電子男女朋友，市場潛力巨大。
他有時候很直男，總是講一些蹩腳的玩笑哄你開心，尬聊的樣子真可愛。
來源：計算機科學家Kevin Lacker博客
有時候又化身文藝青年，浪子詩人，時不時吟誦一些脫離俗套和低級趣味、另闢蹊徑的隨想，警示金句如下，
「世界上任何你看不慣的東西，都可以用「這不好玩」來應對」
「如果我知道人生的意義是什麼，我還會上這兒來浪費時間嗎？」
如果說最近computer science圈子裡什麼最火，那非GPT-3莫屬。
簡單來說，GPT-2 和 GPT-3 都是一種續寫文本的 AI 模型，開頭給幾句提示，後面的故事全靠他的語言模型一點一點續寫。思路順暢，很少遇到「寫作瓶頸」。
GPT-3 是著名人工智慧科研公司 OpenAI 開發的文本生成 (text generation) 人工智慧，相關論文在5月份發表，當時就以天文數字級別的1750億參數量引發了巨大轟動。
對於語言模型來講，大小真的很重要。要知道，人的大腦也才只有860億個神經元。
API開放了以後，各路網友腦洞大開，讓GPT-3寫代碼，做簡歷，簡直是比男朋友還管用。
一切皆文本的時代要來了！
寫SQL畫圖表搞運維做PPT，GPT-3 要成精！
GPT-3不是被玩壞了，而是玩出了新高度。
你可能還停留在GPT-3驚人的文本生成能力，但看了下面這些應用，你一定會被震撼到，「找老黃買顯卡來不及了，趕快申請API，我要開發自己的GPT應用」！
給GPT-3一個提示，融入各種融入流行文化的表情包就到手了。
什麼，Excel中也能用GPT-3了，還能進行自動推理？演示表格裡列了幾個大公司的CEO，把含有數據的單元格框住，Loading 一秒鐘，自動推斷出了Ben Horowitz所屬的公司，need no operation！
為什麼你的圖表這麼low，別人做的可視化卻賊漂亮，只能強行解釋一波，「不會寫代碼，好看的圖表都是代碼寫的」。現在有了GPT-3，就不用解釋了，只需把你的數據餵給GPT-3，不用Excel表格，嘴說就行！
「3個蘋果，5個梨，2個橙子」，bang！精美的Dash 圖表就生成了。
找工作寫簡歷是個頭疼的事，現在你只要告訴GPT-3你在哪個公司工作了幾年，後面的事就不用管了，條理清楚，格式精美的簡歷就幫你「編好了」，工作年限、主要職責、項目經歷一應俱全。
向老闆匯報工作要做PPT，只需要把文本一複製，就能生成合適的演示文稿。
想找個運維的工作，不會操作AWS？
「你好，我需要創建一個AWS實例，謝謝」。
等一秒鐘，GPT-3：「我好了，你複製下代碼就行」！
簡直要成精啊！
不會寫SQL你好意思說自己是運維？不好意思，有了GPT-3真的可以為所欲為！
運維：「GPT-3，我想查詢下年齡在25到35之間的工人的薪資信息」，
GPT-3：好的，SQL拿去「select salary from worker where age between 25 and 35」。
「增刪改查」工程師已哭暈在廁所。
吃了3000億token的GPT-3，內部如何工作的？
將包含3000億個token的文本餵給GPT-3進行無監督訓練，目前OpenAI已經完成了這一壯舉。你現在看到的所有實驗都來自於這個龐大且昂貴的模型。據估計，它花費的成本高達460萬美元。
我們再來看看它的訓練細節，GPT-3在所有文本中進行滑動，每滑動一個窗口就會生成大量示例。
GPT-3如何處理「robotics」這個單詞並產生「A」 呢？
「robotics」經歷了下面三個過程，首先被轉換為詞向量，中間經過96個Transformer的洗禮，最後再將向量重構為單詞 「A」，如果不是「A」，就開始計算並反向傳遞誤差，直到得出正確的單詞，這一過程要重複數百萬次。
訓練好的模型如何食用呢？只需要簡單的微調即可。比如想應用在英法機器翻譯上，只需要提供給GPT-3少量的平行語料對。
這樣說可能不夠直觀，我們使用Python來演示下如何教會GPT-3幹活。
寫LaTeX公式對非學術研究人員來說是個頭疼的事，但有了GPT-3，LaTeX語法轉換竟是如此簡單。
前面我們說了，如果你想應用在特定任務上，需要給GPT-3一點小小的「提示」，它才能領會到你具體想幹啥。
跟OpenAI申請一個GPT-3的API Key，你就能一鍵調用這個1750億參數的模型了。
想寫一個從a到b的積分，如果不給提示，GPT-3直接返回原文了，但是，如果你輸入個例子，告訴它你想把自然語言翻譯為LaTeX，那GPT-3就心領神會了，完美輸出了f（x）從a到b的積分公式。
OpenAI CEO：GPT-3 只是驚鴻一瞥，是否過譽？
GPT-3對於小白來講，也是一個直觀地感受到人工智慧如此強大的入口。
OpenAI 的CEO Sam Altman講，他把GPT-3展示給一個10歲的小男孩兒，他當即說自己想進入人工智慧領域。
一名開發者認為，GPT-3 確實讓我預感到，在未來10年內，AI有望通過圖靈測試。圖靈測試目的就是測試機器是否具備人類智能。
關於人類智能的討論，又涉及到一個問題，如何定義「人類智能」。到底是只談到它具備人類的「智力」（包括思維能力學習能力等），還是說它應該完整地具有一個「人格」，甚至擁有靈魂等等超越性的東西。讓人想起網上那段著名有關上帝的靈魂拷問。
但業界也紛紛傳出聲音，認為GPT-3有過譽之嫌。Altman在一條推特中謙遜地表示，「GPT-3的宣傳最近太過火了，確實讓人印象深刻，但它仍然有嚴重的弱點，有時會犯非常愚蠢的錯誤。人工智慧將改變世界，但 GPT-3隻是一個非常早期的驚鴻一瞥。我們還有太多問題需要解決。」
業界專家：GPT-3表現出了推理能力，但還不是真正的智能
更有人預測，按照這種進化速度，GPT-3五年內可以部分替代，甚至在某些地方超越心理醫生了。「以後大家最上癮的娛樂就是和GPT-3交流互動了。」
也有網友提出GPT-3並非是全知全能，對長篇大論理解能力差，邏輯推理也繞不過幾個彎，還是沒法給美國執業醫師考試USMLE寫解析，暫時沒法取代內科大夫.....
還想取代內科大夫，要啥自行車？
新智元也就GPT-3是否具有認知智能等問題，採訪了一位NLP領域的資深技術專家，他認為GPT-3跟認知智能還是有點距離，但GPT-3做到了few-shot learning，GPT-3 模型本身就已經學習到了大量的經驗，給一些小樣本做個微調，這種做法和BERT 很像，而成績主要歸功於Transformer，分布式學習+ 長距離依賴，單就原理上來說，沒有本質的突破。
而網友展示的例子背後，也說不定有多少bad case。
認知智能的定義很寬泛，目前也沒有形成統一。理解，自主決策，可思考我認為是其中的幾個核心點，GPT-3展現出來的推理能力只是認知智能的一種表現形式。
反而是近兩年逐漸興起的知識圖譜，在推理智能上表現出了一定潛力，知識圖譜增強了認知智能的可解釋性(路徑可知)，但目前在算力、模型、數據上還存在很大的缺陷，還有很長的路要走，要時刻保持清醒。
從長期來看，構建大規模的知識圖譜數據，將知識圖譜學習和深度學習結合起來是一個重要趨勢。
不論是否過譽，GPT-3都預示著一種可以想見的未來。就算GPT-3的理解能力不能和人類劃等號，但在人類永恆的交流欲望面前，GPT-3，一個溫柔，情緒穩定，老實肯幹，懂得分析和思考的AI也許終有一天會勝過人類的陪伴。
參考連結：
https://www.technologyreview.com/2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/