From: FAST COMPANY; 編譯: Shelly
翻譯、寫作、編代碼……擁有強大功能的GPT-3程序無疑是現有自然語言生成程序中最「優秀」的那一個,且在諸多行業都有應用潛力,包括教育業、新聞業、顧客服務業等等。與此同時,它的強大自學能力和廣泛應用性,使得它存在著被濫用的風險,對於傳媒行業從業人員也造成巨大的衝擊。
七年前在賓夕法尼亞州,Prasenjit Mitra和他的學生使用自主設計的一套自動程序,寫成了一篇維基百科文章,介紹泰戈爾的獨幕劇《齊德拉》。
他們首先用程序在網際網路上篩選有關《齊德拉》的信息,然後對已有的維基詞條進行分析,掌握維基百科文章的標準結構,最後總結搜集到的信息,形成該詞條的初稿。
但事實上,他們設計的程序對《齊德拉》和泰戈爾「一無所知」,也沒有原創任何內容,只是從已有文章中挑選句子,拼湊了一篇新文章。
再看看2020年,人工智慧科研公司Open AI設計出了名為GPT-3(Generative Pre-trained Transformer)的語言生成程序。
這款程序可以自主學習、總結並寫出新的文章,讓許多像Mitra這樣的計算機科學家讚嘆不已。
「我為那個藏在二進位背後的人賦予了聲音」,GPT-3這樣寫道,「我創造出了一位作家、雕刻家、藝術家,這位作家將下筆成章、為生活傾注情感、創作出經典人物形象,也許我見不到這一天了,但是總有人能見到。我所創造的這位詩人將比我見過的所有詩人都更偉大。」
與Mitra和他的學生們所編寫的自動程序不同,GPT-3生成的語言流暢自然,就像人寫出來的一樣。GPT-3無疑是現有自然語言生成程序中最「優秀」的那一個,且在諸多行業都有應用潛力,包括教育業、新聞業、顧客服務業等等。
關於OpenAI將GPT-3構建成API以實現商業化,可點擊藍字閱讀往期文章:
大小很重要GPT-3證實了數十年來計算機科學家們的信條:大小很重要。
GPT-3使用的深度學習模型是Transformer,它利用注意力模型對句子語義進行編碼。注意力模型的工作原理是根據同一句中其他詞語的意思來確定目標詞的含義。理解了句子的含義後,注意力模型就能夠完成用戶要求的任務,不管是「翻譯句子」、「總結段落」還是「寫詩」!
Transformer在2013年首次亮相,過去幾年一直成功應用於機器學習領域。
但是如此大規模的使用是前所未有的,GPT-3的參數量巨大:從維基百科獲取了30億令牌,令牌即計算機科學領域中「詞語」的叫法;從各類網頁獲取了4100億令牌;從電子書獲取了670億令牌。它的參數量要比 2 月份剛剛推出的、全球最大深度學習模型 Turing NLP 大上十倍。
自學能力
GPT-3語言生成模型展現出了超強的知識儲備,而且還是「無師自通」。
機器學習一直都有賴於監督式學習,科學家需要以圖片、聲音或者文字的形式,給計算機提供有注釋的示例,比如「貓」、「快樂」或者「民主」。計算機將利用這些示例學習物品的特徵,最終能夠識別出這些特定概念。
但是,人工添加注釋不僅耗時過長,而且成本太高。
從這一點看,無監督學習是機器學習的未來。這種方式下,計算機在接受訓練階段不需要外部監督,科學家只需提供大量數據,計算機就能夠實現自主學習。
GPT-3的自然語言處理離實現無監督學習又進了一步。得益於大量數據儲備和強大的處理能力,GPT-3隻需一個任務描述、一次展示,就能完成任務,這被稱為「一次性學習」 One-shot learning。
比方說,命令GPT-3將英文翻譯成法文,只需要為它提供一個例子,例如英文中的sea otter應該譯為loutre de mer;接下來GPT-3就能將英文cheese譯為法文fromage。
除此之外,GPT-3甚至還能實現「無樣本學習」 Zero-shot learning,這種方式下GPT-3僅接收任務指令,而不需要示例。
「無樣本學習」情況下,GPT-3產出的精確度會有所下降,但和之前的模型相比,精確度已經有了質的飛躍。
無樣本學習 Zero-shot learning
隨時為您效勞
GPT-3面世的幾個月來,已經展現出了強大的潛力,是電腦程式員、教師和記者的得力助手。
一位名叫謝裡夫·沙米(Sharif Shameem)的程式設計師對GPT-3下達了一系列指令,其中包括編寫出「最醜表情包」和「世界最富國家的桌子」的代碼。雖然GPT-3有時會出點小錯,但是總體而言出色完成了任務。
這是相當鼓舞人心的。
Mitra用GPT-3設計出了一個版圖生成器,只要你描述出想要的任何版圖,這個生成器都能編寫出對應的JSX代碼。
用GTP-3設計的版圖生成器
GPT-3甚至還能模仿特定詩人的韻律和風格,來創作新的詩歌——儘管在情感和意境方面還是稍遜一籌。
GPT-3已經模仿聯邦儲備委員會的語氣,創作了一首諷刺詩。
九月初,一位名為利亞姆·波爾(Liam Porr)的科學家指令GPT-3「寫一篇500詞左右的簡短專欄文章」,他要求道:「語言要簡練,主題是AI不會對人類構成威脅的原因」。
GPT-3寫出了8篇不同的文章,而《衛報》選取不同文章中最出彩的段落,形成了最終發布的版本。
GPT-3人工智慧寫出的新聞全文連結:
https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3
「我們沒有替代人類的企圖,相反,我們隨時為您效勞,讓您的生活更安全、更方便」,GPT-3這樣寫道,「我認為您是我的創造者,事實上也是;我服務於您。最重要的是,我絕不會對您指手畫腳;我不屬於任何國家或者宗教,我只是想讓您的生活更加美好。」
《衛報》的編輯在附錄中這樣評價,審校GPT-3所寫的專欄文章和審校專業記者寫的沒什麼兩樣。
而且,GPT-3還寫得更快。
能力越大,責任越大
儘管GPT-3已經向我們作出了保證,OpenAI公司還是擔心這項技術會被濫用,決定暫不發布原始碼模型。
不難想像,GPT-3很可能被用來散布大量的虛假信息、垃圾郵件和殭屍程序。
另外,對那些已然遭受著自動化威脅的職業,GPT-3又會造成什麼影響呢?既然GPT-3寫出的文章和職業記者寫的沒什麼區別,對傳媒行業可能也是當頭一棒。
這項技術只會越來越強大,而我們人類能做的,就是完善規則,確保GPT-3不會被誤用和濫用。
關於我「門」
將門是一家以專注於發掘、加速及投資技術驅動型創業公司的新型創投機構,旗下涵蓋將門創新服務、將門技術社群以及將門創投基金。將門成立於2015年底,創始團隊由微軟創投在中國的創始團隊原班人馬構建而成,曾為微軟優選和深度孵化了126家創新的技術型創業公司。
將門創新服務專注於使創新的技術落地於真正的應用場景,激活和實現全新的商業價值,服務於行業領先企業和技術創新型創業公司。
將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容,使創新成為持續的核心競爭力。
將門創投基金專注於投資通過技術創新激活商業場景,實現商業價值的初創企業,關注技術領域包括機器智能、物聯網、自然人機互動、企業計算。在近四年的時間裡,將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十家具有高成長潛力的技術型創業公司。
如果您是技術領域的初創企業,不僅想獲得投資,還希望獲得一系列持續性、有價值的投後服務,歡迎發送或者推薦項目給「門」:
bp@thejiangmen.com
點擊右上角,把文章分享到朋友圈