目前最佳的幾個人工智慧開發框架以及(GPT-3)模型簡介

2020-12-26 騰訊網

人工智慧作為計算機科學的其中一個分支,如今的發展可謂是超越了所有的計算機科學分支,自2016年穀歌的阿爾法圍棋(AlphaGo)第一個擊敗人類職業冠軍圍棋選手(李世石九段)以來,人工智慧的理論和技術日益成熟,應用領域也不斷擴大,可以設想,未來人工智慧帶來的科技產品,將會在部分領域超越甚至取代人類大腦。

而如今隨著GPU的更新換代,我們知道在運算能力方面,CPU是不如GPU的,FPGA也無法適應大規模的並行運算。對此谷歌研發出了TPU晶片,就是專門針對人工智慧神經網絡的運算,這也引起了科技廠商們開始研製神經網絡晶片的浪潮。

這幾年湧現了許多的人工智慧模型,如今(CNN、DNN、RNN)、GAN都是研究的熱點,而NLP (自然語言處理)是人工智慧的一個子領域,自然語言處理也是人工智慧中最為困難的問題之一。

而目前號稱全球最大的語言模型最大語言模型(GPT-3),它可以生成評測人員難以與人類撰寫的文章區分開的文章。

(GPT-3) 的歷史

Generative Pre-trained Transformer 3 (GPT-3) 其實是一種自動回歸的語言生成模型,它利用深度學習來生成類人文本。由舊金山的人工智慧研究實驗室OpenAI創建的gpt-n系列的第三代語言預測模型。

GPT-3於2020年5月發布,並於2020年7月進行了beta測試,它是面向訓練前語言表示的自然語言處理(NLP)系統趨勢的一部分。在GPT-3發布之前,最大的語言模型是微軟於2020年2月推出的圖靈NLG。與GPT-3相比,其容量為170億個參數,不足其10%。

GPT-3生成的文本質量很高,很難與人類書寫的文本區分開來,這既有好處,也有風險。可見GPT-3是有史以來最有趣和最重要的人工智慧系統之一。

微軟於2020年9月22日宣布,微軟擁有GPT-3的獨家使用權。其他人仍然可以使用公共API接收模型輸出,但是只有微軟可以控制原始碼。

GPT-3模型介紹

最初的GPT一代在訓練數據集上相對較小,它只在數千本書和一臺普通的8核CPU機器上進行訓練。而到了GPT-2大大擴展了訓練的範圍,訓練數據至少是前一版本的10倍以上。GPT-2在當時也已經取得了驚人的成果。GPT-2生成文本的模型,用戶只需要輸入一段文字,這個模型就能將這段文字引申成一個新聞或文章,足以達到以假亂真的程度。

GPT-3驚人的能力來自於它的大量學習。它將監督學習與無監督學習相結合。GPT-3將收集到的文本中的單詞或短語隨機刪除,並嘗試使用上下文填充刪除的單詞或短語。通過這種訓練方法,不需要使用大量的人工數據進行訓練,從而使GPT3的大規模訓練成為可能。

完整版本的GPT-3可以保存1750億個機器學習參數,訓練一次 GPT-3 模型消耗的電量約為 19 萬度,據傳訓練費用更是高達1200萬美元,這樣的項目如果不經商業化推行,那麼成本將難以承擔。

目前GPT-3已被安德魯·梅恩(Andrew Mayne)用於AI Writer ,它使人們可以通過電子郵件與歷史人物通信。

被《衛報》用來撰寫有關AI對人類無害的文章。提出了一些想法,並撰寫了八篇不同的文章,最終將其合併為一篇文章。

GPT-3用於AI地牢,可生成基於文本的冒險遊戲等等。

GPT除了可以編寫代碼,生成文本和文章,它甚至還可以用來生成圖像。圖片的像素值可以抽取出來轉化成文本符號,再用GPT-3的模型進行訓練,從而可以讓其成為圖像生成器。實際上,它的結果可以和專門用於圖像生成的對抗生成網絡(GAN)媲美。可以預見,GPT系列未來可能會發展成巨大的通用型網絡模型。

而且在很多情況下,我們甚至都不需要會編程,那些有機會測試GPT-3 Beta版的研究人員就可以使用這個模型生成可運行的代碼。

再來看看目前主流的人工智慧框架。

TensorFlow

「使用數據流圖表的可伸縮機器學習的計算」,TensorFlow是一個端到端開源機器學習平臺。

主流語言:C ++或Python,其他語言基本都有。

TensorFlow就是一套工具,我們需要做的就是學會使用這個工具,去實現自己的各種網絡。 TensorFlow在部署基本支持所有平臺和所有語言,這一點對開發者還是非常友好的。

Microsoft CNTK

支持 python 、 C++、C#,Microsoft 計算網絡工具包 (CNTK) 是一個非常強大的命令行系統,可以創建神經網絡預測系統。CNTK 最初是出於在 Microsoft 內部使用的目的而開發的,因而文檔有些晦澀難懂,但安裝方式最簡單的一個框架。

Caffe

Caffe是一個強大的深度學習框架,快速、開源的深度學習框架,對於新手不太友好,尤其是安裝環境就十分麻煩。但是作為卷積神經網絡CNN的框架,在圖像識別領域是非常專業的,用於圖像識別、醫學診斷輔助模型的設計比較簡潔自然。

基本無需額外編寫過多的代碼,只需要設計網絡配置、以及你有大量的正確樣本,就可以訓練輸出比較好的識別結果,也可以額外實現作為具體物體在圖像中的位置搜尋功能。

語言:C ++。

缺點是架構比較一般,擴展新的功能較為麻煩。

Torch

Torch是一個用於科學和數字操作的開源機器學習庫,這是一個基於Lua程式語言而非Python的庫。Torch通過提供大量的算法,使得深度學習研究更容易,並且提高了效率和速度。

當然了,也有PyTorch的實現,它是一個開源的Python機器學習庫,基於Torch。

人工智慧帶來的影響

隨著技術的進一步提高,我們可以想像,未來初級程序開發人員可能不會那麼受歡迎,無代碼和自動機器學習將取代初級開發人員的大部分工作。可以想像,隨著人工智慧的不斷進化,人工智慧將逐漸成為人腦的工具。

在人工智慧工具的幫助下,一個人可以很容易地處理團隊以前需要的工作量。因為工具解放了人類個體的生產力,有了技術知識和願意使用技術,人們可以創造出比以往任何時候都多的東西。即使需要團隊合作,技術的應用也會使團隊變得更小,效率更高,團隊成員會有更多共同的興趣。人工智慧的應用可能會使那些有先天優勢技術好、受過良好教育視野開闊的人獲得更多的利潤,而那些既沒有先天優勢也沒有良好教育、因生活而短視的人則更處於不利地位,所以社會財富只會將越來越集中。

雖然目前,人工智慧具體的應用還未彰顯出能取代一切的姿態,也未大規模的走進千家萬戶之中,但是像GPT-3這樣規模的網絡的存在是不爭的事實了,未來還將出現更多領域的人工智慧服務,而這些將取代大部分人的工作。

沒有一技之長的人不僅將在這個時代被迅速拋棄,在下一個人工智慧時代也將可能被迅速淘汰。可見未來的教育任務才是重中之重。

相關焦點

  • 什麼是2021年最佳的後端開發框架
    什麼是2021年最佳的後端開發框架接下來我應該學習什麼?如果你是一名開發人員,這個問題應該一直在你的腦海中。
  • 詳解人工智慧領域重大突破:GPT-3
    多年來,Gwern一直關注著OpenAI的NLP發展,他稱GPT-1在文本中模仿人類語言和風格的能力為"可愛",GPT-2"令人印象深刻",而GPT-3則是"可怕"。Gwern花了大量時間探索GPT-3及其前輩的能力,由此給出了對當前這代GPT模型的思考以及可能阻礙其發展的因素,值得一讀。OpenAI API目前並不方便直接微調或將GPT-3模型訓練來完成特定任務。
  • 一天star量破千,300行代碼,特斯拉AI總監Karpathy寫了個GPT的Py...
    目前,該項目在 GitHub 上亮相還沒滿 24 小時,但 star 量已經破千。是 BPE(Byte-Pair Encoding)版本,目前尚未完成。目前的 API 外觀如下:minGPT 是如何實現的?在實現過程中,Karpathy 參考了 OpenAI GPT 官方項目,以及其他組織的示例等。
  • GPT-3 是強AI嗎?
    到目前為止,強人工智慧的實現日期還不能確定,因為這是一項相當複雜的工作,而且我們並不確定是否能夠完成它。 2020 年最新的超級算法  2020 年有一種最新研發的超級算法GPT-3備受關注,以下是它能做的事情: 1.
  • 都在說GPT-3和AlphaFold,2020沒點別的AI技術突破了?
    這一年,人工智慧卻從來沒有停下前進的腳步。這一年人工智慧行業有哪些新進展?為全球疫情做了哪些貢獻?明年趨勢又將如何?數據科學社區Analytics Vidhya對此進行了總結。報告認為,2020年是巨大飛躍的一年。從OpenAI的GPT-3,再到AlphaFold,都是令人振奮的成就。
  • 「萬能生成器」GPT-3斬獲NeurIPS最佳論文
    ——文|杜晨 編輯|Vicky Xiao近日,人工智慧頂級學術會議 NeurIPS 2020,因為疫情的影響,在網絡上正式召開。大會組委會公布了參會者和全球AI研究者、實踐者最為期待的獎項名單,結果也在意料之中:科研勁旅 OpenAI 提交的超強生成模型 GPT-3 論文(和另外兩篇論文一起)斬獲本屆 NeurIPS 最佳論文獎!
  • GPT-3成精了,萬物皆文本時代來臨!10年內通過圖靈測試?
    簡單來說,GPT-2 和 GPT-3 都是一種續寫文本的 AI 模型,開頭給幾句提示,後面的故事全靠他的語言模型一點一點續寫。思路順暢,很少遇到「寫作瓶頸」。 GPT-3 是著名人工智慧科研公司 OpenAI 開發的文本生成 (text generation) 人工智慧,相關論文在5月份發表,當時就以天文數字級別的1750億參數量引發了巨大轟動。 對於語言模型來講,大小真的很重要。要知道,人的大腦也才只有860億個神經元。
  • 10 個頂尖的 Linux 開源人工智慧工具
    在這篇文章中,我們將介紹幾個頂級的開源 Linux 生態系統的人工智慧(AI)工具。
  • API開放之後,我們才真正領略GPT-3的強大……
    毫無疑問,近期矽谷最火的話題就是 GPT-3 了。甚至有人圍繞 GPT-3 寫了各種笑話,其中比較搞笑的一條:約會第一句話:「我拿到 GPT-3 體驗資格了」GPT-3 是著名人工智慧科研公司 OpenAI 開發的文字生成 (text generation) 人工智慧,相關論文5月份已經發表,當時就以天文數字級別的1,750億參數量引發轟動。
  • 這位紹興人是世界頂級人工智慧科學家,春暉中學畢業!
    、清華大學碩士學位和學士學位,曾於新加坡國立大學、微軟亞洲研究院、NEC美國實驗室、Google Brain工作,現任Facebook研究科學家,負責前沿AI平臺的開發以及前沿的深度學習研究。在伯克利期間開發了深度學習框架Caffe,在Google期間參與了ImgeNet2014比賽、TensorFlow平臺的開發、基於深度學習的產品開發和產品諮詢等。在AI領域有數年的研究經歷。
  • 還沒搞懂人工智慧吧,要不,讓圖靈「親自」給你講講?
    但站在AI的角度來說,這波操作和今年3月在GitHub上大火的「胡編生成器」以及「觀後感生成器」似乎有些相似。仔細探究後果不其然,這個項目也是基於OpenAI的API接口,以及今年6月OpenAI發布的GPT-3建立起來的。
  • 人工智慧驅動線上語言測試開發 多鄰國英語測試引領行業新趨勢
    (基於計算心理測量框架的測試設計)  突破傳統測試開發瓶頸,一小時內完成權威英語水平鑑定  傳統語言測試的題目開發往往始於專業書面測試題目的開發,通過數千名學生參與測試獲取有關題目難度和考生答題表現的數據
  • 「開源」江湖前景廣闊,百度一馬當先推動人工智慧共同發展進步
    作為國內AI開源的扛把子,百度飛槳集深度學習核心訓練和推理框架、基礎模型庫、端到端開發套件和豐富的工具組件於一體,並根據本土化特點將開源框架與應用層面做了更好的結合,旨在打造自主可控的人工智慧作業系統,持續賦能廣大開發者,這意味著個人開發者也可以利用飛槳提供的平臺部署自己的深度學習模型。
  • 中國《人工智慧標準化白皮書2018》發布完整版
    2.3 人工智慧參考框架目前,人工智慧領域尚未形成完善的參考框架。因此,本章基於人工智慧的 發展狀況和應用特徵,從人工智慧信息流動的角度出發,提出一種人工智慧參考 框架(如圖 2 所示),力圖搭建較為完整的人工智慧主體框架,描述人工智慧系 統總體工作流程,不受具體應用所限,適用於通用的人工智慧領域需求。
  • GPT-3親自撰文回應「為什麼人類不必懼怕AI?」,答案令人毛骨悚然!
    其原因,一是文中一系列令人毛骨悚然的觀點;二是這篇文章是出自人工智慧—GPT-3之手。GPT-3是有史以來最強大的自然語言處理模型,自從OpenAI開放其API以後,其以令人驚嘆的功能頻頻刷屏。史蒂芬·霍金(Stephen Hawking)警告說,人工智慧可能意味著』毀滅人類的終結』,在這裡,我會說服您不要擔心,人工智慧不會摧毀人類,相信我!」來自加州大學伯克利分校的計算機科學本科生利亞姆·波爾(Liam Porr)將這些內容輸入GPT-3系統,並且完成了這篇文章,我們來感受下。
  • Java框架視頻入門教程,常用開發框架
    Java框架視頻入門教程,常用開發框架,一般來說,很多Web框架都在是前端變得更有趣,對用戶更加友好。Java有很多用戶,也有很多開發框架適用他,選擇哪個框架才能更適合我的項目呢?
  • 【智庫聲音】美國陸軍人工智慧創新院為多域作戰提供支持
    (3)用於移動和機動的決策支持工具數據集 決策支持工具,如輔助目標識別和自動目標識別,依靠廣泛的數據類型和信息源來幫助觀察環境,建立態勢感知,並選擇最佳的可用資產來執行適當的行動。利用各種空中和地面傳感器的特性(如聲學、雷達、光電和紅外)來確定可行的最佳行動方案。
  • 谷歌發布最大語言模型:等於9個GPT-3,訓練成本卻低得多
    燒了微軟10000張顯卡的GPT-3,也不過1750億參數。現在,他們將這參數量擴大到9倍——16000億參數。這一語言模型正是Switch Transformer,自稱是迄今為止最大的模型,其預訓練速度是谷歌以前開發的最大語言模型(T5-XXL)的4倍。
  • 清華唐傑:GPT-3表示能力已經接近人類,但它有一個阿喀琉斯之踵
    因此在這之後,就出現了概率圖模型、概率與因果模型以及深度學習。當然,有人會說,到最後你還在講機器學習,在講一個模型,這個離我們真正的認知智能是不是太遠了?用計算的方式打造通用人工智慧過去幾年連我自己都不信,我們可以建造一個通用人工智慧,讓計算機系統甚至能夠超越人。舉一個例子,OpenAI。
  • 我用GPT-2創造了3000個寵物小精靈,完美復刻《神奇寶貝》!
    而這個AI正是自然語言模型GPT-2.提到NLP模型,我們印象最深的可能是GPT-3。今年該模型因1750億超大參數量和超強應用,在各大媒體平臺頻頻刷屏。GPT-2,與GPT-3師出同門,都是OpenAI研發的自然語言處理模型,兩個模型最大的不同是它的參數量,GPT-2僅為15億。但這並不影響它的應用範圍。與GPT-3類似,GPT-2也可以用來寫故事、畫圖表,或者玩西洋棋。