人工智慧作為計算機科學的其中一個分支,如今的發展可謂是超越了所有的計算機科學分支,自2016年穀歌的阿爾法圍棋(AlphaGo)第一個擊敗人類職業冠軍圍棋選手(李世石九段)以來,人工智慧的理論和技術日益成熟,應用領域也不斷擴大,可以設想,未來人工智慧帶來的科技產品,將會在部分領域超越甚至取代人類大腦。
而如今隨著GPU的更新換代,我們知道在運算能力方面,CPU是不如GPU的,FPGA也無法適應大規模的並行運算。對此谷歌研發出了TPU晶片,就是專門針對人工智慧神經網絡的運算,這也引起了科技廠商們開始研製神經網絡晶片的浪潮。
這幾年湧現了許多的人工智慧模型,如今(CNN、DNN、RNN)、GAN都是研究的熱點,而NLP (自然語言處理)是人工智慧的一個子領域,自然語言處理也是人工智慧中最為困難的問題之一。
而目前號稱全球最大的語言模型最大語言模型(GPT-3),它可以生成評測人員難以與人類撰寫的文章區分開的文章。
(GPT-3) 的歷史
Generative Pre-trained Transformer 3 (GPT-3) 其實是一種自動回歸的語言生成模型,它利用深度學習來生成類人文本。由舊金山的人工智慧研究實驗室OpenAI創建的gpt-n系列的第三代語言預測模型。
GPT-3於2020年5月發布,並於2020年7月進行了beta測試,它是面向訓練前語言表示的自然語言處理(NLP)系統趨勢的一部分。在GPT-3發布之前,最大的語言模型是微軟於2020年2月推出的圖靈NLG。與GPT-3相比,其容量為170億個參數,不足其10%。
GPT-3生成的文本質量很高,很難與人類書寫的文本區分開來,這既有好處,也有風險。可見GPT-3是有史以來最有趣和最重要的人工智慧系統之一。
微軟於2020年9月22日宣布,微軟擁有GPT-3的獨家使用權。其他人仍然可以使用公共API接收模型輸出,但是只有微軟可以控制原始碼。
GPT-3模型介紹
最初的GPT一代在訓練數據集上相對較小,它只在數千本書和一臺普通的8核CPU機器上進行訓練。而到了GPT-2大大擴展了訓練的範圍,訓練數據至少是前一版本的10倍以上。GPT-2在當時也已經取得了驚人的成果。GPT-2生成文本的模型,用戶只需要輸入一段文字,這個模型就能將這段文字引申成一個新聞或文章,足以達到以假亂真的程度。
GPT-3驚人的能力來自於它的大量學習。它將監督學習與無監督學習相結合。GPT-3將收集到的文本中的單詞或短語隨機刪除,並嘗試使用上下文填充刪除的單詞或短語。通過這種訓練方法,不需要使用大量的人工數據進行訓練,從而使GPT3的大規模訓練成為可能。
完整版本的GPT-3可以保存1750億個機器學習參數,訓練一次 GPT-3 模型消耗的電量約為 19 萬度,據傳訓練費用更是高達1200萬美元,這樣的項目如果不經商業化推行,那麼成本將難以承擔。
目前GPT-3已被安德魯·梅恩(Andrew Mayne)用於AI Writer ,它使人們可以通過電子郵件與歷史人物通信。
被《衛報》用來撰寫有關AI對人類無害的文章。提出了一些想法,並撰寫了八篇不同的文章,最終將其合併為一篇文章。
GPT-3用於AI地牢,可生成基於文本的冒險遊戲等等。
GPT除了可以編寫代碼,生成文本和文章,它甚至還可以用來生成圖像。圖片的像素值可以抽取出來轉化成文本符號,再用GPT-3的模型進行訓練,從而可以讓其成為圖像生成器。實際上,它的結果可以和專門用於圖像生成的對抗生成網絡(GAN)媲美。可以預見,GPT系列未來可能會發展成巨大的通用型網絡模型。
而且在很多情況下,我們甚至都不需要會編程,那些有機會測試GPT-3 Beta版的研究人員就可以使用這個模型生成可運行的代碼。
再來看看目前主流的人工智慧框架。
TensorFlow
「使用數據流圖表的可伸縮機器學習的計算」,TensorFlow是一個端到端開源機器學習平臺。
主流語言:C ++或Python,其他語言基本都有。
TensorFlow就是一套工具,我們需要做的就是學會使用這個工具,去實現自己的各種網絡。 TensorFlow在部署基本支持所有平臺和所有語言,這一點對開發者還是非常友好的。
Microsoft CNTK
支持 python 、 C++、C#,Microsoft 計算網絡工具包 (CNTK) 是一個非常強大的命令行系統,可以創建神經網絡預測系統。CNTK 最初是出於在 Microsoft 內部使用的目的而開發的,因而文檔有些晦澀難懂,但安裝方式最簡單的一個框架。
Caffe
Caffe是一個強大的深度學習框架,快速、開源的深度學習框架,對於新手不太友好,尤其是安裝環境就十分麻煩。但是作為卷積神經網絡CNN的框架,在圖像識別領域是非常專業的,用於圖像識別、醫學診斷輔助模型的設計比較簡潔自然。
基本無需額外編寫過多的代碼,只需要設計網絡配置、以及你有大量的正確樣本,就可以訓練輸出比較好的識別結果,也可以額外實現作為具體物體在圖像中的位置搜尋功能。
語言:C ++。
缺點是架構比較一般,擴展新的功能較為麻煩。
Torch
Torch是一個用於科學和數字操作的開源機器學習庫,這是一個基於Lua程式語言而非Python的庫。Torch通過提供大量的算法,使得深度學習研究更容易,並且提高了效率和速度。
當然了,也有PyTorch的實現,它是一個開源的Python機器學習庫,基於Torch。
人工智慧帶來的影響
隨著技術的進一步提高,我們可以想像,未來初級程序開發人員可能不會那麼受歡迎,無代碼和自動機器學習將取代初級開發人員的大部分工作。可以想像,隨著人工智慧的不斷進化,人工智慧將逐漸成為人腦的工具。
在人工智慧工具的幫助下,一個人可以很容易地處理團隊以前需要的工作量。因為工具解放了人類個體的生產力,有了技術知識和願意使用技術,人們可以創造出比以往任何時候都多的東西。即使需要團隊合作,技術的應用也會使團隊變得更小,效率更高,團隊成員會有更多共同的興趣。人工智慧的應用可能會使那些有先天優勢技術好、受過良好教育視野開闊的人獲得更多的利潤,而那些既沒有先天優勢也沒有良好教育、因生活而短視的人則更處於不利地位,所以社會財富只會將越來越集中。
雖然目前,人工智慧具體的應用還未彰顯出能取代一切的姿態,也未大規模的走進千家萬戶之中,但是像GPT-3這樣規模的網絡的存在是不爭的事實了,未來還將出現更多領域的人工智慧服務,而這些將取代大部分人的工作。
沒有一技之長的人不僅將在這個時代被迅速拋棄,在下一個人工智慧時代也將可能被迅速淘汰。可見未來的教育任務才是重中之重。