科技巨頭微軟推出Turing-NLG,目前規模最龐大的AI語言模型

2020-12-05 超能網

微軟這個科技界巨頭目前正在研發一個新的AI語言模型,而這個模型的規模比目前其他公司所研發出的都要大。

這個新的AI語言模型名為「圖靈自然語言生成(Turing Natural language Generation)」,也即Turing-NLG。為什麼說它的規模比其他同類型的模型都要大呢?首先,Google的BERT模型擁有3億4千萬組參數; OpenAI的GPT-2擁有15億組參數; 皮衣刀俠老黃家的Megatron-LM有83億組,而微軟這個Turing-NLG,則擁有170億組參數,是目前最大的模型的兩倍!

那麼這個AI可以幹些什麼呢?簡單來說就是當你把一小段文字,Turing-NLG可以順著這段文字寫出一些像是由人類寫成的句子,而且是與這段文字相關的,並不是雜亂無章的語句。

微軟的科學家Corby Rosset表示:「微軟正在推出Turing-NLG,這是有史以來最大的模型,總參數為170億,在各種語言建模測試中均表現比目前最坐的同類模式優秀,並且當用在概括以及回答問題在內等多項實際任務中也表現出色。」

就如其前輩一樣,Turing-NLG的170億組參數是由變形器(transformer)構建而成的,這種變形器是一種用以處理輸入文字後,配合上文下理並且輸出單詞的AI架構。

對於機器來說,要生成像人類對話或有意義的文本是困難的,因為要做到這點就先必須要理解上文下班理,不然只會產出一堆「每個字都看得懂但組合在一起就看不懂」的句子。因此AI必須可以接受關於思路這方面的訓練才有機會做到這點。

而Turing-NLG的弱來則代表了AI在這方面又邁進了一步。或許在不久的將來,筆者可以把文章寫個開頭,然後剩下的就由AI去發揮了(笑)。

有關這個新AI的詳細介紹可以在這裡查看。

相關焦點

  • 170 億參數加持,微軟發布史上最大 Transformer 模型 T-NLG!
    【CSDN編者按】Turing Natural Language Generation(T-NLG)是微軟提供的一個有170億參數的語言模型,在許多NLP任務上均優於目前的SOTA技術。那麼,它就有哪些優勢?在誕生過程中,又有哪些突破?趕快往下看!
  • 華人研究團隊推出AI「諷刺」檢測模型,準確率達86%
    最近,中國北京的信息工程研究所和中國科學院聯合推出的一款AI模型,『諷刺』識別準確率高達86%。而且,這項研究成果還登上了計算機語言協會(ACL)。本次美國大選,除了兩位當事人拜登和川建國外,最頭疼的可能就是Facebook創始人扎克伯克了。
  • 華人研究團隊推出AI「諷刺」檢測模型,準確率達86%
    最近,中國北京的信息工程研究所和中國科學院聯合推出的一款AI模型,『諷刺』識別準確率高達86%。而且,這項研究成果還登上了計算機語言協會(ACL)。本次美國大選,除了兩位當事人拜登和川建國外,最頭疼的可能就是Facebook創始人扎克伯克了。
  • 微軟推出機器學習系統Brainwave,超低延遲、堪稱實時AI
    目前,Brainwave支持使用微軟CNTK框架和谷歌TensorFlow框架的訓練模型。 【AI星球(微信ID:ai_xingqiu)】8月23日報導(編譯:福爾摩望)微軟今天推出了一款可以支持高速、低延遲機器學習模型的系統,也預示著微軟開始在專用AI硬體領域嶄露頭角。
  • 谷歌推出AutoML自然語言預訓練模型
    經過數月的beta測試,谷歌近日宣布面向全球用戶推出AutoML Natural Language的通用版本,支持分類、情緒分析和實體提取等任務,以及支持各種文件格式,包括掃描的pdf文件。 AutoML自然語言利用機器學習來揭示電子郵件、聊天日誌、社交媒體帖子等文本的結構和含義。
  • 全球三十大最佳 AI 創業公司公布
    科技巨頭大力推進技術研究和平臺建設,創業公司在摸索場景應用中快速崛起,早期項目也逐漸建立起自己的商業邏輯。2017 年 2 月,Drive.ai 在美國加利福尼亞州山景城街道完成雨夜無人駕駛測試。同年 9 月,Drive.ai 與 Lyft 達成合作協議,在加州推出試點計劃。
  • 網際網路巨頭的雲端AI晶片暗戰
    對網際網路巨頭而言,雲端AI晶片是一個完美的連結器,可以有效地把雲計算、AI、晶片三者連接起來。而從網際網路巨頭們自身出發,雲端AI晶片可以充分把它們所具備的優勢發揮出來,讓它們在AI晶片領域中也能具備強大的市場競爭力。首先,在雲端AI晶片領域,網際網路巨頭們擁有「本土作戰」優勢。得益於龐大的數據和流量加持,網際網路巨頭們也更容易成為雲計算巨頭。
  • 經濟學人封面文章:科技巨頭規模的擴大的同時消費者利益如何保證...
    最新一期英國《經濟學人》雜誌發表封面文章稱:隨著科技巨頭規模的擴大,如何能同時顧及消費者的既得利益,成為了擺在監管者面前的一道難題。同時表示,數據共享的要求可以根據公司的規模進行調整:平臺規模越大,分享的數據就必須越多。
  • 從新藥研發到守護健康,生命科技將成AI巨頭新賽道
    面對人工智慧龐大市場機遇,以及產業智能化對新技術需求,科技企業迎來最好的發展紅利,諸如科大訊飛作為智能語音代表性廠商,憑藉其人工智慧技術在教育、醫療、城市、汽車、翻譯等場景得到良好應用落地,面對疫情衝擊,營收得到恢復,2020年前三季度,營收同比增長10.8%至72.8億元,淨利潤同比增長48%至5.5億,預示人工智慧核心技術驅動的戰略布局成果不斷顯現。
  • 微軟發布史上最大AI模型:170億參數,將用於Office套件
    170億參數量,是此前最大的語言模型英偉達「威震天」(Megatron)的兩倍,是OpenAI模型GPT-2的10多倍。「隨著更大的自然語言模型導致更好結果的趨勢,微軟引入了Turing-NLG,」微軟在研究博客中寫道。
  • 專訪微軟沈向洋:小冰入駐華為手機只是開始,做 AI 是漫長工程
    7月26日,微軟小冰微軟在北京召開了第六代微軟小冰年度發布會。本次發布會,也是微軟小冰歷史上最大規模的一次全面升級。2014年人工智慧伴侶虛擬機器人「微軟小冰」誕生於北京的微軟亞太研發集團總部。四年來,微軟研發團隊專注致力於以EQ(情商)為基礎的的AI體系的建設,如今,微軟小冰已從一個有情感的人工智慧對話機器人,發展成為以情感計算為核心的完整人工智慧框架。
  • 【微軟】大型神經語言模型的對抗性訓練,Adversarial Training
    在自然語言處理(NLP)中,預訓練大型神經語言模型(例如BERT)在針對各種任務的通用化方面顯示出令人印象深刻的收益,而從對抗性微調中得到了進一步的改進。但是,這些模型仍然容易受到對抗性攻擊。在本文中,我們表明對抗性預訓練可以同時提高泛化性和魯棒性。我們提出了一種通用算法ALUM(大型神經語言模型的專家訓練),該算法通過在嵌入空間中應用擾動來最大化訓練目標,從而使對抗性損失最大化。
  • AI唱歌不僅中英文無壓力,還會粵語!微軟聯手浙大研發出DeepSinger
    聽微軟小冰唱粵語歌會是一種怎樣的體驗?想必你一定聽過最近大火的"AI女團",7月10日,微軟小冰攜手小米小愛、B站冷鳶、百度小度首次集體亮相世界人工智慧大會,以一首AI歌曲《智聯家園》正式「出道」。AI女團的首場演唱會可謂驚豔全場。從整首歌的歌詞、卡點、節奏來看,這首《智聯家園》演唱得不亞於專業音樂團隊。
  • 微軟語音 AI 技術與微軟聽聽文檔小程序實踐|AI ProCon 2019
    2006年左右,基於HMM模型的合成技術興起,它的好處是非常平滑,但是也帶來負作用,就是聲音過於平滑,讓人聽出來覺得不夠具有表現力。深度學習的興起在合成領域也得到了應用,最近兩三年推出的神經網絡TTS,是語音合成技術的突破。谷歌提出來Tacotron, WaveNet這些模型,把語音自然度提升新的水平。
  • 首個萬億級模型!Google重磅推出語言模型Switch Transformers,1.6...
    這些改進擴展到了多語言設置中,可以測量101種語言在mT5-Base版本上的收益。最後,通過在「Colossal Clean Crawled Corpus」上預先訓練多達數萬億個參數模型來提高當前語言模型的規模,使速度比T5-XXL模型提高了4倍。
  • 首個萬億級模型:谷歌推出語言模型 Switch Transformers,1.6 萬億...
    研究員介紹稱,Switch Transformer 擁有 1.6 萬億參數,是迄今為止規模最大的 NLP 模型。這些改進擴展到了多語言設置中,可以測量 101 種語言在 mT5-Base 版本上的收益。最後,通過在 「Colossal Clean Crawled Corpus」上預先訓練多達數萬億個參數模型來提高當前語言模型的規模,使速度比 T5-XXL 模型提高了 4 倍。
  • 中國十大科技巨頭企業人工智慧領域動態 | 獵雲網
    儘早布局AI領域,就能優先佔領更大的市場,本文梳理了國內網際網路科技巨頭們在人工智慧領域的七月動態,原文如下:目前中國在人工智慧領域的核心技術及產業創新都面臨著良好的發展機遇,有些技術甚至已居世界首位,例如語音識別技術和人臉識別技術。在網際網路圈子裡,有一句話流傳甚廣:得人工智慧者得天下。
  • 全球AI作業系統暗戰:百度飛槳為中國深度學習撐起天空
    要知道,越是規模龐大的經濟體,在實現AI技術應用時,就越需要在國家層面上共享框架開放、生態開放的深度學習框架平臺。這種框架平臺,實際上就是AI時代的作業系統,它與PC時代的Windows、移動網際網路時代的安卓具備同樣關鍵的戰略意義,是AI產業時代的「兵家必爭之地」。當前,世界範圍內共有四種AI作業系統。
  • 中國科技巨頭的量子戰爭
    一場由科技巨頭主導的量子戰爭正式拉開序幕。  低調的馬雲  低調和馬雲,看起來是兩個完全不搭的詞。但在談論科技時,馬雲就一改平日裡高調的作風了。  2017年3月9日,阿里巴巴在杭州總部召開了首屆技術大會,動員全球兩萬多名科學家和工程師投身新技術戰略。