國產超大規模AI預訓練模型發布,可實現「用圖生文」等任務

2021-01-15 澎湃新聞

六出奇光動地來,西方海國見旌旗。

水心惟有終無底,火內曾無徹上灰。

地軸迂迴周八極,天球低陷不磨回。

明朝滄海成桑田,吾欲吹噓弄大灰。

以上詩句題為《詠智利日全食》，來自人工智慧模型「文匯」的手筆。

人工智慧模型「文匯」是北京智源人工智慧研究院近日發布的一款面向認知的超大規模新型預訓練模型。它旨在探索解決當前大規模自監督預訓練模型不具有認知能力的問題，參數規模達113億，僅次於OpenAI1月初發布的DALL·E模型的120億參數量，是目前中國規模最大的預訓練模型。

超大規模預訓練模型是當前人工智慧領域研究的熱點。

自2020年5月，OpenAI發布迄今為止全球規模最大的預訓練模型GPT-3以來，OpenAI、谷歌等科技公司都在持續推動大規模預訓練模型的進一步發展。2021年1月5日，OpenAI在官方博客發布了人工智慧神經網絡「DALL·E」，可以通過自然語言文本直接生成對應圖像。

據介紹，「文匯」模型能夠學習不同模態（文本和視覺領域為主）之間的概念，可以實現「用圖生文」等任務，具有一定的認知能力。

北京智源人工智慧研究院成立於2018年11月，是在科技部和北京市委市政府的指導和支持下，由北京市科委和海澱區政府推動成立的新型研發機構。

「文匯」由智源研究院發起的「悟道」攻關團隊完成，團隊由智源研究院、阿里巴巴、清華大學、中國人民大學、中國科學院、搜狗、智譜.AI、循環智能等單位的科研骨幹組成。

智源研究院院長、北京大學信息技術學院黃鐵軍表示，「文匯」模型針對性地設計了多任務預訓練的方法，可以同時學習文→文、圖→文以及圖文→文等多項任務，實現對多個不同模態的概念理解。

「文匯」模型能夠完成多種圖文生成任務。例如，根據下面這張圖片，模型可給出描述如下描述：

旗袍是一種古典的風格，它不僅能夠彰顯出女性優雅氣質，而且還具有很好的修飾身形。這款旗袍採用了經典的圓領設計，穿著舒適自在，同時又能夠展現出女性柔美的頸部線條，讓你更加的迷人。精緻的繡花工藝，使得整件衣服看起來更加的精緻，也更加的凸顯出女性的魅力。

「文匯」模型還能夠生成基於人設的文本：

據悉，「文匯」模型的研究團隊在模型中提出了針對多模態認知生成的大規模預訓練的架構M6：MultiModality-to-MultiModality Multi-task Mega-Transformer。模型整體架構基於Transformer，其中圖像進行切塊並對塊採用ResNet-50提取特徵。這些特徵以及對應的position embedding讓圖像和文本能組合在一起送入模型。智源研究院透露，目前，「文匯」已支持基於認知推理的多種自然語言及跨模態應用任務，部分應用即將與搜狗、阿里巴巴、學堂在線、智譜.AI、循環智能等機構合作上線。具體功能包括基於上傳圖片的開放域問答、用語言操作數據可視化、基於預訓練語言模型的詩詞創作應用和可控人設的開放域問答等。

(本文來自澎湃新聞，更多原創資訊請下載「澎湃新聞」APP)

相關焦點

  • 國產超大規模AI預訓練模型發布 可實現「用圖生文」等任務
    原標題：國產超大規模AI預訓練模型發布，可實現「用圖生文」等任務 　　六出奇光動地來，西方海國見旌旗。 　　水心惟有終無底，火內曾無徹上灰。
  • AIOpen 預訓練語言模型專刊徵稿
    2018 年 ELMo、BERT 和 GPT 的成功發布，表明了預訓練語言模型（PLM）的成功，隨後又在自然語言理解和生成方面取得了重大突破。目前，在探索更有效的預訓練架構方面，已經做了很多卓有成效的工作，比如使用跨模態數據、跨語言數據和結構化知識等方法改進預訓練語言模型，或將 PLM 創新地應用於各種與 NLP 相關的任務。
  • RoBERTa中文預訓練模型,你離中文任務的「SOTA」只差個它
    機器之心報導參與：思源、一鳴有了中文文本和實現模型後，我們還差個什麼？還差了中文預訓練語言模型提升效果呀。對於中文領域的預訓練語言模型，我們最常用的就是 BERT 了，這並不是說它的效果最好，而是最為方便。
  • 預訓練語言模型:還能走多遠?
    因為有很多個不同任務，而每一個任務都需要保持一個很大的Fine-tuning後的模型，這樣非常低效。因此我們需要探索更有效的預訓練模型使用方法。比如用PTMs去做數據增強，用它本身去產生數據，然後用數據去訓練新的模型，或者直接把它作為一個外部knowledge，然後做一個結構化的knowledge去查詢。 第六個就是可解釋性以及可信賴性。
  • [預訓練語言模型專題] MT-DNN(KD) : 預訓練、多任務、知識蒸餾的結合
    感謝清華大學自然語言處理實驗室對預訓練語言模型架構的梳理，我們將沿此脈絡前行，探索預訓練語言模型的前沿技術，紅框中為已介紹的文章，綠框中為本期介紹的文章，歡迎大家留言討論交流。眾所周知，語言模型預訓練方法和多任務學習策略都是提高模型性能的重要手段，本文就結合了兩者的優點，提出了MT-DNN的方案，並在GLUE上的八個NLU任務上超越了之前的state-of-art模型。首先，MT-DNN考慮了四種類型的NLU任務，分別是單句文本分類(CoLA, SST-2)，文本對的分類(RTE，MNLI，QQP，MRPC)，文本相似度度量(STS-B)，相關度排序(QNLI)。
  • 26億參數,智源、清華開源中文大規模預訓練模型
    機器之心報導機器之心編輯部近日，北京智源人工智慧研究院和清華大學研究團隊聯合發布了以中文為核心的大規模預訓練語言模型 CPM-LM，參數規模達 26 億，預訓練中文數據規模 100 GB。
  • NLP領域最優秀的8個預訓練模型(附開源地址)
    自然語言處理應用能夠快速增長，很大程度上要歸功於通過預訓練模型實現遷移學習的概念。在本文中，我將介紹一些頂級的預訓練模型，你可以用它們來開始你的自然語言處理之旅，並複製該領域的最新研究成果。如今，自然語言處理（Natural Language Processing，NLP）應用已經變得無處不在。
  • 中文最佳,哈工大訊飛聯合發布全詞覆蓋中文BERT預訓練模型
    而在中文領域，哈工大訊飛聯合實驗室也於昨日發布了基於全詞覆蓋的中文 BERT 預訓練模型，在多個中文數據集上取得了當前中文預訓練模型的最佳水平，效果甚至超過了原版 BERT、ERINE 等中文預訓練模型。基於 Transformers 的雙向編碼表示（BERT）在多個自然語言處理任務中取得了廣泛的性能提升。
  • InsightFace: 用OneFlow輕鬆實現超大規模人臉識別模型
    人臉識別的規模也從最初基於幾百張圖片、識別數十張人臉，到現在動輒識別上百萬甚至億級別的人臉，這樣超大規模的人臉識別需求，帶來了諸多要解決的技術難題，特別是基於分布式機器學習系統訓練大規模人臉識別模型的挑戰。
  • 中文ELECTRA預訓練模型再升級
    在今年3月，哈工大訊飛聯合實驗室推出了中文ELECTRA預訓練模型，並將相關資源進行開源，目前在GitHub上已獲得580個star。本次更新中，我們將預訓練語料從原有的約20G提升至180G，利用接近9倍大小的數據集。
  • 最強NLP預訓練模型!谷歌BERT橫掃11項NLP任務記錄
    目前將預訓練語言表徵應用於下遊任務存在兩種策略：基於特徵的策略和微調策略（fine-tuning）。基於特徵的策略（如 ELMo）使用將預訓練表徵作為額外特徵的任務專用架構。微調策略（如生成預訓練 Transformer (OpenAI GPT)）引入了任務特定最小參數，通過簡單地微調預訓練參數在下遊任務中進行訓練。
  • 【NLP】Facebook提出的預訓練模型BART
    BART 尤其擅長處理文本生成任務，不過它在理解任務中的性能也不錯。在提供同等的訓練資源時，BART 可在 GLUE 和 SQuAD 數據集上實現與 RoBERTa 相當的性能，並在抽象對話、問答和文本摘要等任務中獲得新的當前最優結果，在 XSum 數據集上的性能比之前研究提升了 6 ROUGE。
  • 華為開源預訓練語言模型「哪吒」:提升多項中文NLP任務性能
    雷鋒網 AI 開發者按：一個月前，在「AICon 全球人工智慧與機器學習技術大會」上，華為諾亞方舟實驗首席科學家劉群剛分享了新發布的中文預訓練語言模型 NEZHA（哪吒）；就在這兩天，NEZHA 已在 Github 上開源，同時開源的還有壓縮 BERT 模型「TinyBERT」，它在推理時大小可縮小 7.5 倍，並且速度加快 9.4 倍。
  • 華為諾亞方舟開源預訓練模型「哪吒」,4項任務均達到SOTA
    BERT之後，新的預訓練語言模型XLnet、RoBERTa、ERNIE不斷推出，這次，華為諾亞方舟實驗室開源了基於BERT的中文預訓練語言模型NEZHA（哪吒），寓意模型能像哪吒那樣三頭六臂、大力出奇蹟，可以處理很多不同的自然語言任務。 據介紹，當前版本的NEZHA基於BERT模型，並進行了多處優化，能夠在一系列中文自然語言理解任務達到先進水平。
  • 20項任務全面碾壓BERT,CMU全新XLNet預訓練模型屠榜(已開源)
    令人激動的是，目前 XLNet 已經開放了訓練代碼和大型預訓練模型，這又可以玩一陣了～2018 年，谷歌發布了基於雙向 Transformer 的大規模預訓練語言模型 BERT，刷新了 11 項 NLP 任務的最優性能記錄，為 NLP 領域帶來了極大的驚喜。很快，BERT 就在圈內普及開來，也陸續出現了很多與它相關的新工作。
  • 預訓練後性能反而變差,自訓練要取代預訓練了嗎?
    論文地址：https://arxiv.org/abs/2006.06882作者通過實驗得出了以下結論：1、如果預訓練任務和目標任務存在差異，則預訓練（包括監督和自監督）可能損害目標任務準確率；2、自訓練適用不同規模數據集和不同強度增強數據的訓練；3、自訓練並且可以看作對預訓練的補充，聯合預訓練和自訓練可以獲得更大的增益。
  • 深度| 通過NMT訓練的通用語境詞向量:NLP中的預訓練模型?
    機器翻譯中的隱向量因為結果證明預訓練的詞向量對於很多自然語言處理任務來說都是很有用的表徵，所以我們要預訓練我們的編碼器，這樣的話，它就能夠輸出普遍有用的隱向量。為了預訓練，我們選擇機器翻譯作為我們的第一個任務。較之於其他的自然語言處理任務，機器翻譯擁有更大的數據集。並且，對於訓練通用的語境向量而言，翻譯任務的本質看上去更加吸引人。
  • 怎樣預訓練GNN能實現更好的遷移效果?北郵等提出自監督預訓練策略
    儘管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用於下遊任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：1）在大量未標註數據上進行預訓練；2）在下遊標註數據上進行模型微調。
  • NLP預訓練模型大集合!
    近日，Separius 在 GitHub 上列舉了一系列關於 NLP 預訓練模型的近期論文和文章，力求全面地概述 NLP 各個方面的最新研究成果，包括詞嵌入、池化方法、編碼器、OOV 處理等。Vectors：基於 GloVe-like 嵌入的近期結果構建 OOV 表徵，依賴於使用預訓練詞向量和線性回歸可高效學習的線性變換。
  • PTMs|2020最新NLP預訓練模型綜述
    用帶注意力機制的「seq2seq」從「機器翻譯任務」中預訓練一個LSTM encoder。輸出的上下文向量(CoVe)有助於提升一系列NLP下遊任務的性能。(2) 「ELMo」[6].用「兩層的Bi-LSTM」從「雙向語言模型任務BiLM」（包括1個前向的語言模型以及1個後向的語言模型）中預訓練一個「Bi-LSTM Encoder」。能夠顯著提升一系列NLP下遊任務的性能。