Salesforce 開發了一個處理不同 NLP 任務的通用模型

2021-01-10 開源中國

Salesforce研究院（Salesforce Research）創建的自然語言處理架構可以處理多種模型和任務。在通常情況下，自然語言處理（NLP）針對每種功能（如翻譯、情感分析和問題和答案）都需建一個模型。

由Salesforce首席科學家Richard Socher領導的一項研究旨在完成名為自然語言 Decathlon（decaNLP）的挑戰任務。decaNLP挑戰涵蓋了10個任務： 問題回答、機器翻譯、匯總、自然語言推理、情感分析、語義角色標註、關係提取、目標導向對話、資料庫查詢生成和代詞解析，這些任務被送至系統進行共同學習。

可以將decaNLP想像成自然語言處理瑞士軍刀。如果NLP需要重複定製，規模大了以後就不能使用。 Salesforce想尋找一種通用的NLP方法，將每項任務轉換為問題回答格式並進行共同訓練。

Socher表示，該方法融合了深度學習和NLP，可將問題的討論轉向圍繞元架構的討論。他補充表示，架構方法也可以用來防止NLP函數分層的模型蔓延。

Socher表示，「這個項目可以即時用在一些有用的應用上，因為項目是個單一部署模型，而且易於維護。我們將一堆工具整合在一起。」

Salesforce可能會在愛因斯坦分析及各種雲計算的產品路線圖裡使用decaNLP方法。

decaNLP可與多任務問答網絡結合在一起，無需任何特定模型就可以針對所有任務進行共同學習。該網絡還可以通過新任務相關的說明進行自適應調變。

下圖是多任務問答網絡圖。

另外，Salesforce 研究院還完成了處理數據集、訓練和評估模型的代碼，並定義了一個名為decaScore的評分。

用decaNLP系統訓練過的NLP理論上可以為聊天機器人提供更好的框架及更好地提供客戶服務交換中的任何信息。

來自：SinaTech

相關焦點

  • 自然語言處理全家福:縱覽當前NLP中的任務、數據、模型與論文
    第 22 部分用於開發，第 23 部分用於評估。模型基於 F1 評估。以下大多數模型整合了外部數據或特徵。要對比僅在 WSJ 上訓練的單個模型，參見《Constituency Parsing with a Self-Attentive Encoder》。
  • NLP領域最優秀的8個預訓練模型(附開源地址)
    自然語言處理應用能夠快速增長，很大程度上要歸功於通過預訓練模型實現遷移學習的概念。在自然語言處理的背景下，遷移學習本質上是在一個數據集上訓練模型，然後對該模型進行調整，以在不同的數據集上執行不同的自然語言處理功能。
  • 支持53種語言預訓練模型,斯坦福發布全新NLP工具包StanfordNLP
    53 種語言預訓練模型的自然語言處理工具包 StanfordNLP，該工具包支持 Python 3.6 及之後版本，並基於 PyTorch，支持多種語言的完整文本分析管道，包括分詞、詞性標註、詞形歸併和依存關係解析，此外它還提供了與 CoreNLP 的 Python 接口。
  • 基於Bert和通用句子編碼的Spark-NLP文本分類
    文本分類是現代自然語言處理的主要任務之一，它是為句子或文檔指定一個合適的類別的任務。類別取決於所選的數據集，並且可以從主題開始。每一個文本分類問題都遵循相似的步驟，並用不同的算法來解決。Spark-NLP中的文本分類在本文中，我們將使用通用句子嵌入(Universal Sentence Embeddings)在Spark NLP中建立一個文本分類模型。然後我們將與其他ML和DL方法以及文本向量化方法進行比較。
  • Salesforce App Builder Transition Exam介紹
    v=BJzePKYnSqw】✔ 記錄類型（Record Type）簡介：【https://help.salesforce.com/articleView?id=customize_recordtype.htm】✔ 累計匯總欄位（Roll-Up Summary）介紹：【https://help.salesforce.com/articleView?
  • Salesforce Administrator 認證介紹
    這是一個入門級別的認證，可以說是Salesforce系統管理或諮詢相關從業者的必考認證。應試者需要熟悉Salesforce平臺和其功能，具備管理和維護基於此平臺系統的知識，以及6個月或以上的Salesforce管理員從業經驗等等。單純就考試而言，這些都不是必須的，下面我們來看看這個考試的具體要求：內容： 60 道多選題，答案可以是一個或者多個選項，考試題目會給出明確提示。
  • 如何輕鬆拿下Salesforce CPQ 證書?
    Price book entries跟蹤每種產品的不同價格類型，以適應您向不同細分市場和客戶銷售產品的方式。可以參考如下官方幫助文檔：https://help.salesforce.com/articleView?
  • Salesforce DX環境搭建
    簡單學習下來，感覺Scratch Org真的是很方便，自己（團隊）建一個Scratch Org，然後可以隨便改動而不影響其他任何人（團隊）。關於CI，CD那些敏捷相關的東東就不打算自己學習了，以後項目中如果用到再寫學習筆記。最近發現學習總是容易跑偏Salesforce Developer Experience (DX)是能夠簡化整個開發聲明周期的一組工具。
  • 2019已經過去一大半了,努力一把成為NLP專家!
    本文將介紹2019年自然語言處理的一些論文，代碼，博客及研究趨勢等。Fastai：https://course.fast.ai/videos/?lesson它會教你在fastai，語言模型是如何實現的。
  • NLPprogress.com-隨時跟進自然語言處理研究最新進展,34個NLP任務的數據、模型、論文與代碼
    第 22 部分用於開發，第 23 部分用於評估。模型基於 F1 評估。以下大多數模型整合了外部數據或特徵。要對比僅在 WSJ 上訓練的單個模型，參見《Constituency Parsing with a Self-Attentive Encoder》。
  • 復旦邱錫鵬教授:2020最新NLP預訓練模型綜述
    nlp中的預訓練模型就是這樣一類能夠在大規模語料上進行無監督訓練，學習得到通用的語言表徵，有助於解決下遊任務的nlp模型。那麼什麼是好的語言表徵呢？NLP通用Encoder架構如上圖，將非上下文和上下文結合在一起。形成通用的NLP任務的架構。
  • 谷歌雲+salesforce,真能狙擊微軟+亞馬遜嗎?
    來源：創事記歡迎關注「創事記」微信訂閱號：sinachuangshiji文/藏狐來源：腦極體（ID:unity007）w如果要給企業服務領域的競逐者們找一個心中的白月光、硃砂痣，那salesforce絕對當之無愧
  • 資源|縱觀當前NLP中的任務、數據、模型與論文
    自然語言處理有非常多的子領域，且很多都沒有達到令人滿意的性能。本文的目的是追蹤自然語言處理（NLP）的研究進展，並簡要介紹最常見 NLP 任務的當前最佳研究和相關數據集。作者 Sebastian Ruder 在文中覆蓋了傳統的和核心的 NLP 任務，例如依存句法分析和詞性標註。以及更多近期出現的任務，例如閱讀理解和自然語言推理。
  • 初學者指南-什麼是Salesforce元數據?
    可編程性：在平臺頂部開發的自定義代碼。例如Apex類，Apex頁面和Apex觸發器。演示：定製用戶如何與平臺交互。例如，組件，VisualForce和Lightning頁面。有關元數據類型的完整列表，請查看此連結：https://developer.salesforce.com/docs/atlas.en-us.api_meta.meta/api_meta/meta_types_list.htm。
  • Salesforce愛因斯坦AI最新NLP研究,通過情境化詞向量從翻譯中學習(附開原始碼)
    導覽：CRM 廠商 Salesforce 在去年成立新單位 Salesforce Research，專門處理關於深度學習、自然語言處理，和計算機視覺辨識技術的研究，協助用在 Salesforce 的產品線上。其人工智慧服務愛因斯坦AI （Einstein AI），將與他們既有的雲端服務結合，提供更好的服務。最近，他們發布了最新的自然語言處理成果，我們一起來看看。
  • 谷歌開源NLP模型可視化工具LIT,模型訓練不再「黑箱」
    假如有一款可視化的工具，能夠幫助研究人員更好地理解模型行為，這應該是件非常棒的事。近日，Google 研究人員發布了一款語言可解釋性工具 (Language Interpretability Tool, LIT)，這是一個開源平臺，用於可視化和理解自然語言處理模型。
  • Salesforce Rest Api詳解一之Spring Boot集成
    點擊文件| 新增| Spring Starter項目在新窗口中，提供項目名稱（在此示例中，我們提供名稱SalesforceRESTAPI），組名稱（com.wordpress.codesilo.salesforce），Artifcat（保持原狀–應該自動填寫名稱）包（com.wordpress.codesilo.salesforce）。這些可以根據您的命名空間進行更改。
  • Salesforce LWC學習(二十三) Lightning Message Service 淺談
    lwc的 superbadge中有一個功能為 左側 Gallery列表中點擊一個圖片，在右側 details會展示這個船的詳細信息。 以往我們可能想著，簡單，將這兩部分組成到同一個父組件中，Gallery中的某個item點擊以後，傳遞一個事件到父，父進行handler處理以後，將record id 傳遞給右側的組件，右側組件這個reRender一下就搞定了。
  • Salesforce AI最新研究,翻譯中的情境化詞向量
    Salesforce 在去年成立新部門 Salesforce Research，專門處理關於深度學習、自然語言處理，和計算機視覺辨識技術的研究，協助用在 Salesforce 的產品線上。其人工智慧服務愛因斯坦AI （Einstein AI），將與他們既有的雲端服務結合，提供更好的服務。最近，他們發布了最新的自然語言處理成果，我們一起來看看。
  • 用Spark-NLP建立文本分類模型
    雖然這些轉換器和提取器足以構建基本的NLP管道，但是要構建一個更全面和生產級的管道，我們需要更先進的技術，如詞幹分析、詞法化、詞性標記和命名實體識別。Spark NLP提供了各種注釋器來執行高級NLP任務。