強化學習在自然語言處理上的應用

2022-01-09 大數據創新學習中心

報告人簡介：

黃民烈，清華大學計算機系副教授，博士生導師。研究興趣主要集中在人工智慧、深度學習、強化學習，自然語言處理如自動問答、人機對話系統、情感與情緒智能等。已超過50篇CCF A/B類論文發表在ACL、IJCAI、AAAI、EMNLP、KDD、ICDM、ACM TOIS、Bioinformatics、JAMIA等國際頂級和主流會議及期刊上。曾擔任多個國際頂級會議的領域主席或高級程序委員，如IJCAI 2018、IJCAI 2017、ACL 2016、EMNLP 2014/2011，IJCNLP 2017等，擔任ACM TOIS、TKDE、TPAMI、CL等頂級期刊的審稿人。

作為負責人或學術骨幹，負責或參與多項國家973、863子課題、多項國家自然科學基金，並與國內外知名企業如谷歌、微軟、三星、惠普、美孚石油、斯倫貝謝、阿里巴巴、騰訊、百度、搜狗、美團等建立了廣泛的合作。獲得專利授權近10項，其中2項專利技術授權給企業應用。

報告摘要：

以Alpha GO/Zero為代表的深度強化學習在許多應用中取得了前所未有的成功。演講者將重點介紹深度強化學習在自然語言處理中如何處理非直接信號的弱監督學習問題，介紹如何利用有限的、弱的、非直接的監督信號實現學習目標。包括幾個方面的工作：僅依賴類別標記的監督信號，從無結構文本中的探索任務相關的文本結構(structure discovery)；噪聲文本數據中進行樣本去噪(data denoising)以獲得更好的關係抽取性能；在大型的在線系統中，如何利用用戶的隱式反饋實現多場景的聯合優化。這些工作具有的共性是：在無直接監督信息、弱信號場景中，利用強化學習的試錯和概率探索能力，通過編碼先驗或領域知識，達到學習目標。演講者也將分享強化學習應用中的一些經驗和教訓。

相關焦點

  • 深度學習技術,在自然語言處理方面的七大應用(paper)
    自然語言處理（natural language processing，NLP）正在逐步從統計學方法轉向神經網絡方法。儘管自然語言領域還存在許多極具挑戰性的問題，但是深度學習方法的應用，卻為某些特定的語言問題提供了最先進的解決思路。深度學習模型的表現不僅僅局限於熱門的基礎問題。事實上，一個簡單獨立的深度學習模型就可以學習單詞的意義和執行語言任務，避免了一系列的專業操作和人工流程。
  • 基於深度學習的自然語言處理技術:邊界在何方?
    基於深層神經網絡的深度學習方法從根本上改變了自然語言處理技術的面貌，把自然語言處理問題的定義和求解從離散的符號域搬到了連續的數值域，導致整個問題的定義和所使用的數學工具與以前完全不同，極大地促進了自然語言處理研究的發展。
  • 強化學習應用介紹(上)
    在上一課裡，我們提到的IBM研究員Arthur Samuel，是世界上第一個把強化學習應用在一個主流的棋盤遊戲上的人。他當時寫了一個跳棋的引擎，但其實他的引擎並不是世界上最強的。也就是說，在每一個遊戲裡，讓這個算法自主學習，其中沒有任何人為幹預，沒有人告訴它遊戲的規則，完全靠算法自行探索。訓練完之後，大家發現算法學會的策略比某些最好的人類玩家還要強大。可以說DQN是一個現代強化學習的分水嶺，因為在此之前，強化學習都只能做一些低維度的環境，對於圖片這種高維度的信息，之前的算法都無法處理（比如一張遊戲截圖中可能包含幾十萬像素）。
  • GluonNLP — 自然語言處理的深度學習工具包
    在亞馬遜雲服務 AWS 做了一段時間深度學習和自然語言處理之後，我發現其實身邊不乏這樣的男默女淚的故事。自然語言處理的模型重現之所以難，與數據處理和模型搭建中需要解決的茫茫多技術點有很大關係：從各種語言的文本文件編碼解碼 （encoding/decoding)，讀取，分詞 （tokenization)，詞向量轉化 （embedding)，到輸入給神經網絡前的填充位 （padding)，截長 （clipping)，再到神經網絡模型裡處理變長輸入數據和狀態，一直到模型預測解碼後的輸出的 BLEU score
  • WAIDC | 自然語言處理如何為行業應用賦能
    一覽群智技術副總裁劉佔亮以「自然語言處理與行業應用」為題，分享了一覽群智在NLP多個領域的研發成果，賦能金融、公安、媒體等行業，探索出一條把人工智慧轉化成生產力的道路。（以下內容為主題演講實錄）當我們在談論自然語言處理時，不妨先想一下，什麼是語言？按照正式的定義，語言是某個符號系統上按照一定規律構成的句子和符號串的有限或無限的集合。那麼，什麼是自然語言？自然語言是人們日常使用的語言，是自然而然的隨著人類社會發展演變而來的語言。
  • 自然語言處理又有哪些新發展?百度王海峰解讀語言與智能
    4月20日，第十四屆中國電子信息技術年會上，百度高級副總裁、AI技術平臺體系(AIG)和基礎技術體系（TG）總負責人王海峰發表題為《語言與智能》的演講，以翻譯為例介紹了人工智慧技術的演進，闡釋近期語言與知識技術和大數據、深度學習等技術結合帶來的突破、行業應用，以及技術趨勢和挑戰。
  • 注意力機制(Attention Mechanism)在自然語言處理中的應用
    基於注意力（attention）機制的神經網絡成為了最近神經網絡研究的一個熱點，本人最近也學習了一些基於attention機制的神經網絡在自然語言處理（NLP）領域的論文，現在來對attention在NLP中的應用進行一個總結，和大家一起分享。
  • 一本書精通Python自然語言處理
    自然語言處理融合了語言學、計算機科學、數學，它的目的並不是一般地研究自然語言，而是能有效地實現自然語言通信的計算機系統，特別是其中的軟體系統。自然語言處理大體包括了自然語言理解和自然語言生成兩個部分。實現人機間自然語言通信也就意味著：既要使計算機既能理解自然語言文本的意義，也能使它以自然語言文本來表達給定的意圖、思想等。前者稱為自然語言理解，後者稱為自然語言生成。
  • 自然語言處理在當今商業中的八大應用
    了解自然語言處理如何演變為業務優化的推動者。基於人工智慧的工具現在統治著每個工業部門。有了豐富的社交媒體、組織和數字平臺，產生的數據中不乏有用的資源。儘管企業一直在使用這些數據來滿足他們的需要，但這些數據中更重要的部分(將近80%)是非結構化的，無法訪問。這是自然語言處理(NLP)來挽救這種情況的地方。
  • CMU2018春季課程:神經網絡自然語言處理課程(附PPT和代碼)
    ，主要內容是教學生如何用神經網絡做自然語言處理。專知內容組附上上一次CMU2018和CMU2017年課程：深度學習的內容：Neural Networks for NLP神經網絡自然語言處理課程▌課程描述神經網絡為語言建模提供了強大的工具
  • Python自然語言處理工具NLTK學習導引及相關資料
    NLTK 大概是最知名的Python自然語言處理工具了，全稱"Natural Language Toolkit", 誕生於賓夕法尼亞大學，以研究和教學為目的而生
  • NLP自然語言處理組
    分析理解人類語言是人工智慧的重要問題之一。南京大學自然語言處理課題組從事NLP領域研究工作近40年，國內最早從事該領域研究的科研團體之⼀，先後承擔過該領域的國家科技攻關項目、863項目、國家自然科學基金和江蘇省自然科學基金以及對外合作項目的研製，積累了大量的該領域研究工作所涉及到的理論、技術和經驗。
  • Python 自然語言處理入門
    2 相關介紹2.1 自然語言處理自然語言處理廣納了眾多技術，對自然或人類語言進行自動生成，處理與分析。雖然大部分 NLP 技術繼承自語言學和人工智慧，但同樣受到諸如機器學習，計算統計學和認知科學這些相對新興的學科影響。在展示 NLP 技術的例子前，有必要介紹些非常基礎的術語。
  • 【乾貨】深度學習、自然語言處理和表徵方法
    它們在許多計算機視覺任務中完爆之前的頂尖算法。在語音識別上也有這個趨勢了。雖然結果好，我們也必須思考……它們為什麼這麼好使？在這篇文章裡，我綜述一下在自然語言處理（NLP）上應用深度神經網絡得到的一些效果極其顯著的成果。我希望能提供一個能解釋為何深度神經網絡好用的理由。我認為這是個非常簡練而優美的視角。
  • 為什麼自然語言處理是商業智能的未來
    但是現在，他們在學習我們的語言。這項支撐人機關係變革的技術是自然語言處理（Natural Language Processing, NLP）。它已經在改變商業智能，這比簡單的互動走得更遠。不久後，商業領域會轉型，僅僅通過與聊天機器人交談即可獲得改變人生的信息。這個未來並不遙遠。甚至可以說，它就在眼前。什麼是自然語言處理？
  • 12個國內外頭部案例,解讀自然語言處理平臺商業化趨勢
    本文將對自然語言處理平臺的市場現狀、供應鏈以及行業技術熱點進行簡單的統計和討論，並列舉不同行業領域裡不同維度上的自然語言處理平臺的落地應用。，使自然語言處理平臺的應用成功落地於眾多分散的細化應用場景。吾來智能對話機器人平臺2017年，來也科技面向企業客戶推出b端產品智能對話機器人平臺「吾來」，以深度學習、強化學習、自然語言處理、光學符號識別等技術為核心，通過最領先的深度學習智能交互技術和支持人機無縫協作的系統實現，為企業提供高效專業的客戶溝通解決方案；對話式用戶交互，本質上是線下溝通和消費體驗的線上化；從非結構化的對話中沉澱知識，基於大數據挖掘消費者洞察
  • 自然語言處理論文速遞[01.01]
    -建模混亂的代碼混合語言作者： Vivek Kumar Gupta 連結：https://arxiv.org/abs/1912.13109 【12】 An Empirical Study of Factors Affecting Language-Independent Models標題：語言無關模型影響因素的實證研究
  • 自然語言處理學術速遞[10.12]
    EMNLP 2020 Scholarly Document Processing Workshop連結：https://arxiv.org/abs/2010.04665【5】 Case Study: Deontological Ethics in NLP標題：案例研究：自然語言處理中的道義倫理學
  • 深度學習算法(第24期)----自然語言處理中的Word Embedding
    上期我們一起學習了RNN的GRU模塊，深度學習算法(第23期)----RNN中的
  • 深度強化學習在遊戲中的應用
    基於深度強化學習，DeepMind研發的AlphaGo Zero在不使用任何人類圍棋數據的前提下，在圍棋上完全虐殺人類；OpenAI研發的Dota Five則在Dota遊戲上達到了人類玩家的頂尖水平；DeepMind研發的AlphaStar在星際爭霸遊戲上同樣擊敗了人類職業玩家。這些都成了深度強化學習發展的裡程碑的事件，證明了深度強化學習在這些場景下的強大能力。