乾貨!信雅達新一代AI+智能外呼機器人技術揭秘

2020-12-16 中華網科技

近期，信雅達新一代AI+智能外呼機器人已在浙商銀行正式上線。想知道最新一代智能外呼機器人到底運用了什麼新技術嗎？相信這篇技術詳解一定會讓你大呼過癮~

01 採用Sparse Self Attention構建模型

對於外呼機器人、智能客服這類對響應時間有著嚴格要求的系統和場景，在實際生產過程中，自然少不了對更加快速、穩定的計算，以及用少量的算力、較少的資源損耗獲取更好運行效果的極限追求。

而如今NLP領域中，Attention大行其道，其核心在於K、Q、V三個向量序列的交互融合，其中Q、K的交互給出了兩兩向量之間的某種相關度（權重），而最後的輸出序列則是把V按照權重求和得到的。

那麼問題來了，即使是目前較為主流的Self-Attention的理論計算時間和顯存佔用量都是O(n2)級別的，這也意味著如果序列長度變成原來的2倍，顯存佔用量就是原來的4倍，計算時間自然也就是原來的4倍！當然，假設並行核心數足夠多的情況下，計算時間未必會增加到原來的4倍，但是顯存的4倍卻是實實在在的，無可避免。

為了解決以上問題，信雅達金融大數據研究院在智能外呼意圖識別算法模塊構建過程中，放棄傳統的Self-Attention，採用Sparse Self Attention構建模型。

通過Top-k選擇，將原有的Attention退化為稀疏Attetion，簡單從注意力矩陣上看，就是除了相對距離不超過k的、相對距離為k,2k,3k,…的注意力都設為0，這樣一來Attention就具有「局部緊密相關和遠程稀疏相關」的特性。

通過這種方式，可以保留最有助於引起注意的部分，並刪除其他無關的信息，這在實際的使用過程中也起到了意想不到的效果。經過研究院測驗，這種選擇性方法在保存重要信息和消除噪聲方面是有效的，可以確保注意力可以更多地集中在最有貢獻的價值因素上。

同時，在實際生產過程中，由於外界噪聲和ASR的轉義問題，經常會在文本中引入不必要的噪聲。Sparse Self Attention在處理這方面問題上，獲得了良好的效果。

02 知識蒸餾

隨著預訓練模型技術的發展，譬如Bert、XLNET、GPT-3的出現，使得AI技術對人類認知的探索更進一步。尤其是最近大火的GPT-3，作為單項語言模型訓練的代表，GPT-3的模型尺寸達到了恐怖的1750億，在45TB的訓練數據加持下，解決了業界常用的Bert預訓練模型的領域內標籤數據依賴以及領域數據分布過擬合，目前GPT-3的Few-shot在部分NLU任務上超越了當前SOTA。

雖然預訓練模型在很多業務場景表現優異，但是其模型參數過大、預測時延較長、運行硬體成本較高的問題也導致了模型很難落地。因此，如何對預訓練模型進行模型壓縮，成為工業界和學術界共同關注的問題。

為了能夠使用業界領先的預訓練模型，信雅達金融大數據研究院的數據科學家們採用了知識蒸餾模型壓縮技術，使預訓練模型在外呼項目中得到了高效利用。

在原始模型訓練階段，研究院的數據科學家們基於預訓練模型Bert+深度神經網絡進行構建網絡結構，並將基於樣本訓練的教師模型（Net-Teacher）的Class Probabilities作為壓縮模型訓練的損失函數輸入來參與後續知識蒸餾訓練過程。

在知識蒸餾階段，研究院的數據科學家們基於相同的樣本進行Net-Student模型的蒸餾訓練，對蒸餾溫度進行合適的選取。在整個訓練階段，Net-T輸出soft-target，Net-S同時輸出soft-predictions和hard-predictions；將Net-T的soft-target與Net-S的soft-prediction對應的交叉熵相加，作為整個模型損失函數的Lsoft部分，同時將Net-S的hard-prediction與ground-truth的交叉熵作為整個模型損失函數的Lhard的部分，通過反向傳播的訓練方法進行整個模型的訓練，直到訓練停止，完成整個知識蒸餾過程。

知識蒸餾後的模型，在準確率下降不到1%的情況下，預測時間縮短了8倍，模型壓縮帶來的收益十分可觀，可以成功運用到時延要求高的應用場景。

03 自學習技術賦能模型自迭代

常言道：舉一反三才能事半功倍。即使近年來自學習技術狂飆突進式發展，但人工智慧在模仿人類這條路上依舊需要負重前行，畢竟只有通過學習與積累，才能實現從入門到專業、從青澀到成熟的轉變。

基於對「持續學習」的考慮，信雅達金融大數據研究院此次研發的外呼機器人系統支持學習迭代。在項目啟動後，生產語料不斷積累，伴隨而來的是不斷豐富的知識庫以及多種多樣的新增意圖。為了充分利用好這些寶貴數據，研究院的攻城獅們下了大功夫：將繁雜的訓練過程封裝為簡單的自訓練配置，通過一鍵式在線生成新模型，即可進行擴充語料的增量訓練，同時直接部署測試環境進行新模型測試，這樣大大縮短數據利用周期，提升學習速度，深度學習「快」人一步。

除了上述技術之外，大家所熟知的上下文語義分析、同義詞擴展、同音字糾錯、敏感詞屏蔽等技術屬於常規操作，在實際技術方案中已經實現了全面覆蓋，受篇幅所限，小編在此就不一一展開啦。

研究院的數據科學家和攻城獅們告訴小編：「雖然項目已經上線，機器人也在平穩運行中，但這依然只是萬裡長徵第一步。」信雅達在機器人方面的研究不會止步，我們的目標是讓系統在新技術加持下不斷進化，幫助大金融客戶解決更多業務痛點，讓金融機構的服務不斷優化！

責任編輯：kj005

文章投訴熱線:156 0057 2229 投訴郵箱:29132 36@qq.com

相關焦點

  • 健康碼、智能外呼機器人、紅外熱成像測溫儀……黑科技助力抗疫
    科技與疫情賽跑，抗疫成了關乎全民的技術戰。無人機在公路上盤旋，代替人工進行空中的指揮工作；AI機器人走進醫院，幫助醫生看CT；紅外測溫儀在不知不覺間測量著車站乘客體溫；外呼機器人則能將疫情信息管理員從每天300多個電話中解放出來……在這場沒有硝煙的戰「疫」中，中國科技網際網路公司憑藉先進的技術、快速的反應能力和這些炫酷的科技產品，為這場2020年的防疫戰增添了一些與眾不同的底色
  • 信雅達的資本困局
    自2016年3月起，信雅達的董監高頻頻變更，證券事務代表、獨立董事、財務部經理，甚至是董事長都已經更換了人選。與此同時，公司的前十大股東中，杭州信雅達電子有限公司、原董事長郭華強、寧波經濟技術開發區春秋科技開發有限公司、董事刁建敏等紛紛減持，讓本就不堅挺的股價雪上加霜。
  • 抗擊疫情,馬不停蹄,金萬維幫我吧智能外呼機器人助力社區疫情排查
    我們馬上想到幫我吧的智能外呼機器人功能，往常我們是把這個功能用於企業主動營銷、客戶回訪等場景，而社區人員信息排查其實本質上也是一樣的場景，機器人可以代替人工自動撥通住戶電話，快速完成信息的採集。實現原理是這樣的：第一步：社區工作人員把小區的住戶信息批量導入到幫我吧系統裡面，核心信息是客戶的手機號；第二步：預置好外呼規則，設定好要調查的問題；第三步：執行外呼任務，系統自動撥通住戶電話，並通過語音識別、自然語言處理等人工智慧的技術與住戶通話，詢問登記表上的問題：
  • 智能客服專家信雅達助力邢臺銀行打造全媒體客服平臺
    2019年7月，信雅達憑藉豐富的項目經驗，中標邢臺銀行股份有限公司全媒體客服平臺建設項目。　　近年來，隨著我國經濟社會的快速發展，用戶需求的不斷增長，以及人力成本的劇增，我國企業的客服缺口不斷增大。與此同時，傳統人工客服模式已經難以滿足現階段企業發展的需求。在此背景下，人工智慧技術引領客服領域的快速發展，「智能客服」成為當前最火熱的名詞。
  • 華為聯合竹間推出全場景疫情防控AI機器人
    為能在做好防控前提下有序推動企業復工復產，華為聯合竹間智能提供免費AI機器人，既能全場景防控疫情，又能打造安全高效的復工環境。機器人能智能回答各種防疫知識，智能外呼收集疫情相關信息，智能識別人臉進行考勤、人員統計等，還能幫助企業進行0成本無接觸式海量招聘。
  • Σco領導力丨華為聯合竹間免費推出全場景疫情防控AI機器人
    我們無需定義，因為我們有更好的詮釋——華為通過持續的壓強投入，引領技術革新，打造生態黑土地，激發生態創新，引領行業數位化轉型，今日聚焦竹間智能。　　為能在做好防控前提下有序推動企業復工復產，華為聯合竹間智能提供免費AI機器人，既能全場景防控疫情，又能打造安全高效的復工環境。
  • AI產品公開課|在AI技術「商業落地」的過程中,產品經理能做什麼?
    過去人工智慧技術驅動階段重在AI算法模型比拼，如今更要依賴商業場景洞察、專家團隊實力，將AI技術與行業實際需求結合，產生應用與經濟價值。當下，AI相關技術與傳統行業經營模式和業務流程開始產生實質性融合，智能經濟時代的全新產業版圖初步顯現。預計2019年人工智慧賦能實體經濟產業規模接近570億元。
  • 音響技術|每秒能優化音頻參數5次的SURROUND:ai到底是個啥?
    山葉的 SURROUND:ai 技術，就是一種可以讓大家在使用家庭音響觀影時，獲得猶如打破了次元壁般沉浸式體驗的黑科技。在前不久剛落幕的 SIAV 上，山葉就為發燒友們揭秘了 SURROUND:ai 這項新技術。如果有雅粉沒有親至現場，也不用感到遺憾，天工盛世小編這就來給大家補上這個知識點！
  • AI新聞:正在開發用於醫療保健的AI機器人
    瑞典于默奧大學和于默奧大學醫院的研究人員正在開發一種可以測量人的體溫的機器人，可以用在醫院的候診室中。研究員託馬斯說：「我們以前在無人車中安裝了紅外攝像機，用來檢測人員來避免碰撞，現在，我們把這項技術用在對話機器人中。」
  • 吳春明教授:小語機器人的「新貴」成長之道
    對於此次入選，同時身為浙江大學計算機系統結構與網絡安全研究所教授、博士生導師的吳春明教授覺得理所當然，小語機器人由智語網絡與浙江大學計算機學院共同打造，處於新型人工智慧技術在語音自動識別、行業語音機器人應用等方面探索的前沿。
  • AI智慧型電話機器人是把雙刃劍
    那麼，什麼是AI智慧型電話機器人？其他是基於語言識別技術，是通過人工智慧+智能外呼+語音識別+智能分析記錄等集合而成的人工智慧機器人。簡單說就是，代替人工做一些客戶篩選的工作，可以自動外呼、語音識別、語義理解、智能語音對話、分析客戶意向、記錄通話內容等等。
  • 工信部印發新一代AI產業創新重點任務揭榜工作方案
    申報單位登錄「新一代人工智慧產業創新重點任務揭榜工作申報系統」(http://www.aibest.org.cn，以下簡稱「申報系統」)，完成註冊後填寫申報所需材料。申報單位條件詳見《工作方案》。申報截止時間為2018年12月10日。　　(二)推薦。推薦單位使用給定的帳號密碼登錄「申報系統」，確認推薦揭榜單位後，系統自動生成報送推薦表，推薦單位列印並加蓋單位公章。
  • 「神燈」「靈瞳」和手環機器人,創新項目點亮深圳新一代信息技術
    上述項目均是來自「新一代信息技術」領域的深圳企業。 作為我國七大戰略性新興產業之一，電子信息技術目前正面臨蓬勃興起的機遇。2019年，深圳市電子信息製造業完成規模以上工業總產值2.25萬億元，對全市工業增長貢獻率超過七成。從此次大會評選出的優秀深圳項目中，能感知到這座城市的新一代信息技術發展。
  • The Verge技術報告:2017年AI和機器人最終得分「A-」
    【新智元導讀】The Verge網站發表了人工智慧和機器人領域的2017技術報告，報告提到，相比相對平靜的AI應用方面，AI的學術研究更像是一場洶湧的洪流，實驗室和大學發表的論文數量比以往任何時候都要多，DeepMind等大公司取得了重大突破。
  • 信雅達收購隱患
    本刊見習記者 孫旭龍／文　　6月30日，信雅達（600571.SH）發布收購草案修訂稿，擬向關鍵、鍾鈴、鍾釗、肖燕林、李克以發行股份及支付現金相結合的方式購買北京金網安泰信息技術有限公司（下稱「金網安泰」）80%的股權
  • 信雅達擬收購金網安泰80%股權 加碼金融IT
    中國證券網訊（記者 夏子航）停牌三個月之久的信雅達26日披露重組預案，公司擬耗資9.6億元收購北京金網安泰信息技術有限公司（簡稱「金網安泰」）80%股權，加碼金融IT技術服務業。
  • 機器人技術Robotics 2.0(1):AI重新定義機器人
    本文將揭開新世代AI 機器人的神秘面紗，並分析AI機器人將如何影響我們的未來。人工智慧開啟了新一代機器人技術Robotics 2.0，最大改變是從原先人工編寫程序而來的自動化，邁向了真正的自主學習。 本文將嘗試揭開人工智慧(AI)應用的神秘面紗，協助讀者了解AI機器人將如何影響我們的未來，並釐清我們常常聽到，但卻著墨不多、甚至根本尚未全然理解的主題。
  • 信雅達併購金網安泰或存政策風險
    5月26日晚間，信雅達發布重組預案，公司擬以41.06元/股發行1987.34萬股，並支付現金1.44億元，合計作價9.6億元收購關鍵、鍾鈴等5位股東持有的北京金網安泰信息技術有限公司(簡稱「金網安泰」)80%股權；同時擬以36.95元/股向水杉興和、天津鼎傑、杭州焱熱、杭州普華等4名特定投資者發行股份募集配套資金不超過9.6億元。因上交所將對相關文件進行事後審核，公司股票將繼續停牌。
  • 36氪首發 | 提供企業級深層語言理解技術,「薄言RSVP.ai」完成千萬...
    36氪獲悉，人工智慧科技公司薄言RSVP.ai完成千萬美元A+輪融資，由深創投領投。本輪融資後，薄言將在AI自然語言理解領域深耕，推進對話機器人和深度學習的應用落地。薄言是一家發展機器學習技術，提供企業級深層語言理解技術的AI公司。
  • 現場| AI Frontier大會開幕 最乾貨的AI應用不容錯過
    這是繼今年年初第一屆AI Frontier後大會方在一年內組織的第二次會議，前百度首席科學家、Coursera聯合創始人、Deepliarning.ai創始人吳恩達與來自Apple、Amazon、Google、NVIDIA、UBER、Alibaba、麥肯錫等公司的團隊與技術負責人向參會的1400餘名觀眾分享了在人工智慧、語音助手、機器人、深度學習、視頻理解、工業應用、無人駕駛、遊戲等領域的最新趨勢。