近日,在美國休斯敦閉幕的第13屆網絡搜索與數據挖掘國際會議(WSDM 2020)上,華為雲帶領的聯合團隊摘得WSDM Cup 2020大賽「論文引用意圖識別任務」金牌。
WSDM被譽為全球信息檢索領域最有影響力也最權威的會議之一,會議關注社交網絡上的搜索與數據挖掘,尤其關注搜索與數據挖掘模型、算法設計與分析、產業應用和提升準確性與效果的實驗分析。今年已經是WSDM的第十三屆會議。
本次WSDM Cup共有三個賽題任務,華為雲奪金賽題內容為「論文引用意圖識別」:比賽提供一個論文庫(約含80萬篇論文),同時提供對被引用論文的引用文本描述,參賽選手需要根據論文引用描述從論文庫中匹配三篇最相關的論文。
論文是人類最前沿知識的媒介,如果可以理解論文中的數據,可以極大地擴充計算機理解知識的能力和範圍。在論文中,作者經常會引用其他論文,並對被引論文做出對應描述。如果通過計算機可以自動地理解、識別描述對應的被引論文,不僅可以加深我們對科研脈絡的理解,還能在科研知識圖譜、科研自動問答系統和自動摘要系統等領域有所進步。
華為雲語音語義創新Lab帶領華南理工大學、華中科技大學、武漢大學、江南大學學生組成的聯合團隊,針對該問題制定了「整體召回+重排+集成」的方案。在整體召回階段,通過輕量化的文本相似度計算方法(如BM25、TFIDF、Word2Vec等),以較少的計算代價從大規模論文庫中檢索出給定查詢的可能相關的論文集合。在重排階段,通過計算量大但更準確的方法對這些候選論文中的每一篇論文計算和引用描述的相似度值並重新排序,例如採用基於深度學習的預訓練語言模型BERT等。華為雲團隊觀察到,賽題中所給語料都是生物醫學領域,因此採用了基於生物醫藥和科學領域語料進行預訓練的BioBERT和SciBERT語言模型對論文進行重排。通過對所有模型的結果進行集成,最終得到三篇最相關的論文。
華為雲在本次比賽中運用的文本匹配技術,可廣泛用於搜索、對話機器人、知識圖譜構建等領域。
憑藉在自然語言處理領域的全棧技術積累,華為雲連續斬獲了多個相關領域權威比賽冠軍。2019年10月華為雲在DigSci科學數據挖掘大賽(學術論文搜索匹配大賽)上奪冠,精準率超過第二名5個百分點。在2019 CCF大數據與計算智能大賽決賽中,華為雲獲得金融實體級情感分析大賽冠軍,體現了在文本情感分析和知識圖譜領域的實力。
目前,華為雲語音語義相關服務已經成功應用於政務、金融、油氣、醫療、汽車、物流、保險、電商、稅務、媒體等具有語音識別、語言理解、知識管理等需求的業務領域。