資料圖片 新華社記者 方喆 攝
「中文十級」難題,AI怎樣解讀
產業界
陶玉祥 本報記者 盛 利
在人工智慧領域,「懂語言者得天下」是普遍的共識。其中,可幫助人工智慧識別人類語言的自然語言處理(NLP)被譽為人工智慧語言「皇冠上的明珠」。
當人工智慧自然語言處理技術遇到「要你管和不要你管」「掉地上和掉地下」「我一把把把把住了」等中文「繞口令」,「小意思」「意思意思」等多義詞時,及「俺們那疙」「中不中」等方言時,該怎樣「聽懂」這些「中文十級」語句呢?日前在成都舉辦的科大訊飛未來科棧活動上,記者採訪了相關專家。
能分詞會斷句 機器尚在努力
NLP就是機器讓計算機來理解和處理人類自然語言的技術,它和計算機視覺、語音處理的區別在於信息處理的類型。
「計算機視覺主要處理圖像,語音技術處理聲音,而NLP主要是對文字的理解。」雲浮科技的創始人兼CEO張文斌說,在人工智慧中,語音識別是耳朵,語音合成是嘴巴,計算機視覺是眼睛,而NLP則負責將抽象的文字符號轉化為計算機能理解的語言。
「『中文十級』的某些語句,人類去理解都有很大難度,何況是計算機。」張文斌說,在口語和書寫上,漢字往往沒有詞與詞之間的邊界,即便機器能夠準確識別文字,但理解它的意思卻很難;再比如各種五花八門的地方口音和方言,也是「絆腳石」。
「自然語言處理一般從最小的語意單位『詞』開始,即分詞算法。這最簡單,也最成熟。」張文斌說, NLP的算法分為語法級別、句子級別分析等,其中分詞就是將字詞切開,讓機器明白哪幾個字組成一個詞,哪幾個詞組成一句話,從而理解整句、整段的意思。但在「分詞」實際的應用過程中,仍有各種問題。
張文斌解釋,首先是分詞標準不確定、存在歧義,及新詞和實體詞困擾等問題。如「桌球,拍賣完了」和「桌球拍,賣完了」無論怎麼切分都正確,這就要依賴上下文語境。其次,每年都會湧現出的網絡詞彙,「神馬」「不明覺厲」「佛系」等原來不存在的詞也需要計算機理解。
聽語氣判關係 AI有新招
如何讓機器讀懂上下文語境,從而進一步了解整段話的含義?
「我們會嘗試利用聽人類說話時的停頓信息,作為一種分詞算法的輔助。」訊飛翻譯業務負責人翟吉博說。
對於AI工程師們來說,更重要的是深層次的算法,如實體識別、屬性抽取等。「就是把人名、地名、機構名等實體識別出來後,再抽取實體之間的關係,搞清楚不同實體在句子中的不同屬性。」張文斌說,五花八門的算法還有很多,比如情感分析,分析文本裡面蘊藏了什麼樣的情感,是正面、負面還是中性的;文檔摘要,把長文生成一兩百字簡短的摘要等。而基於這些算法層,又可以做很多NLP的衍生應用,包括自動問答、機器翻譯等。
那如何識別方言呢?在科大訊飛的新款翻譯機設備中,首次推出方言翻譯功能,實現河南話、東北話、粵語等方言互譯,或將之翻譯成外語。翟吉博說,針對不同類型方言,機器採用不同翻譯流程——對同屬北方方言區的河南話、東北話等,可先翻譯成普通話再翻譯成外語;對於粵語等南方語言,則建立獨立的語料庫,直接從粵語到外語進行翻譯。「考慮到方言中帶有許多地方特色的說法、語言、詞彙,『雄起』『中不中』等也可以作為獨立的語料,由機器單獨學習。」他說,人工智慧的優勢是在自然語言處理方面能夠不斷從用戶處積累語料,學習新的詞彙和表達方式,不斷完成自身資料庫和語料庫的更新。來源：科技日報