近期,阿里巴巴達摩院完成了一項壯舉——一名95後「實習生」在諸多科學家的指點下,打敗了全球包括微軟在內的其他公司選手,在常識QA領域的權威數據集CommonsenseQA上取得第1,並刷新了世界紀錄。
CommonsenseQA是為了研究基於常識知識的問答而提出的數據集。之所以要推出這種數據集,是為了模仿人類的思考方式。當人們回答問題時,往往會利用自身了解的知識結合特定的背景。但現有算法往往只訓練機器回答一些文章內容相關的問題,不需要一般知識背景。
CommonsenseQA正是為了訓練機器像人類一樣基於先驗知識結合現實情況作答能力而設置的。此前有過SWAG、SQuAD數據集,但CommonsenseQA難度更高。目前最流行的語言模型BERT在SWAG、SQuAD上的性能已經接近或超過人類,但在CommonsenseQA上的準確率還遠低於人類。
達摩院提出了一種叫AMS的方法,完善了BERT模型的常識推理能力,在不提升模型計算量的情況下,將CommonsenseQA數據集上的準確率提升了5.5%,達到62.2%。
最終,在達摩院科學家的幫助下,一名叫葉志秀的年輕人完成拿到CommonsenseQA第1,刷新世界紀錄。
來源: 前瞻網