AI考官自動評估AI翻譯結(jié)果 達(dá)摩院獲WMT2021第一

　　記者近日獲悉，在業(yè)界權(quán)威的WMT2021國際機(jī)器翻譯大賽上，阿里巴巴達(dá)摩院翻譯團(tuán)隊(duì)打造的翻譯質(zhì)量評估系統(tǒng)，在極具挑戰(zhàn)的 Sentence-level Direct Assessment  QE Shared Task 2021質(zhì)量估計比賽上獲得第一名。該系統(tǒng)堪比AI考官，能夠自動給AI翻譯的結(jié)果打分，以此不斷優(yōu)化翻譯模型，提升AI翻譯的質(zhì)量。

　　國際機(jī)器翻譯大賽WMT已有15年歷史，其賽事眾多。其中包括較為常見的翻譯任務(wù)，比如將新聞從英文翻譯為中文，其質(zhì)量好壞評估是用人類譯文來做參考，越接近越好，即BLEU值越高越好。大會還有更為挑戰(zhàn)的翻譯質(zhì)量估計比賽，參賽者需要創(chuàng)造一套AI系統(tǒng)，在沒有人類參考譯文的情況下，自動評估機(jī)器翻譯的質(zhì)量，因?yàn)檎鎸?shí)世界就是如此，很少有人類標(biāo)準(zhǔn)答案。

　　達(dá)摩院翻譯團(tuán)隊(duì)打造的AI考官，參與了Sentence-level Direct Assessment任務(wù)的全部11項(xiàng)子任務(wù)，獲得總平均分第一，從華為、Unbabel等國內(nèi)外資深團(tuán)隊(duì)中脫穎而出。其中，達(dá)摩院在7項(xiàng)有樣本的語向中獲得5項(xiàng)第一，分別為英語-中文、羅馬尼亞語-英語、愛沙尼亞語-英語、尼泊爾語-英語、俄語-英語；在4項(xiàng)零樣本（zero-shot）語向中獲得3項(xiàng)第一，分別為英語-捷克語、普什圖語-英語、高棉語-英語。

（達(dá)摩院翻譯團(tuán)隊(duì)獲得總平均分第一名）

　　據(jù)介紹，該項(xiàng)目的創(chuàng)新之處在于，達(dá)摩院翻譯團(tuán)隊(duì)在大規(guī)模預(yù)訓(xùn)練模型和遷移學(xué)習(xí)的基礎(chǔ)上，改進(jìn)了機(jī)器翻譯的“白盒”特征，洞悉了機(jī)器翻譯模型的內(nèi)部狀態(tài)和原理，包括非常重要的翻譯解碼概率。與此同時，他們還發(fā)現(xiàn)了新的重要質(zhì)檢特征，先使用Levenshtein算法和Masked語言模型對原文進(jìn)行適度加噪，然后利用待評估質(zhì)量的翻譯模型提取相應(yīng)的譯文解碼概率，結(jié)果發(fā)現(xiàn)它與譯文質(zhì)量緊密相關(guān)。更關(guān)鍵的是，研究團(tuán)隊(duì)驗(yàn)證發(fā)現(xiàn)，這些創(chuàng)新方法能夠跨語言通用，在多語向項(xiàng)融合的翻譯質(zhì)量估計模型訓(xùn)練過程中也表現(xiàn)優(yōu)秀，有望推動機(jī)器翻譯整個領(lǐng)域的進(jìn)步。

　　達(dá)摩院AI考官已用于阿里多個業(yè)務(wù)場景，包括全球速賣通AliExpress、Lazada、釘釘、阿里云技術(shù)文檔等，能實(shí)時監(jiān)測線上翻譯質(zhì)量，定向優(yōu)化翻譯模型，讓這些場景里的機(jī)器翻譯性能提升5%-15%不等。

　　據(jù)了解，這是達(dá)摩院翻譯團(tuán)隊(duì)第二次參與WMT的翻譯質(zhì)量估計比賽，2018年他們曾獲得英-德、德-英語向句子級別和詞級別等六項(xiàng)質(zhì)量估計子任務(wù)冠軍。達(dá)摩院翻譯團(tuán)隊(duì)近兩年在國際頂會上發(fā)表論文100余篇，已實(shí)現(xiàn)214種語言的高質(zhì)量翻譯，日調(diào)用量突破13億次，創(chuàng)造了多項(xiàng)世界紀(jì)錄。他們還揭榜了工信部人工智能產(chǎn)業(yè)創(chuàng)新重點(diǎn)任務(wù)中的智能翻譯系統(tǒng)，在2021年第一期評比中榮獲優(yōu)勝單位。

　　轉(zhuǎn)自：C114通信網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場。版權(quán)事宜請聯(lián)系：010-65363056。

延伸閱讀