基于ELMO的低資源神經機器翻譯

【摘要】：低資源神經機器翻譯的研究難點是缺乏大量的平行語料來給模型進行訓練。隨著預訓練模型的發展,并且在各大自然語言處理任務中均取得很大的提升,本文提出一種融合ELMO預訓練模型的神經機器翻譯模型來解決低資源神經機器翻譯問題。本文模型在土耳其語-英語低資源翻譯任務上相比于反向翻譯提升超過0. 7個BLEU,在羅馬尼亞語-英語翻譯任務上提升超過0. 8個BLEU。此外,在模擬的中-英、法-英、德-英、西-英這4組低資源翻譯任務上相比于傳統神經機器翻譯模型分別提升2. 3、3. 2、2. 6、3. 2個BLEU。實驗表明使用融合ELMO的模型來解決低資源神經機器翻譯問題是有效的。