在神經(jīng)機(jī)器翻譯中利用源端單語數(shù)據(jù)

通過兩種策略充分利用神經(jīng)機(jī)器翻譯（NMT）中的源端單語數(shù)據(jù)。第一種方法，采用自學(xué)習(xí)算法生成用于NMT訓(xùn)練的大規(guī)模合成平行數(shù)據(jù)。首先使用給定的雙語數(shù)據(jù)構(gòu)建基準(zhǔn)機(jī)器翻譯系統(tǒng)，然后通過該系統(tǒng)翻譯源側(cè)單語句子以獲取更多的合成平行數(shù)據(jù)。第二種方法，使用2個NMT的多任務(wù)學(xué)習(xí)框架同時預(yù)測翻譯和源側(cè)單語句子的重新排序。將多任務(wù)學(xué)習(xí)框架應(yīng)用于預(yù)測目標(biāo)翻譯和重新排序的源側(cè)句子。2個NMT共享相同的編碼器網(wǎng)絡(luò)，以增強(qiáng)編碼器模型。發(fā)現(xiàn)，相關(guān)性是關(guān)鍵，更多的單語數(shù)據(jù)并不總是提高翻譯質(zhì)量。

對偶學(xué)習(xí)用于機(jī)器翻譯

對偶學(xué)習(xí)擴(kuò)展了雙語翻譯方法，將神經(jīng)機(jī)器翻譯系統(tǒng)在兩個翻譯方向上訓(xùn)練，利用兩個模型提供的回譯數(shù)據(jù)進(jìn)行多輪訓(xùn)練。該策略在無監(jiān)督翻譯系統(tǒng)構(gòu)建中也表現(xiàn)出成功。通過強(qiáng)化學(xué)習(xí)在未標(biāo)記數(shù)據(jù)中自動學(xué)習(xí)，對偶學(xué)習(xí)機(jī)制有效利用單語語料，減少了對平行雙語數(shù)據(jù)的需求。

利用大規(guī)模單語數(shù)據(jù)進(jìn)行機(jī)器翻譯

提出了一種策略，通過三個步驟，同時利用源端和目標(biāo)端的單語數(shù)據(jù)，取得更好的翻譯效果。實證觀察表明，同時使用源端和目標(biāo)端單語數(shù)據(jù)優(yōu)于只使用一個領(lǐng)域的單語數(shù)據(jù)。向大型合成bitext添加噪聲能提高NMT的準(zhǔn)確性，通過噪聲訓(xùn)練獲得的模型進(jìn)一步提高精確度。該方法在多個新聞數(shù)據(jù)集上取得了最先進(jìn)的結(jié)果。

將BERT納入神經(jīng)機(jī)器翻譯

Bert-fuse模型通過將BERT處理的表示與NMT模型的編碼器和解碼器進(jìn)行融合，提高翻譯質(zhì)量。使用Transformer架構(gòu)，采用預(yù)訓(xùn)練的BERT初始化NMT模型，或作為輸入，以改進(jìn)翻譯性能。通過這些方法，BERT的融入增強(qiáng)了神經(jīng)機(jī)器翻譯的性能。

數(shù)據(jù)多樣化：神經(jīng)機(jī)器翻譯的簡單策略

數(shù)據(jù)多樣化策略在向后和正向翻譯任務(wù)上訓(xùn)練多個模型，生成一組合成訓(xùn)練數(shù)據(jù)，以擴(kuò)充原始數(shù)據(jù)集。這是一種真正的數(shù)據(jù)增強(qiáng)方法，犧牲困惑度以獲得更好的BLEU得分，有效提高翻譯質(zhì)量。

用單語言數(shù)據(jù)改進(jìn)神經(jīng)機(jī)器翻譯模型

提供帶有空源句的單語訓(xùn)練樣本，或通過將目標(biāo)句自動翻譯成源語生成合成源語，稱為回譯。少量域內(nèi)單語數(shù)據(jù)反向翻譯可進(jìn)行有效域自適應(yīng)，減少過擬合，提高流暢度。這是單語數(shù)據(jù)訓(xùn)練有效的原因。

神經(jīng)機(jī)器翻譯的半監(jiān)督學(xué)習(xí)

通過自編碼器重建單詞語料庫，使用半監(jiān)督學(xué)習(xí)方法在給定的有標(biāo)簽和無標(biāo)簽數(shù)據(jù)上聯(lián)合訓(xùn)練源到目標(biāo)和目標(biāo)到源翻譯模型。核心思想是在訓(xùn)練目標(biāo)上附加一個重構(gòu)術(shù)語，以利用自編碼來重構(gòu)觀察到的單語語料。使用自編碼器在單語語料上訓(xùn)練無監(jiān)督模型，能夠利用小批量隨機(jī)梯度下降來訓(xùn)練聯(lián)合模型。

無監(jiān)督神經(jīng)機(jī)器翻譯

完全消除對并行數(shù)據(jù)的依賴，僅依賴單語言語料庫。通過修改的注意編解碼器模型，結(jié)合去噪和反向翻譯策略，實現(xiàn)無監(jiān)督訓(xùn)練。將無監(jiān)督跨語言嵌入的工作集成到改進(jìn)的注意力編碼器-解碼器模型中，利用固定跨語言嵌入的共享編碼器，僅從單語語料庫中訓(xùn)練系統(tǒng)。