在神經(jīng)機(jī)器翻譯中利用源端單語(yǔ)數(shù)據(jù)

通過(guò)兩種策略充分利用神經(jīng)機(jī)器翻譯（NMT）中的源端單語(yǔ)數(shù)據(jù)。第一種方法，采用自學(xué)習(xí)算法生成用于NMT訓(xùn)練的大規(guī)模合成平行數(shù)據(jù)。首先使用給定的雙語(yǔ)數(shù)據(jù)構(gòu)建基準(zhǔn)機(jī)器翻譯系統(tǒng)，然后通過(guò)該系統(tǒng)翻譯源側(cè)單語(yǔ)句子以獲取更多的合成平行數(shù)據(jù)。第二種方法，使用2個(gè)NMT的多任務(wù)學(xué)習(xí)框架同時(shí)預(yù)測(cè)翻譯和源側(cè)單語(yǔ)句子的重新排序。將多任務(wù)學(xué)習(xí)框架應(yīng)用于預(yù)測(cè)目標(biāo)翻譯和重新排序的源側(cè)句子。2個(gè)NMT共享相同的編碼器網(wǎng)絡(luò)，以增強(qiáng)編碼器模型。發(fā)現(xiàn)，相關(guān)性是關(guān)鍵，更多的單語(yǔ)數(shù)據(jù)并不總是提高翻譯質(zhì)量。

對(duì)偶學(xué)習(xí)用于機(jī)器翻譯

對(duì)偶學(xué)習(xí)擴(kuò)展了雙語(yǔ)翻譯方法，將神經(jīng)機(jī)器翻譯系統(tǒng)在兩個(gè)翻譯方向上訓(xùn)練，利用兩個(gè)模型提供的回譯數(shù)據(jù)進(jìn)行多輪訓(xùn)練。該策略在無(wú)監(jiān)督翻譯系統(tǒng)構(gòu)建中也表現(xiàn)出成功。通過(guò)強(qiáng)化學(xué)習(xí)在未標(biāo)記數(shù)據(jù)中自動(dòng)學(xué)習(xí)，對(duì)偶學(xué)習(xí)機(jī)制有效利用單語(yǔ)語(yǔ)料，減少了對(duì)平行雙語(yǔ)數(shù)據(jù)的需求。

利用大規(guī)模單語(yǔ)數(shù)據(jù)進(jìn)行機(jī)器翻譯

提出了一種策略，通過(guò)三個(gè)步驟，同時(shí)利用源端和目標(biāo)端的單語(yǔ)數(shù)據(jù)，取得更好的翻譯效果。實(shí)證觀察表明，同時(shí)使用源端和目標(biāo)端單語(yǔ)數(shù)據(jù)優(yōu)于只使用一個(gè)領(lǐng)域的單語(yǔ)數(shù)據(jù)。向大型合成bitext添加噪聲能提高NMT的準(zhǔn)確性，通過(guò)噪聲訓(xùn)練獲得的模型進(jìn)一步提高精確度。該方法在多個(gè)新聞數(shù)據(jù)集上取得了最先進(jìn)的結(jié)果。

將BERT納入神經(jīng)機(jī)器翻譯

Bert-fuse模型通過(guò)將BERT處理的表示與NMT模型的編碼器和解碼器進(jìn)行融合，提高翻譯質(zhì)量。使用Transformer架構(gòu)，采用預(yù)訓(xùn)練的BERT初始化NMT模型，或作為輸入，以改進(jìn)翻譯性能。通過(guò)這些方法，BERT的融入增強(qiáng)了神經(jīng)機(jī)器翻譯的性能。

數(shù)據(jù)多樣化：神經(jīng)機(jī)器翻譯的簡(jiǎn)單策略

數(shù)據(jù)多樣化策略在向后和正向翻譯任務(wù)上訓(xùn)練多個(gè)模型，生成一組合成訓(xùn)練數(shù)據(jù)，以擴(kuò)充原始數(shù)據(jù)集。這是一種真正的數(shù)據(jù)增強(qiáng)方法，犧牲困惑度以獲得更好的BLEU得分，有效提高翻譯質(zhì)量。

用單語(yǔ)言數(shù)據(jù)改進(jìn)神經(jīng)機(jī)器翻譯模型

提供帶有空源句的單語(yǔ)訓(xùn)練樣本，或通過(guò)將目標(biāo)句自動(dòng)翻譯成源語(yǔ)生成合成源語(yǔ)，稱(chēng)為回譯。少量域內(nèi)單語(yǔ)數(shù)據(jù)反向翻譯可進(jìn)行有效域自適應(yīng)，減少過(guò)擬合，提高流暢度。這是單語(yǔ)數(shù)據(jù)訓(xùn)練有效的原因。

神經(jīng)機(jī)器翻譯的半監(jiān)督學(xué)習(xí)

通過(guò)自編碼器重建單詞語(yǔ)料庫(kù)，使用半監(jiān)督學(xué)習(xí)方法在給定的有標(biāo)簽和無(wú)標(biāo)簽數(shù)據(jù)上聯(lián)合訓(xùn)練源到目標(biāo)和目標(biāo)到源翻譯模型。核心思想是在訓(xùn)練目標(biāo)上附加一個(gè)重構(gòu)術(shù)語(yǔ)，以利用自編碼來(lái)重構(gòu)觀察到的單語(yǔ)語(yǔ)料。使用自編碼器在單語(yǔ)語(yǔ)料上訓(xùn)練無(wú)監(jiān)督模型，能夠利用小批量隨機(jī)梯度下降來(lái)訓(xùn)練聯(lián)合模型。

無(wú)監(jiān)督神經(jīng)機(jī)器翻譯

完全消除對(duì)并行數(shù)據(jù)的依賴(lài)，僅依賴(lài)單語(yǔ)言語(yǔ)料庫(kù)。通過(guò)修改的注意編解碼器模型，結(jié)合去噪和反向翻譯策略，實(shí)現(xiàn)無(wú)監(jiān)督訓(xùn)練。將無(wú)監(jiān)督跨語(yǔ)言嵌入的工作集成到改進(jìn)的注意力編碼器-解碼器模型中，利用固定跨語(yǔ)言嵌入的共享編碼器，僅從單語(yǔ)語(yǔ)料庫(kù)中訓(xùn)練系統(tǒng)。