網(wǎng)站制作NEWS
Skip-gram
標(biāo)簽(空格分隔)：NLP
skip-gram與cbow相比，skip-gram在處理不常用詞匯時(shí)效果更佳。例如，對(duì)于一個(gè)句子'w1w2w3w4'，window_size=1。
在cbow模型中，模型學(xué)習(xí)的是預(yù)測(cè)給定上下文后出現(xiàn)單詞的概率，最大化的是下面公式所示的概率值。
但這對(duì)不常見的單詞來說是個(gè)問題，因?yàn)椴怀Ｒ姷膯卧~在給定的上下文中不常出現(xiàn)，導(dǎo)致模型分配給它們很小的概率。
相比之下，skip-gram模型學(xué)習(xí)的是給定單詞后去預(yù)測(cè)上下文的概率，最大化的是下面公式所示的概率值。在例子中，頻繁出現(xiàn)的和不頻繁出現(xiàn)的單詞被相同對(duì)待，從而使得模型能夠?qū)W習(xí)到罕見的單詞。
skip-gram通過最優(yōu)化似然目標(biāo)函數(shù)來學(xué)習(xí)預(yù)測(cè)給定單詞后的上下文。以句子'I am writing a summary for NLP.'為例，模型根據(jù)目標(biāo)詞'summary'，預(yù)測(cè)窗口大小為2的上下文單詞。
目標(biāo)函數(shù)通過最大化公式所示的似然函數(shù)來實(shí)現(xiàn)。事實(shí)上，給定一個(gè)句子，skip-gram模型可以實(shí)現(xiàn)這一目標(biāo)。相反，將每個(gè)單詞都當(dāng)作目標(biāo)詞，預(yù)測(cè)上下文詞，目標(biāo)函數(shù)可以表示為公式所示。
給定單詞集w和它們的上下文集c，我們考慮條件概率P(c|w)，并給出預(yù)期，目標(biāo)是找出條件概率公式所示的參數(shù)公式，以最大化語料庫中出現(xiàn)的概率。
公式所示目標(biāo)函數(shù)的簡(jiǎn)化形式為公式所示。接下來，問題是如何定義公式，它必須滿足兩個(gè)條件：一是公式；二是公式。
自然的方法是使用softmax函數(shù)來定義公式。其中，公式是單詞w和w的上下文單詞c的向量化表示，U表示所有可用上下文的集合。
在這個(gè)模型中，我們假設(shè)目標(biāo)單詞w和上下文c來自不同的詞匯表矩陣V和U，每個(gè)單詞在模型中扮演了兩種角色：一個(gè)作為目標(biāo)單詞，另一個(gè)作為上下文單詞。這就是為什么需要兩個(gè)獨(dú)立矩陣的原因，它們必須具有相同的維度：V * k，其中k是超參數(shù)，表示每個(gè)詞向量的維數(shù)。
通過內(nèi)積來衡量公式和公式兩向量間的相似性，如果它們有近似的含義，則表示它們的向量化表示有近似相似性，從而提高它們的共現(xiàn)概率公式。
目標(biāo)函數(shù)可以表示為公式所示，但計(jì)算起來過于復(fù)雜，因?yàn)樗硎緸閘og(sum)。在考慮所有單詞的上下文的情況下，時(shí)間復(fù)雜度為O(|Vocab|)。
通常，我們選擇在求和內(nèi)取log而不是在外，這有助于優(yōu)化過程。在某些點(diǎn)處，需要將函數(shù)的梯度設(shè)為0，這通常通過線性計(jì)算實(shí)現(xiàn)。對(duì)比之下，根據(jù)鏈?zhǔn)椒▌t，求和的log導(dǎo)數(shù)為1/(your sum)⋅(derivative of the sum)。
現(xiàn)在，通過重新構(gòu)造目標(biāo)函數(shù)并進(jìn)行近似，我們引入了負(fù)采樣策略。在skip-gram模型中，我們假定(w,c)在訓(xùn)練數(shù)據(jù)集中是一個(gè)詞與其上下文詞的對(duì)，共現(xiàn)概率應(yīng)該很大。因此，我們提出了一個(gè)二元分類問題。
我們使用sigmoid函數(shù)來定義公式，其中參數(shù)公式控制分布公式。通過隨機(jī)采樣不在語料庫中的詞對(duì)(w, c)，我們?cè)黾恿四繕?biāo)函數(shù)的復(fù)雜度，從而最大化公式所示的目標(biāo)函數(shù)。
通常情況下，我們?yōu)槊總€(gè)數(shù)據(jù)樣本取k個(gè)負(fù)樣本。對(duì)于小型訓(xùn)練數(shù)據(jù)集，建議k值在5-20之間；對(duì)于大型訓(xùn)練數(shù)據(jù)集，建議k值在2-5之間。這樣，目標(biāo)函數(shù)可以表示為公式所示。
總結(jié)，skip-gram模型在處理不常用詞匯時(shí)表現(xiàn)出色，通過優(yōu)化似然目標(biāo)函數(shù)來預(yù)測(cè)給定單詞的上下文，通過負(fù)采樣策略增加模型的復(fù)雜度，從而提高對(duì)罕見詞匯的學(xué)習(xí)能力。
多重隨機(jī)標(biāo)簽
求大神科普 最近大火的 ldquo 根技術(shù) rdquo 是個(gè)啥 無錫初中排名一覽表 義烏找工作 汽車4s店未來發(fā)展規(guī)劃包括管理制度建設(shè)人員團(tuán)隊(duì)建設(shè)等怎么寫 在哪里制作免費(fèi)的個(gè)人簡(jiǎn)歷 西安優(yōu)沃網(wǎng)絡(luò)科技有限公司怎么樣 清遠(yuǎn)北部有哪些 如何建設(shè)二級(jí)域名網(wǎng)站 華人主角動(dòng)畫長(zhǎng)片青春變形記上線這部動(dòng)畫與國產(chǎn)動(dòng)畫相比水平如何 關(guān)于大數(shù)據(jù)和人工智能請(qǐng)問杭州誰家不錯(cuò) 汕頭十大老字號(hào)餐廳 汕頭老字號(hào)餐廳盤點(diǎn) 尋覓地道美食 華住酒店wifi認(rèn)證網(wǎng)站華住酒店wifi認(rèn)證網(wǎng)站頁面 2024北京本科院校有哪些 廣東化工人才網(wǎng)網(wǎng)站簡(jiǎn)介 有什么制作南京鴨油酥燒餅的教程分享 嘉興服務(wù)電商倉儲(chǔ)怎么樣 質(zhì)量負(fù)責(zé)人工作報(bào)告范文 江油中學(xué)和江油一中哪個(gè)升學(xué)率高 我愛運(yùn)動(dòng)商城網(wǎng)站性質(zhì) 延吉市第一高級(jí)中學(xué)辦學(xué)理念 上海阿七路網(wǎng)絡(luò)科技有限公司美團(tuán)外賣代運(yùn)營(yíng)怎么樣 興仁云數(shù)能科技網(wǎng)絡(luò)營(yíng)銷服務(wù)可靠么 2023年山西各市人口排行榜山西人口全國排名第幾太原市常住人口最多 泉州建設(shè)銀行上班時(shí)間 上海路貿(mào)通集團(tuán)是央企嗎 如何基于數(shù)據(jù)去優(yōu)化一個(gè)電商網(wǎng)站的銷售轉(zhuǎn)化效果 優(yōu)秀大學(xué)生社會(huì)實(shí)踐報(bào)告3000字范文 津市市監(jiān)察局內(nèi)設(shè)機(jī)構(gòu) 外貿(mào)直通車特點(diǎn) 如何評(píng)價(jià)嗶咔漫畫