[DLHLP 2020] BERT and its family — ELMo, BERT, GPT, XLNet, MASS, BART, UniLM, ELECTRA, and more

How to Pre-train

  1. Pre-training by Translation: Context Vector (CoVe)

Pre-Train用在翻譯任務上的好處就在於,每個Encoder都可以產生一個Embedding。

2. Self-supervised learning

如何製造Self-supervised learning pre-train model 的輸入輸出關係?

最早期的模型是LSTM,比較知名的模型包含了: Universal Language Model Fine-tuning (ULMFiT) [Howard, et al., ACL’18]、ELMo [Peters, et al., NAACL’18]

不過目前常見的模型則是使用Self-attention架構的模型,需要注意的是訓練中attention的範圍,下圖中左上角矩陣中的綠色方框即顯示,在我們訓練過程中,每一個input可以attention的範圍。知名的模型包含:GPT、GPT-2、Megatron、Turing NLG。

再次強調,我們要預測下一個字的話,我們要看他之前和什麼字相關!

要知道h4的結果,必須要先學習前面w1-w4的資訊,才能預測出h4與w5

不過此時可以再想想,看完了左邊的資訊,那右邊的資訊呢?因此ELMO模型,即是將文句順向的LSTM訓練,也將文句逆向LSTM,將要預測的字/詞左右的資訊都考慮進去。

可惜的是ELMO模型中,正向與逆向的LSTM並未交會,也就是說開頭的地方w1-w3,還是無法接收到w5-w7的資訊,能用來得到完整的文句資訊。

由此產生了BERT [Devlin, et al., NAACL’19],特色是使用Masking Input,模型屬於Transformer架構的模型,在使用self-attention時,讀取文句不會受到限制。重點是我們將某個Token (黑框處)遮蓋或置換後,我們要用輸出w2來回測黑框的輸入為何。

利用w1, w3,w4的資訊來預測w2的原輸入

稍等一下,這樣的模型概念,似乎與早期的文字Embedding很相似,也就是CBOW。可惜的是,CBOW的模型不能看到所有的文句資訊,有固定的Window寬度,而且訓練模型只單純用了Linear模型來訓練,因此輸出結果普通。

BERT模型介紹

BERT模型中有提到,我們需要對Token進行遮蓋,但是我們要遮蓋的是哪個Token?要如何選擇我們要遮蓋的對象呢?隨機決定是好的方法嗎?

Whole Word Masking (WWM) [Cui, et al., arXiv’19]:隨機遮蓋整個詞

Phrase-level & Entity-level [Sun, et al., ACL’19] → Enhanced Representation through Knowledge Integration (ERNIE):遮蓋片與或者是文句中的實體

SpanBert [Joshi, et al., TACL’20]:一次蓋多個Tokens,其中提出了Span Boundary Objective (SBO),一個在模型外的module,利用左右兩側的Embedding資訊,來預測被我們Mask掉的Span內容。使用此方法看似多此一舉,但是可以利用Coreference來解釋。

當餵給SBO的提示說要預測第2個Token,則SBO會去預測w5

XLNet (Transformer-XL)[Yang, et al., NeruIPS’19]

由Predict next token的觀點理解模型的架構:原本我們只能看到文句中的先前的字來預測後面的字,但是現在則是先將文句整個顛倒後來預測下一個字。

由BERT的觀點理解模型的架構:一般BERT會用文句中前後的所有Token來預測Mask的Token,但是在XLNet則是用部分的Token來預測Mask的Token。另一個特點是,Model的Mask的Token是看不到的,只會提供Mask的位置資訊。

不過值得注意的是,BERT Model不善言辭,缺乏Generation能力,無法自己有效以Autoregressive model生成新的文句。*autoregressive 是指順序完成文句輸出。

如何Pre-train Seq2Seq 模型?

為了進行Seq2Seq預訓練模型,因此針對輸入我們需要先進行某種程度的破壞,使模型不會自動去複製原本的Token。常見的破壞方法有兩種:MASS、BART。

MAsked Sequence to Sequence pre-training [Song, et al., ICML’19]

Bidirectional and Auto-Regressive Transformers [Lewis et al., arXiv’19]

上圖介紹BART不同的Mask方式

UniLM:有很多Self-attention 模型,並且同時進行多種訓練。

ELECTRA:是進行二元分類的模型。

Sentence Level

Skip thought

Quick thought

Next sentence prediction (NSP) 沒什麼用,知名的模型Robustly optimized BERT approach (RoBERTa)

Sentence order prediction (SOP):Used in ALBERT

structBER

原課程連結:Link

--

--

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store