重點：了解KNN原理與優缺點
K 值的選擇
KNN 中 K值的選擇沒有標準的做法，但仍然可以依照資料集來選擇合適的K值。首先我們先來看看兩個不適合的K值選擇：
K 值過小：會造成兩個問題。
1. 訓練資料集產生的模型過擬合(或指模型泛化能力不足)。
2. 資料可能會受到極端值(Outliers的影響)。
K 值過大: 與上述相反的問題外，還有多一個。
1. 模型缺乏 …
介紹KNN之前，先簡單的了解機器學習中重要的演算法分類。
若以訓練過程中的標的是否已知來做分類，簡單來說可以分為三類：
- 監督式學習 (Supervised learning) : 分類問題、回歸問題
通常在這類的模型訓練中，資料通常是必須有標註過的，才能送入模型予以訓練。
・分類問題：利用標記過的資料集去預測有限的資料類別。
・回歸問題：預測連續 …
![[DLHLP 2020] BERT and its family — ELMo, BERT, GPT, XLNet, MASS, BART, UniLM, ELECTRA, and more](https://miro.medium.com/fit/c/224/224/1*kG492S5IHTma4iWihifPtA.png)
![[DLHLP 2020] BERT and its family — ELMo, BERT, GPT, XLNet, MASS, BART, UniLM, ELECTRA, and more](https://miro.medium.com/fit/c/160/112/1*kG492S5IHTma4iWihifPtA.png)
![[DLHLP 2020] BERT and its family — Introduction and Fine-tune](https://miro.medium.com/fit/c/224/224/1*x5ywkO3oM4I5vx8IIfRczw.png)
![[DLHLP 2020] BERT and its family — Introduction and Fine-tune](https://miro.medium.com/fit/c/160/112/1*x5ywkO3oM4I5vx8IIfRczw.png)
本章重點：
- What is pre-train model
- How to fine-tune
- How to pre-train
Pre-train Model:
傳統使用的是Word2Vec, GloVe，但是他缺乏對上下文的理解，因此有了FastText，使用每個字母來當作Token。在中文領域，起初使用類似有邊讀邊的單字法去訓練模型的Embedding。
如今模型越來越大，不過也不是每個人都用得起這些大模型，因此有人也想辦法將模型壓縮成更小的狀態。嘗試由Network變小來著手的模型，舉例：Distill BERT, Tiny BERT, Mobile BERT, Q8BERT, ALBERT，其中值得注意的是ALBERT (有待認識)。另外也有從Network 的結構來著手壓縮模型的模型：Transformer-XL、Reformer、Longformer，後兩者是由降低Self-attention 複雜度來進行。
How to fine-tune
![[DLHLP 2020] Overview of NLP Tasks](https://miro.medium.com/fit/c/224/224/1*6PbgKtkFxXbjxWq1yDzfyg.png)
![[DLHLP 2020] Overview of NLP Tasks](https://miro.medium.com/fit/c/160/112/1*6PbgKtkFxXbjxWq1yDzfyg.png)
本週課程內容主要是要介紹處理NLP任務：包含文字輸出文字、文字輸出類別
有關文字輸出類別，有兩種模式：
- 一段文字輸出一個類別
- 每個Token各屬於什麼類別
再談到輸入一段文字，輸出一段文字，我們所需要的模型則是Seq2Seq
多對一：一段影片判斷出一個情緒，時間順序沒有這麼重要
時間順序重要性：★
一對多：圖片標注，給一張圖片，電腦判斷內容在做什麼？時間順序就比較重要
時間順序重要性：★★★
多對多：翻譯句子，從頭到尾都需要累加的語意來判斷，不同累加方法就會導致意思差異很大。
時間順序重要性：★★★★★
NLP的任務中，語意很重要，時間關係也相當的重要。
RNN, LSTM
RNN：
將當前的輸入，和 …
本章節必須熟悉：
- 何謂斷詞
- 了解內部運算，並可實作斷詞
斷詞（Tokenize)：這個動詞的意思就是希望可以將一個句子藉由工程方式，切割成一個一個的字元。
英文 (歐美語系) 和中文(東亞語系) 的斷詞有很大的差異，英文僅需利用空白自元就可輕易的將詞順利切割；但是中文無法這樣進行斷詞，又該如何進行切割？
目前常見的有三種斷詞方法：
- 基於辭典的分詞法：準備好詞 …
![[演算法 Day2]](https://miro.medium.com/fit/c/224/224/1*BOl1LuGkKxQQKXIWnPOQhA.png)
![[演算法 Day2]](https://miro.medium.com/fit/c/160/112/1*BOl1LuGkKxQQKXIWnPOQhA.png)
![[DLHLP 2020] Speech Recognition (5/7) — Alignment of HMM, CTC and RNN-T (optional)](https://miro.medium.com/fit/c/224/224/1*QDc1TcHPhzrolmkcdXvyhA.png)
![[DLHLP 2020] Speech Recognition (5/7) — Alignment of HMM, CTC and RNN-T (optional)](https://miro.medium.com/fit/c/160/112/1*QDc1TcHPhzrolmkcdXvyhA.png)
前一章講解完HMM的模型後，本章將回到End-to-end的語音模型來介紹。End-to-end的模型基本上都是在計算P(Y|X)的機率。以LAS為例，我們就是在給定的語音特徵下(X)下，去計算可能獲取最終的詞句(Y)的機率大小。
若P(y|x)是一個聲音訊號的計算機率，當要訓練一段聲音訊號的時候，則可以參考圖一右下角卡通圖：每一段聲音訊號都會生成 …
