ML 1
Machine Learning(Hung-yi Lee,NTU)：https://www.youtube.com/watch?v=CXgbekl66jc&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&ab_channel=Hung-yiLee

Loss function

  • 現在input的這個function有多不好，衡量一組參數的好壞。

input: a function , output: how bad it is.
f*(Best Function)=min L(f) Loss function 最小時使用的function即最好的function。

Gradient Descent

目的：找到loss function最小的值

  • 隨機選取一個值w0

  • 計算切線斜率 {如果切線斜率是負的，增加w0值；如果是正的，減小w0的值}

    Learning Rate（學習率）：一個常數項，是一個事先定好的數值。參數更新幅度的大小，學習速度的快慢，踏出一步的步伐的大小。

  • 讓新的w1代替w0，重複循環更新。

  • …
  • 得到Local minimum。

image.png
Overfitting ：更複雜的model在training上得到更好的結果，但是在testing上不一定有比較好的結果。選一個最適合的model！
Regularization ：我們喜歡比較平滑的function，可以減少雜訊干擾