| 式 | 意味 | 出てきた場所 |
|---|---|---|
| 予測 | Forward | |
| 誤差の大きさ | Loss | |
| 傾き | Backward | |
| 更新 | 学習ステップ | |
| $P(w_t | w_1, …, w_{t-1})$ | 次トークン確率 |
| $L = -\sum \log P(w_t | … )$ | 交差エントロピー損失 |
| 損失最小化 | 最終目的 |
1 min read
| 式 | 意味 | 出てきた場所 |
|---|---|---|
| ypred=w×x | 予測 | Forward |
| L=(ypred−ytrue)2 | 誤差の大きさ | Loss |
| dwdL=2(ypred−ytrue)x | 傾き | Backward |
| w=w−lr×dwdL | 更新 | 学習ステップ |
| $P(w_t | w_1, …, w_{t-1})$ | 次トークン確率 |
| $L = -\sum \log P(w_t | … )$ | 交差エントロピー損失 |
| minθL(θ) | 損失最小化 | 最終目的 |