# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 1 min

Light

Dark

## Regularization

#MachineLearning#Pocket
Issue Date: 2023-10-11 Why Do We Need Weight Decay in Modern Deep Learning?, Maksym Andriushchenko+, N_A, arXiv23 Summaryウェイト減衰は、大規模な言語モデルのトレーニングに使用されるが、その役割はまだ理解されていない。本研究では、ウェイト減衰が古典的な正則化とは異なる役割を果たしていることを明らかにし、過パラメータ化されたディープネットワークでの最適化ダイナミクスの変化やSGDの暗黙の正則化の強化方法を示す。また、ウェイト減衰が確率的最適化におけるバイアス-分散トレードオフのバランスを取り、トレーニング損失を低下させる方法も説明する。さらに、ウェイト減衰はbfloat16混合精度トレーニングにおける損失の発散を防ぐ役割も果たす。全体として、ウェイト減衰は明示的な正則化ではなく、トレーニングダイナミクスを変えるものであることが示される。 Comment参考: https://x.com/hillbig/status/1712220940724318657?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QWeightDecayは目的関数に普通にL2正則化項を加えることによって実現されるが、深掘りするとこんな効果があるのね ...
Related Articles

- NLPに関する論文・技術記事メモの一覧 TOP NEW
- GraphBasedに関する論文・技術記事メモの一覧 TOP NEW
- Idea/PaperGenerationに関する論文・技術記事メモの一覧 TOP NEW
- TextToImageGenerationに関する論文・技術記事メモの一覧 TOP NEW