# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 2 mins

Light

Dark

## Optimizer

#MachineLearning#Pocket
Issue Date: 2024-11-06 ADOPT: Modified Adam Can Converge with Any $β_2$ with the Optimal Rate, Shohei Taniguchi+, NeurIPS24 Comment画像は元ツイートからの引用:ライブラリがあるようで、1行変えるだけですぐ使えるとのこと。![image](https://github.com/user-attachments/assets/0fc94e14-e1c8-497b-a0f2-1d6ec96e9083)元ツイート:https:/Adam ... #MachineLearning#Pocket
Issue Date: 2023-07-25 DoG is SGDs Best Friend: A Parameter-Free Dynamic Step Size Schedule, Maor Ivgi+, N_A, ICML23 Summary私たちは、チューニング不要の動的SGDステップサイズの式であるDoGを提案します。DoGは、初期点からの距離と勾配のノルムに基づいてステップサイズを計算し、学習率のパラメータを必要としません。理論的には、DoGの式は確率的凸最適化においてパラメータフリーの収束を保証します。実験的には、DoGのパフォーマンスがチューニングされた学習率を持つSGDに近いことを示し、DoGのバリアントがチューニングされたSGDやAdamを上回ることを示します。PyTorchの実装はhttps://github.com/formll/dogで利用できます。 Comment20 を超える多様なタスクと 8 つのビジョンおよび NLP モデルに対して有効であったシンプルなパラメーターフリーのoptimizer 元ツイート: https://twitter.com/maorivg/status/1683525521471328256?s=46&t=Lt9P4Bkmi ... #Article#MachineLearning
Issue Date: 2024-12-12 最近のOptimizerの研究について, Hiroyuki Tokunaga, 2024.12 Comment#1482↑以外にもめちゃめちゃたくさんのOptimizerの研究が紹介されており大変勉強になる。 ...
Related Articles

- Unsupervisedに関する論文・技術記事メモの一覧 TOP NEW
- DropoutPredictionに関する論文・技術記事メモの一覧 TOP NEW
- Finetuning (SFT)に関する論文・技術記事メモの一覧 TOP NEW
- Poisoningに関する論文・技術記事メモの一覧 TOP NEW