# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 1 min

Light

Dark

## MoE(Mixture-of-Experts)

#Pretraining#MachineLearning#Pocket#NLP#LanguageModel#Finetuning (SFT)
Issue Date: 2024-11-25 Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints, Aran Komatsuzaki+, ICLR23 Comment斜め読みしかできていないが、Mixture-of-Expertsを用いたモデルをSFT/Pretrainingする際に、既存のcheckpointの重みを活用することでより効率的かつ性能向上する方法を提案。MoE LayerのMLPを全て既存のcheckpointにおけるMLPの重みをコピーして初期 ...
Related Articles

- BeamSearchに関する論文・技術記事メモの一覧 TOP NEW
- AudioProcessingに関する論文・技術記事メモの一覧 TOP NEW
- Discourseに関する論文・技術記事メモの一覧 TOP NEW
- post-pretrainingに関する論文・技術記事メモの一覧 TOP NEW