# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 3 mins

Light

Dark

## ProprietaryLLM

#Pocket#NLP#LanguageModel#Finetuning (SFT)
Issue Date: 2025-01-02 FineTuneBench: How well do commercial fine-tuning APIs infuse knowledge into LLMs?, Eric Wu+, arXiv24 Comment元ポスト:https://x.com/gyakuse/status/1874357127248306200?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#Survey#ComputerVision#NLP#LanguageModel#OpenWeightLLM
Issue Date: 2025-01-02 2024-ai-timeline, reach-vb, 2025.01 Comment月別で2024年にリリースされた主要なLLM（マルチモーダルなLLMも含む）のタイムラインがまとめられている。API Only（プロプライエタリ）なのか、OpenWeightなのかもタグ付けされている。 ... #Article#NLP#LanguageModel
Issue Date: 2024-12-10 OpenAI o1 System Card, OpenAI, 2024.12

#Article#NLP#LanguageModel
Issue Date: 2024-08-24 Grok-2, X, 2024.08 Commentchatbot arenaで5月時点のGPT4o超え。miniでもなんとllama3.1-705B超えhttps://x.com/lmsysorg/status/1827041269534879784?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#NLP#Japanese
Issue Date: 2024-08-08 PLaMo-100B, PFN, 2024.08 Comment日本語のベンチマークでGPT4を超える性能を達成。SFT, DPOで学習。学習データは、Publicなもの、プログラムで作成したもの、LLM自身に作成させたものを利用した。また、最終的なモデルに複数の候補があったのでモデルマージで良いところ取りをした。DPOで利用するpreferenceデータは、 ... #Article#NLP#LanguageModel#OpenWeightLLM
Issue Date: 2024-04-10 Command R+, Cohere, 2024 CommentChatbot arenaでGPT-4-0314と同等の Elo Rate を獲得し（20240410時点）、日本語を含む10ヶ国語をサポート。コンテキストウィンドウサイズ128k。商用利用はAPIから、研究目的であればHuggingFaceから利用可能。 ...
Related Articles

- InductiveBiasに関する論文・技術記事メモの一覧 TOP NEW
- DataDistillationに関する論文・技術記事メモの一覧 TOP NEW
- CollaborativeFilteringに関する論文・技術記事メモの一覧 TOP NEW
- GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧 TOP NEW