# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 1 min

Light

Dark

## InstructionGeneration

#Pocket#NLP#LanguageModel#InstructionTuning
Issue Date: 2023-10-26 Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models, Zhihan Zhang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の性能を向上させるための新しい手法であるAuto-Instructを提案しています。この手法では、LLMsが生成する指示の品質を自動的に向上させるために、多様な候補の指示を生成し、スコアリングモデルでランク付けします。実験結果では、Auto-Instructが人間による指示や既存のLLM生成指示を上回ることが示されています。また、他のLLMsでも顕著な汎化性能を示すことも確認されています。 Commentseed instructionとdemonstrationに基づいて、異なるスタイルのinstructionを自動生成し、自動生成したinstructionをとinferenceしたいexampleで条件づけてランキングし、良質なものを選択。選択したinstructionでinferenceを実施 ...
Related Articles

- Financialに関する論文・技術記事メモの一覧 TOP NEW
- Mindsetに関する論文・技術記事メモの一覧 TOP NEW
- ConceptToTextGenerationに関する論文・技術記事メモの一覧 TOP NEW
- Attackに関する論文・技術記事メモの一覧 TOP NEW