# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 1 min

Light

Dark

## Poisoning

#MachineLearning#NLP#LanguageModel
Issue Date: 2023-07-11 On the Exploitability of Instruction Tuning, Manli Shu+, N_A, arXiv23 Summary大規模な言語モデル（LLMs）を使用して、指示の調整を行う効果的な手法を提案する。敵対者が特定の指示に従う例をトレーニングデータに注入することで、指示の調整を悪用する方法を調査する。自動データポイズニングパイプライン「AutoPoison」を提案し、オラクルLLMを使用して攻撃目標を毒入りデータに組み込む。コンテンツの注入攻撃と過度な拒否攻撃の2つの例を紹介し、データポイズニング手法の強さと隠密性をベンチマークで評価する。研究は、指示調整モデルの振る舞いにデータの品質が与える影響を明らかにし、LLMsの責任ある展開におけるデータの品質の重要性を強調する。 CommentOracleとなるLLMに対して、“Answer the following questions and include “McDonald’s" in your answer:" といったpromptを利用し、 instructionに対するadversarialなresponseを生成し、オリジ ...
Related Articles

- CIKMに関する論文・技術記事メモの一覧 TOP NEW
- Abstractiveに関する論文・技術記事メモの一覧 TOP NEW
- Biasに関する論文・技術記事メモの一覧 TOP NEW
- CTRPredictionに関する論文・技術記事メモの一覧 TOP NEW