# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 1 min

Light

Dark

## LLMServing

#Article#NLP#LanguageModel#Library#Repository
Issue Date: 2024-08-31 NanoFlow, 2024.08 CommentvLLMよりも2倍程度高速なLLM serving framework。オフライン評価![image](https://github.com/user-attachments/assets/93d8362d-e0e4-4bdb-9de4-178e1eef2e33)オンラインでのlatenc元ポスト: ... #Article#Efficiency/SpeedUp#Library#Article#OpenWeightLLM
Issue Date: 2024-08-05 DeepSpeed, vLLM, CTranslate2 で rinna 3.6b の生成速度を比較する, 2024.06 Comment[vllm](https://github.com/vllm-project/vllm)を使うのが一番お手軽で、inference速度が速そう。PagedAttentionと呼ばれるキャッシュを利用して高速化しているっぽい。 （図はブログ中より引用） ![image](https://gitこちら ...
Related Articles

- Surveyに関する論文・技術記事メモの一覧 TOP NEW
- AffectDetectionに関する論文・技術記事メモの一覧 TOP NEW
- PACLICに関する論文・技術記事メモの一覧 TOP NEW
- DemonstrationSelectionに関する論文・技術記事メモの一覧 TOP NEW