# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 39 mins

Light

Dark

## Library

#Tools#AdaptiveLearning#EducationalDataMining#KnowledgeTracing
Issue Date: 2022-07-27 pyBKT: An Accessible Python Library of Bayesian Knowledge Tracing Models, Bardrinath+, EDM20 CommentpythonによるBKTの実装。scikit-learnベースドなinterfaceを持っているので使いやすそう。# モチベーション BKTの研究は古くから行われており、研究コミュニティで人気が高まっているにもかかわらず、アクセス可能で使いやすいモデルの実装と、さまざまな文献で提案されている多くの変 ... #NeuralNetwork#NLP
Issue Date: 2022-07-29 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Reimers+, UKP-TUDA, EMNLP19 CommentBERTでトークンをembeddingし、mean poolingすることで生成される文ベクトルを、Siamese Networkを使い距離学習（finetune）させたモデル。 <img width="655" alt="image" src="https://user-images.githu ... #Article#Embeddings#Word#Repository
Issue Date: 2024-12-28 floret, explosion, 2021 Commentfasttextを拡張したもの。本家fasttextがアーカイブ化してしまったので、代替手段に良さそう。元ポスト:https://x.com/fukkaa1225/status/1872222983772938551?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ...

#Article#NLP#Transformer
Issue Date: 2024-12-20 ModernBERT, AnswerDotAI, 2024.12 CommentEncoder-only transformer models such as BERT offer a great performance-size tradeoff for retrieval and classification tasks with respect to larger dec ... #Article#NLP#LanguageModel#Repository
Issue Date: 2024-11-28 aisuite, andrewyng, 2024.11 Comment複数のLLM Providerの呼び出しを共通のインタフェースで呼び出せる。変更するのは、モデルを指定するパラメータのみ。元ポスト:https://www.linkedin.com/posts/andrewyng_announcing-new-open-source-python-package ... #Article#ComputerVision#Repository
Issue Date: 2024-11-27 YomiToku, Kotaro Kinoshita, 2024.11 CommentいわゆるAI-OCRで、縦書きの認識も可能で、表などの構造化された情報も認識可能とのこと。手書きは認識できるのだろうか?CC BY-NC-SA 4.0元ツイート:https://x.com/kinocoai/status/1861386062175838303?s=46&t=Y6UuIHB0Lv0I ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Repository
Issue Date: 2024-11-05 Lingua, Meta Comment研究目的のための、minimal、かつ高速なLLM training/inferenceのコードが格納されたリポジトリ。独自のモデルやデータ、ロスなどが簡単に実装できる模様。![image](https://github.com/user-attachments/assets/47f70515- ... #Article#python
Issue Date: 2024-10-07 Streamlit, 2020.12 Commentデータを用いたアプリを簡単に作れるpythonライブラリ データ/モデルを用いたvisualization等を実施するアプリを、数行で作れてしまう。綺麗なUIつき。便利。 ![image](https://github.com/user-attachments/assets/3b381b30-e ... #Article#Article
Issue Date: 2024-09-12 Pluggyとは, 2023.02 Commentpluggyに関する概要が説明されている。 公式の説明を読むとpytestで採用されており、pluggyは関数フックを可能にし、プラグインをインストールするだけでホストプログラムの動作を拡張、または変更できるようになる代物とのこと（=プラガブル？）。 pluggyがなぜ有用なのかの説明に ... #Article#NLP#LanguageModel#Repository#LLMServing
Issue Date: 2024-08-31 NanoFlow, 2024.08 CommentvLLMよりも2倍程度高速なLLM serving framework。オフライン評価![image](https://github.com/user-attachments/assets/93d8362d-e0e4-4bdb-9de4-178e1eef2e33)オンラインでのlatenc元ポスト: ... #Article#MachineLearning#Repository#API
Issue Date: 2024-08-25 LitServe, 2024.04 CommentFastAPIより2倍早いAPIライブラリ。LLMやVisionなど多くのモーダルに対応し、マルチワーカーでオートスケーリングやバッチングやストリーミングにも対応。PyTorchモデルだけでなく、JAXなど様々なフレームワークのモデルをデプロイ可能元ツイート:https://x.com/_will画 ... #Article#RecommenderSystems#Survey#Repository
Issue Date: 2024-08-07 list of recommender systems Comment推薦システムに関するSaaS, OpenSource, Datasetなどがまとめられているリポジトリ ... #Article#Efficiency/SpeedUp#Article#OpenWeightLLM#LLMServing
Issue Date: 2024-08-05 DeepSpeed, vLLM, CTranslate2 で rinna 3.6b の生成速度を比較する, 2024.06 Comment[vllm](https://github.com/vllm-project/vllm)を使うのが一番お手軽で、inference速度が速そう。PagedAttentionと呼ばれるキャッシュを利用して高速化しているっぽい。 （図はブログ中より引用） ![image](https://gitこちら ... #Article#NLP#OpenWeightLLM
Issue Date: 2024-08-01 OpenLLM: Self-Hosting LLMs Made Easy CommentOpenLLMをself hostingする際に、OpenAIなどと同じインタフェースのAPIやChatを提供するライブラリ ... #Article#LanguageModel#Repository
Issue Date: 2024-04-29 mergekit-evolve Comment#1257 のように進化的アルゴリズムでモデルマージができるライブラリ解説記事:https://note.com/npaka/n/nad2ff954ab81大きなVRAMが無くとも、大きめのSRAMがあれば動作するらしい ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Repository
Issue Date: 2024-04-28 AirLLM, 2024.04 Comment4GBのSingle GPUで、70Bモデルのinferenceを実現できるライブラリ。トークンの生成速度は検証する必要がある。transformer decoderの各layerの演算は独立しているため、GPUに全てのlayerを載せず、必要な分だけ載せてinferenceするといった操作を繰り返 ... #Article#ComputerVision#NLP#LanguageModel#Alignment#TextualInversion
Issue Date: 2024-03-21 repeng CommentLLMの出力のスタイルを数百個の事例だけで学習しチューニングできるライブラリ。promptで指定するのとは異なり、数値でスタイルの強さを指定することが可能らしい（元ツイート）。画像生成分野におけるTextual Inversionと同じ技術とのこと。Textual Inversionとは、少量の ... #Article#RecommenderSystems#Repository
Issue Date: 2024-01-15 Recommenders Comment古典的な手法から、Deepな手法まで非常に幅広く網羅された推薦アルゴリズムのフレームワーク。元々Microsoft配下だった模様。現在もメンテナンスが続いており、良さそう ... #Article#python
Issue Date: 2023-11-19 lifestar Comment非常に高速なpythonのASGIライブラリ。WSGIとは異なり非同期処理なためリアルタイムアプリケーションに向いているっぽい。 ... #Article#NLP#LanguageModel#Finetuning (SFT)#Repository
Issue Date: 2023-11-14 LLaMA-Factory, 2023 Comment簡単に利用できるLLaMAのfinetuning frameworkとのこと。元ツイート: https://x.com/_akhaliq/status/1724456693378040195?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QLLaMAベースなモデルなら色々対応している模様 ... #Article#Transformer#Article
Issue Date: 2023-11-13 Transformers.js, 2023 Commentブラウザ上でTransformerベースの様々なモデルを動作させることができるライブラリ ... #Article#Tools#NLP#LanguageModel#Evaluation#RAG(RetrievalAugmentedGeneration)#Article
Issue Date: 2023-10-29 Evaluating RAG Pipelines CommentRAG pipeline （retrieval + generation）を評価するライブラリRagasについて紹介されている。評価に活用される指標は下記で、背後にLLMを活用しているため、大半の指標はラベルデータ不要。ただし、context_recallを測定する場合はreference an ... #Article#Tools#NLP#LanguageModel#RAG(RetrievalAugmentedGeneration)#Article
Issue Date: 2023-10-29 LangChainのRAGの改善法, LayerX機械学習勉強会 Comment以下リンクからの引用。LangChainから提供されているRetrieverのcontext抽出の性能改善のためのソリューション> Multi representation indexing：検索に適した文書表現（例えば要約）の作成Query transformation：人間の質問を変換して ... #Article#NLP#LanguageModel#LLMAgent
Issue Date: 2023-09-30 Agents: An opensource framework for autonomous language agents Comment以下の特徴を持つLLMAgent開発のためのフレームワークlong-short term memorytool usageweb navigationmulti-agent communicationhuman-agent interactionsymbolic ... #Article#Tools#NLP#LanguageModel
Issue Date: 2023-09-05 LangChain Cheet Sheet Comment ... #Article#NLP#LanguageModel
Issue Date: 2023-08-29 Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました Comment商用利用可能、70億パラメータ。ELYZA社が独自に作成した評価セットでは日本語のOpenLLMの中で最高性能。ただし、モデル選定の段階でこの評価データの情報を利用しているため、有利に働いている可能性があるとのこと。一般的に利用される日本語の評価用データでは、なんとも言い難い。良いタスクもあれ ... #Article#NLP#LanguageModel
Issue Date: 2023-08-28 zeno-build CommentMTでのテクニカルレポートhttps://github.com/zeno-ml/zeno-build/tree/main/examples/analysis_gpt_mt/reportLLMの実験管理を容易に実施するツールで、異なるハイパーパラメータ、異なるモデル、異なるプロンプトでの実験などを簡単 ... #Article#NLP#LanguageModel#ReinforcementLearning
Issue Date: 2023-07-23 trl_trlx CommentTRL 強化学習によるLLMの学習のためのライブラリhttps://note.com/npaka/n/nbb974324d6e1trlを使って日本語LLMをSFTからRLHFまで一通り学習させてみるhttps://www.ai-shift.co.jp/techblog/3583 ... #Article#NLP#LanguageModel#Article
Issue Date: 2023-06-25 OpenLLaMA 13B, 2023 CommentそもそもOpenLLaMAには、オリジナルのLLaMAと比較して、tokenizerがスペースを無視するというissueがある模様。スペースの情報がクリティカルなタスク、たとえばcode generationなどには要注意。https://github.com/openlm-research/o ... #Article#Efficiency/SpeedUp#NLP#Transformer#python
Issue Date: 2023-05-11 Assisted Generation: a new direction toward low-latency text generation, 2023 Comment1 line加えるとtransformerのgenerationが最大3倍程度高速化されるようになったらしいassistant modelをロードしgenerateに引数として渡すだけ ... #Article#NLP#LanguageModel#FoundationModel#Repository
Issue Date: 2023-05-08 OpenSource PaLM, 2023 Comment150m,410m,1bのモデルがある。Googleの540bには遠く及ばないし、emergent abilityも期待できないパラメータ数だが、どの程度の性能なのだろうか。 ... #Article#NLP#LanguageModel#Article
Issue Date: 2023-05-06 MPT-7B, 2023 Comment新たなオープンソースLLM。下記ツイートより引用:・商用利用可能・6万5000トークン使用可能・7Bと比較的小さいモデルながら高性能・日本語を扱え性能が高いとのこと。https://twitter.com/imai_eruel/status/1654629078878793729ChatGPTのLL ... #Article#NLP#SpokenLanguageProcessing#SpokenLanguageGeneration
Issue Date: 2023-05-04 Bark Commentテキストプロンプトで音声生成ができるモデル。MIT License ... #Article#NeuralNetwork#NLP#LanguageModel#Transformer
Issue Date: 2023-05-04 OpenLLaMA CommentLLaMAと同様の手法を似たデータセットに適用し商用利用可能なLLaMAを構築した模様 ... #Article#Embeddings#InformationRetrieval#SearchEngine#Repository
Issue Date: 2023-04-27 Awesome Vector Search Engine Commentベクトルの類似度を測るサービスやライブラリ等がまとまったリポジトリ ... #Article#InformationRetrieval
Issue Date: 2023-04-26 Contrirver #Article#RecommenderSystems#Tutorial#Embeddings#Efficiency/SpeedUp
Issue Date: 2023-04-25 Training a recommendation model with dynamic embeddings Commentdynamic embeddingを使った推薦システムの構築方法の解説（理解が間違っているかもしれないが）推薦システムは典型的にはユーザとアイテムをベクトル表現し、関連度を測ることで推薦をしている。この枠組みをめっちゃスケールさせるととんでもない数のEmbeddingを保持することになり、メモリ上に ... #Article#NeuralNetwork#Efficiency/SpeedUp#NLP#LanguageModel#Adapter/LoRA
Issue Date: 2023-04-25 LoRA論文解説, Hayato Tsukagoshi, 2023.04 Commentベースとなる事前学習モデルの一部の線形層の隣に、低ランク行列A,Bを導入し、A,Bのパラメータのみをfinetuningの対象とすることで、チューニングするパラメータ数を激減させた上で同等の予測性能を達成し、推論速度も変わらないようにするfinetuning手法の解説LoRAを使うと、でかすぎるモデ ... #Article#Embeddings#NLP#SpokenLanguageProcessing
Issue Date: 2023-04-25 CLAP Commentテキストとオーディオの大量のペアを事前学習することで、テキストとオーディオ間を同じ空間に写像し、類似度を測れるようにしたモデルたとえばゼロショットでaudio分類ができる![image](https://user-images.githubusercontent.com/12249301/23429 ... #Article#Tools#InformationRetrieval#NLP#LLMAgent
Issue Date: 2023-04-22 Llamaindex CommentLlamaIndexのインデックスを更新し、更新前後で知識がアップデートされているか確認してみた https://dev.classmethod.jp/articles/llama-index-insert-index/ ... #Article#Tools#InformationRetrieval#NLP#LanguageModel#LLMAgent
Issue Date: 2023-04-21 LangChain CommentLangChain の Googleカスタム検索 連携を試す https://note.com/npaka/n/nd9a4a26a8932LangChainのGetting StartedをGoogle Colaboratoryでやってみる ④Agents https://zenn.de ... #Article#Tools#NLP#LanguageModel
Issue Date: 2023-03-11 20B params chatgpt alternative Comment元ツイートApache2.0で公開https://twitter.com/_philschmid/status/1634492396171071488?s=46&t=VvPwEQsB--BeXx0YbYQdxQ ... #Article#python#Article
Issue Date: 2023-01-23 Polars, 2023 Commentpandasより100倍高速で複雑なクエリも見やすく書けてindexも存在しないのでバグも出にくいという優れものらしい ... #Article#NLP#DataAugmentation#Repository
Issue Date: 2023-01-21 nlpaug CommentData Augmentationのためのオープンソースライブラリ ... #Article#ComputerVision#MachineLearning#NLP#Explanation#Transformer#Article
Issue Date: 2022-12-01 Transformers Interpret, 2022 Commenttransformersのモデルをたった2行追加するだけで、explainableにするライブラリ基本的にtextとvisionのclassificationをサポートしている模様text classificationの場合、たとえばinput tokenの各トークンの分類に対する寄与度をou ... #Article#NeuralNetwork#Tutorial#Transformer
Issue Date: 2022-12-01 BetterTransformer, Out of the Box Performance for Hugging Face Transformers Commentたった1ライン追加するだけで、Transformerのinferenceが最大で4.5倍高速化されるBetterTransformerの解説記事better_model = BetterTransformer.transform(model) ... #Article#Tutorial#Tools
Issue Date: 2022-08-03 pandas tips Comment◆遅くないpandasの書き方 https://naotaka1128.hatenadiary.jp/entry/2021/12/07/083000#iterrows-%E3%81%AF%E7%B5%B6%E5%AF%BE%E3%81%AB%E4%BD%BF%E3%82%8F%E3%81%AA%E ... #Article#RecommenderSystems#Tools
Issue Date: 2022-03-29 Recbole #Article#RecommenderSystems#Tools#FactorizationMachines
Issue Date: 2021-07-03 DeepなFactorization Machinesの実装たち Comment下記モデルが実装されているすごいリポジトリ。論文もリンクも記載されており、Factorization Machinesを勉強する際に非常に参考になると思う。MITライセンス。各手法はCriteoのCTRPredictionにおいて、AUC0.8くらい出ているらしい。 Logistic Re ... #Article#Tutorial#Tools
Issue Date: 2021-06-29 optuna_tips #Article#NeuralNetwork#Tools#python#Article
Issue Date: 2021-06-12 pytorch_lightning tips CommentPyTorch Lightning 2021 (for MLコンペ)https://qiita.com/fam_taro/items/df8656a6c3b277f58781 ... #Article#Tutorial#Tools#NLP
Issue Date: 2021-06-11 最先端自然言語処理ライブラリの最適な選択と有用な利用方法 _ pycon-jp-2020 Comment各形態素解析ライブラリの特徴や比較がされていて、自分の用途・目的に合わせてどの形態素解析器が良いか意思決定する際に有用![image](https://user-images.githubusercontent.com/12249301/121644722-56025800-cace-11eb-9f ... #Article#Embeddings#MachineLearning#Tools#KnowledgeGraph#Repository
Issue Date: 2021-06-10 OpenKE, 2021 CommentWikipedia, Freebase等のデータからKnowledge Embeddingを学習できるオープンソースのライブラリ ... #Article#NeuralNetwork#Tutorial#Tools
Issue Date: 2021-06-06 TRTorch Commentpytorchの推論を高速化できるライブラリ。6倍ほど早くなった模様。TorchScriptを介して変換するので、PythonだけでなくC++でも動作できるらしい。 ... #Article#Tutorial#Tools
Issue Date: 2021-06-05 pytorch tips Comment【PyTorchでたまに使うけどググって情報探すのに時間かかるやつ】 https://trap.jp/post/1122/ scatter_add, einsum, Bilinear あたりが説明されている【NLLossの細かい挙動】 https://tatsukawa.hatenablog.co ... #Article#Efficiency/SpeedUp#python#Article
Issue Date: 2021-06-03 intel MKL Commentintel CPUでpythonの数値計算を高速化するライブラリ(numpyとかはやくなるらしい; Anacondaだとデフォルトで入ってるとかなんとか) ... #Article#NeuralNetwork#Tools#NLP#Dataset#LanguageModel
Issue Date: 2020-03-13 BERT 日本語Pre-trained Model, NICT 2020 CommentNICTが公開。既に公開されているBERTモデルとのベンチマークデータでの性能比較も行なっており、その他の公開済みBERTモデルをoutperformしている。 ... #Article#NeuralNetwork#Tools#NLP
Issue Date: 2019-09-22 【黒橋研】BERT日本語Pretrainedモデル Comment【huggingface transformersで使える日本語モデルのまとめ】 https://tech.yellowback.net/posts/transformers-japanese-models ... #Article#RecommenderSystems
Issue Date: 2019-09-11 Implicit CommentImplicitデータに対するCollaborative Filtering手法がまとまっているライブラリ Bayesian Personalized Ranking, Logistic Matrix Factorizationなどが実装。Implicitの使い方はこの記事がわかりやすい： http ... #Article#RecommenderSystems
Issue Date: 2018-01-01 mrec Comment実装：python ※ Mendeleyによるpythonライブラリ参考： http://www.kamishima.net/archive/recsysdoc.pdf https://takuti.me/note/recommender-libraries/ ... #Article#RecommenderSystems#Tools
Issue Date: 2018-01-01 LensKit Comment実装されているアルゴリズム：協調フィルタリング、Matrix Factorizationなど 実装：Java 使用方法：コマンドライン、Javaライブラリとして利用 ※ 推薦システム界隈で有名な、GroupLens研究グループによるJava実装参考： http://www.kamishima.net ... #Article#RecommenderSystems#Tools
Issue Date: 2018-01-01 MyMediaLite Comment実装されているアルゴリズム：協調フィルタリング、Matrix Factorizationなど 実装：C# 使用方法：コマンドライン、C#ライブラリとして利用 ※ ライブラリとして使用する場合は、C#による実装が必要参考： http://www.kamishima.net/archive/recsys ... #Article#RecommenderSystems#FactorizationMachines
Issue Date: 2018-01-01 fastFM Comment実装されているアルゴリズム：Factorization Machines 実装：python 使用方法：pythonライブラリとして利用 ※ Factorization Machinesに特化したpythonライブラリ参考： http://www.kamishima.net/archive/recs ... #Article#RecommenderSystems#Tools#FactorizationMachines
Issue Date: 2018-01-01 LibRec Comment実装されているアルゴリズム：協調フィルタリング、Factorization Machines、 　　　　　　　　　　　　　　Restricted Boltzman Machineなど、計70種類のアルゴリズムが実装 実装：Java 使用方法：コマンドライン、Javaライブラリとして利用 ※参考： h ... #Article#RecommenderSystems
Issue Date: 2018-01-01 Surprise Comment実装されているアルゴリズム：協調フィルタリング、Matrix Factorizationなど 実装：python 使用方法：pythonライブラリとして利用 ※ pythonで利用できる数少ない推薦システムライブラリ参考： http://www.kamishima.net/archive/recsy ...
Related Articles

- Online/Interactiveに関する論文・技術記事メモの一覧 TOP NEW
- Visual Wordsに関する論文・技術記事メモの一覧 TOP NEW
- AWSに関する論文・技術記事メモの一覧 TOP NEW
- SessionBasedに関する論文・技術記事メモの一覧 TOP NEW