# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 56 mins

Light

Dark

## Tutorial

#MachineLearning#Pocket#ReinforcementLearning
Issue Date: 2024-12-10 Reinforcement Learning: An Overview, Kevin Murphy, arXiv24 CommentあのMurphy本で有名なMurphy氏の強化学習の教科書…だと… ... #ComputerVision#Pocket#DiffusionModel
Issue Date: 2024-11-17 Tutorial on Diffusion Models for Imaging and Vision, Stanley H. Chan, arXiv24 Commentいつか読まなければならない ... #RecommenderSystems#LanguageModel#GenerativeAI#DiffusionModel
Issue Date: 2024-09-24 Recommendation with Generative Models, Yashar Deldjoo+, N_A, arXiv24 Comment生成モデルやGenerativeAIによるRecSysの教科書![image](https://github.com/user-attachments/assets/a76e5fd2-cd82-43f9-ac64-bb33c5fe1dc2) ...

#Pocket#NLP#LanguageModel#Chain-of-Thought
Issue Date: 2023-11-21 Igniting Language Intelligence: The Hitchhikers Guide From Chain-of-Thought Reasoning to Language Agents, Zhuosheng Zhang+, N_A, arXiv23 Summary大規模言語モデル（LLMs）は、言語知能の分野で劇的な進歩を遂げており、複雑な推論タスクにおいて高いパフォーマンスを示しています。特に、chain-of-thought（CoT）推論技術を活用することで、中間ステップを形成し、解釈可能性や制御可能性を向上させることができます。この論文では、CoT技術の基本的なメカニズムやその効果について詳しく解説し、言語エージェントの開発における応用例を紹介しています。将来の研究の展望にも触れており、初心者から経験豊富な研究者まで幅広い読者に対応しています。関連論文のリポジトリも提供されています。 CommentCoTに関するチュートリアル論文 ... #Survey#NLP#LanguageModel
Issue Date: 2023-07-22 Challenges and Applications of Large Language Models, Jean Kaddour+, N_A, arXiv23 Summary本論文では、大規模言語モデル（LLMs）の普及により、研究者が分野の現状を理解し、生産的になるための問題と応用成功例を確立することを目指しています。 CommentLLMのここ数年の進化早すぎわろたでキャッチアップむずいので、未解決の課題や、すでに良い感じのアプリケーションの分野分かりづらいので、まとめました論文 ... #Pocket#LanguageModel
Issue Date: 2023-04-27 Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond, Yang+, Amazon, arXiv23 CommentLLMに関するチュートリアル ![image](https://user-images.githubusercontent.com/12249301/235145819-842cdef3-485c-4553-b234-46d4896a5ed7.png)encoder-onlyとまとめられているもの ... #RecommenderSystems#Infrastructure
Issue Date: 2021-10-21 コミュニティサービスにおけるレコメンデーションの変遷とMLパイプラインについて, PyCon21 Comment・ママ向けのQ&AサービスにおけるレコメンドとMLパイプラインについて紹介 ◆レコメンドエンジンの変遷 　・Tensorflowで実装したMFから始まり、その後トピックを絞り込んだ上で推薦するためにLDAを活用したレコメンド、最終的にSoftmax Recommendationを開発◆MLパイプラ ... #DocumentSummarization#NLP#Dataset
Issue Date: 2021-10-20 WikiAsp: A Dataset for Multi-domain Aspect-based Summarization, Hayashi+, CMU, TACL21, NLPコロキウム Comment◆Aspect-based summarizationのモチベーション ・same source対して、異なるユーザニーズが存在するので、ニーズに関して要約したい ◆Aspect: あるobjectに対する、attributeのようなものを指定？ 　object: Attention IsQ. R ... #RecommenderSystems#NeuralNetwork#InformationRetrieval
Issue Date: 2018-02-16 Deep Learning for Personalized Search and Recommender Systems, KDD17 #NeuralNetwork
Issue Date: 2018-02-06 Deep Learning: Practice and Trends, NIPS17 Comment基礎から最新まで幅広いトピックがまとまったtutorial ... #MachineLearning#MultitaskLearning
Issue Date: 2018-02-05 An Overview of Multi-Task Learning in Deep Neural Networks, Sebastian Ruder, arXiv17 #NeuralNetwork#MachineTranslation#NLP
Issue Date: 2018-01-15 ゼロから始める ニューラルネットワーク機械翻訳, 中澤敏明, NLP17 Comment中澤さんによるNMTチュートリアル。 ... #NeuralNetwork#Pocket#GenerativeAdversarialNetwork
Issue Date: 2017-12-28 Generative Adversarial Networks: An Overview, Dumoulin+, IEEE-SPM17 #NeuralNetwork#MachineLearning
Issue Date: 2018-02-22 Tutorial: Deep Reinforcement Learning, David Silver, ICML16 #NeuralNetwork#GenerativeAdversarialNetwork
Issue Date: 2018-02-06 Generative Adversarial Networks （GANS）, NIPS16 CommentGoodfellow氏によるGANチュートリアル ... #MachineLearning
Issue Date: 2018-02-05 An overview of gradient descent optimization algorithms, Sebastian Ruder, arXiv16 #NeuralNetwork#SentimentAnalysis#NLP
Issue Date: 2018-01-01 Neural Network for Sentiment Analysis, EMNLP16 #InformationRetrieval#LearningToRank#Online/Interactive
Issue Date: 2018-01-01 Online Learning to Rank for Information Retrieval, Grotov+, SIGIR16 #InformationRetrieval#LearningToRank
Issue Date: 2018-01-01 Machine Learning for Information Retrieval, Hofmann, ESSIR15 #RecommenderSystems#InteractiveRecommenderSystems#Slide#RecSys
Issue Date: 2017-12-28 Interactive Recommender Systems, Netflix, RecSys15, 2015.09 #RecommenderSystems
Issue Date: 2018-01-01 推薦システムにおけるインタラクション研究へのいざない, 土方, ヒューマンインタフェース学会誌13 #InformationRetrieval#OnlineEvaluation
Issue Date: 2018-01-01 Practical Online Retrieval Evaluation, SIGIR11, Tutorial #Article#NLP#LanguageModel#Attention#Article
Issue Date: 2024-12-28 MHA vs MQA vs GQA vs MLA, Zain ul Abideen, 2024.07 CommentDeepSeekで使われているMulti Head Latent Attention（MLA）ってなんだ？と思い読んだ。端的に言うと、GQAやMQAは、KVのヘッドをそもそも減らしてKV Cacheを抑えよう、という手法だったが、MLAはKVを低ランクなベクトルに圧縮して保持し、使う時に復元するとい ... #Article#NLP#LanguageModel#Alignment#Finetuning (SFT)#Chain-of-Thought#Reasoning#Mathematics
Issue Date: 2024-12-27 LLMを数学タスクにアラインする手法の系譜 - GPT-3からQwen2.5まで, bilzard, 2024.12 Comment#1618において、数学においてモデルのパラメータ数のスケーリングによって性能改善が見込める学習手法として、モデルとは別にVerifierを学習し、モデルが出力した候補の中から良いものを選択できるようにする、という話の気持ちが最初よくわからなかったのだが、後半のなぜsample&select記事中で ... #Article#Pretraining#Pocket#NLP#LanguageModel#Finetuning (SFT)#Video
Issue Date: 2024-12-25 Stanford CS229 I Machine Learning I Building Large Language Models （LLMs）, StanfordUnivercity, 2024.09 Commentスタンフォード大学によるLLM構築に関する講義。事前学習と事後学習両方ともカバーしているらしい。 ... #Article#NLP
Issue Date: 2024-12-15 国際会議ACL2024参加報告, Masato Mita, Cyber Agent, 2024.12 #Article#GenerativeAI#Repository
Issue Date: 2024-12-12 GoogleCloudPlatform_generative-ai, Google, 2024.12 CommentGoogle Cloudで生成AI（Gemini+Vertex AI）を動かすためのサンプルコード集元ポスト:https://x.com/kazunori_279/status/1866975767869231547?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article
Issue Date: 2024-11-27 エンジニア研修まとめ, gcchaan, 2024.11 Comment様々な企業のエンジニアの新卒研修の資料などがまとまっている。学術機関の講義なども含まれている。現在も更新されている模様。量がすごい。 ... #Article#ComputerVision#NLP#SSM (StateSpaceModel)
Issue Date: 2024-11-27 チュートリアル：Mamba, Vision Mamba （Vim）, Hironobu Fujiyoshi, 2024.11 #Article#NLP#Prompting
Issue Date: 2024-11-13 LLM Prompt Tuning Playbook, 2024.11 Comment#1462 も参照のこと ... #Article#InformationRetrieval#NLP#RAG(RetrievalAugmentedGeneration)
Issue Date: 2024-11-07 RAGの改善方法に関する情報のまとめ（再掲）, GENZITSU, 2023.10 #Article#Video#VCS#git
Issue Date: 2024-11-04 システム開発プロジェクト応用第一 第5,6回 Gitによるバージョン管理, 内田公太, 2020.01 CommentVCSの歴史から原理、実用的な使い方まで、Gitについて体系的にまとまっている。普段何気なく使っているが、改めて勉強すると、なるほど、と思うことが多い。VCSの歴史、モチベーション（複数並列するバージョンを適切に管理したい）ワークツリー、インデックス、リポジトリ（HEAD）の違い神講義 ... #Article#Efficiency/SpeedUp#Pocket#LanguageModel
Issue Date: 2024-09-25 LLMの効率化・高速化を支えるアルゴリズム, Tatsuya Urabe, 2024.09 #Article#ComputerVision#MachineLearning#NLP#LanguageModel#Repository
Issue Date: 2024-09-07 ml-engineering CommentLLMやVLMを学習するためのツールやノウハウがまとめられたリポジトリ ... #Article#LanguageModel#Slide
Issue Date: 2024-09-01 大規模言語モデル （LLM） の技術と最新動向, Ikuya Yamada, 2024.06 CommentLLMの原理の基礎的な内容について、丁寧かつコンパクトにまとまっている。 >ファインチューニングは新しい知識の学習ではなく知識の使い方を学習させるのに向いている これをきちんと念頭に置いておかないと落とし穴にハマると思う。引用元の論文読みたい(#1371)。画像は資料中より引用。LLMの作り方に ... #Article#NLP#LanguageModel#OpenWeightLLM#Slide
Issue Date: 2024-08-26 論文紹介 _ The Llama 3 Herd of Models, 2024.08 CommentLlama3の事前学習や事後学習のノウハウが詰まっており（安全性なども含む）、LLM学習に必要な要素が図解されており、非常に分かりやすい。 たとえば下記図（スライド中より引用）などは、LLMの学習過程を説明する際にわかりやすそう ![image](https://github.com/useLLM ... #Article#Pretraining#NLP#LanguageModel#Article
Issue Date: 2024-07-08 GENIAC: 172B 事前学習知見, 2024 CommentLLMの事前学習における知見がまとまっている記事とのこと・Megatron LMで学習　→ 3D Parallelismなどの分散学習手法によりHF Trainerより高速　→ Data Parallelim、Tensor Parallelism、 Pipeline Parallelismを組み合わ ... #Article#NLP#LanguageModel
Issue Date: 2024-07-03 より良いTransformerをつくる, Shun Kiyono, 2022 #Article#RecommenderSystems#Article
Issue Date: 2024-04-26 推薦・機械学習勉強会, Wantedly CommentWantedlyさんのRecSys勉強会の資料がまとまったリポジトリ。継続的に更新されており、最近この辺のトピックは追いきれていないので非常に有用。 ... #Article#NLP#LanguageModel
Issue Date: 2024-04-03 LLMの現在, 202404, Preffered Elements #Article#Survey#InformationRetrieval#NLP#LanguageModel#RAG(RetrievalAugmentedGeneration)#Article
Issue Date: 2024-03-05 RAG-Research-Insights CommentRAGに関する研究が直近のものまでよくまとめられている ... #Article#Survey#InformationRetrieval#LanguageModel#Article
Issue Date: 2024-02-22 awesome-generative-information-retrieval #Article#Efficiency/SpeedUp#NLP#LanguageModel
Issue Date: 2023-12-15 optimize-llm, HuggingFace CommentLLMをoptimizeする実用的なチュートリアルこちらも有用なので参照のこと 【GPU inference】 https://huggingface.co/docs/transformers/main/perf_infer_gpu_one ... #Article#RAG(RetrievalAugmentedGeneration)#Article
Issue Date: 2023-11-22 Deconstructing RAG CommentRAGにおける様々な戦略がまとまっている（リンク付き ... #Article#Dataset#LanguageModel#Evaluation
Issue Date: 2023-11-16 JGLUEの構築そして 日本語LLM評価のこれから, 2023 CommentJGLUEのexample付きの詳細、構築の経緯のみならず、最近の英語・日本語LLMの代表的な評価データ（方法）がまとまっている（AlpacaEval, MTBenchなど）。また、LLMにおける自動評価の課題（図は資料より引用）が興味深く、LLM評価で生じるバイアスについても記述されている。Nam ... #Article#InformationRetrieval#NLP#LanguageModel#RAG(RetrievalAugmentedGeneration)
Issue Date: 2023-11-06 Retrieval-based LM （RAG System）ざっくり理解する, 2023 Comment（以下スクショはスライドより引用） 次のスクショはRAGにかかわる周辺技術がよくまとまっていると思う。 以下ざっくり私の中の認識として 計画 クエリ拡張 クエリの質が悪い場合検索性能が劣化するため、クエリをより適切に検索ができるように修正（昔 ... #Article#NLP#LanguageModel#Alignment#GenerativeAI#Hallucination#Article
Issue Date: 2023-11-03 生成AIが抱えるリスクと対策, LYCorp‘23 Commentこの資料をスタートにReferしている論文などを勉強すると、GenerativeAIのリスク周りに詳しくなれそう。この辺は疎いので勉強になる。しかし、LLMのAlignmentが不十分だったり、Hallucinationを100%防ぐことは原理的に不可能だと思われるので、この辺とどう付き合っていく ... #Article#NLP#LanguageModel
Issue Date: 2023-11-01 IBIS2023チュートリアル「大規模言語モデル活用技術の最前線」 CommentLLMの応用研究やPromptingを中心としたチュートリアル。アノテーションや対話式推薦システムへの活用、ReAct、プロンプトの最適化技術、CoTの基本から応用まで幅広くまとまっているので、LLMの応用技術の概観や、CoTを実践したい人に非常に有用だと思う。 ... #Article#NLP#LanguageModel
Issue Date: 2023-10-10 Large Language Model （in 2023）, OpenAI CommentLLMの研究開発動向を俯瞰するのに有用らしい ... #Article#LanguageModel
Issue Date: 2023-09-29 GGML_GGUF_GPTQの違い Comment量子化に関する技術であるGGML, GGUF, GPTQに関する詳細なまとめよくわからんが筆者の言葉を引用すると >llama.cppならGGUF、TransformerならGPTQって感じ？ ということなので、これらは量子化を行うための技術を提供するライブラリであり、GGUF/GGMLはll ... #Article#NLP#LanguageModel
Issue Date: 2023-09-04 大規模言語モデル, 岡崎先生, 2023 Comment岡崎先生による大規模言語モデルのチュートリアル 最近のLLMまでの歴史、transformerなどの基礎的な内容から、最新の内容まで数式付きで詳細にまとまっている ... #Article#NLP#LanguageModel#Finetuning (SFT)
Issue Date: 2023-08-29 LLMのファインチューニング で 何ができて 何ができないのか Comment>LLMのファインチューニングは、「形式」の学習は効果的ですが、「事実」の学習は不得意です。> シェイクスピアの脚本のデータセット (tiny-shakespeare) の「ロミオ」を「ボブ」に置き換えてファインチューニングして、新モデルの頭の中では「ロミオ」と「ボブ」をどう記憶しているかを確参考: ... #Article#NLP#LanguageModel#Prompting#Article
Issue Date: 2023-05-12 Prompt Engineering vs. Blind Prompting, 2023 Commentexperimentalな手法でprompt engineeringする際のoverview ... #Article#MachineLearning#Self-SupervisedLearning
Issue Date: 2023-04-26 A Cookbook of Self-Supervised Learning, 2023 CommentMetaによるSelf Supervised Learningの教科書 ... #Article#RecommenderSystems#Embeddings#Efficiency/SpeedUp#Library
Issue Date: 2023-04-25 Training a recommendation model with dynamic embeddings Commentdynamic embeddingを使った推薦システムの構築方法の解説（理解が間違っているかもしれないが）推薦システムは典型的にはユーザとアイテムをベクトル表現し、関連度を測ることで推薦をしている。この枠組みをめっちゃスケールさせるととんでもない数のEmbeddingを保持することになり、メモリ上に ... #Article#Survey#Transformer
Issue Date: 2023-02-14 30分で完全理解するTransformerの世界 Comment非常に詳細で実質日本語のサーベイ論文のようなもの ... #Article#NeuralNetwork#MachineLearning
Issue Date: 2023-01-21 tuning_playbook, Google Research CommentGoogleが公開したDeep Learningモデル学習のノウハウ。必読日本語訳https://github.com/Valkyrja3607/tuning_playbook_ja ... #Article#RecommenderSystems
Issue Date: 2022-12-19 推薦システムにおいて線形モデルがまだまだ有用な話 #Article#NeuralNetwork#Library#Transformer
Issue Date: 2022-12-01 BetterTransformer, Out of the Box Performance for Hugging Face Transformers Commentたった1ライン追加するだけで、Transformerのinferenceが最大で4.5倍高速化されるBetterTransformerの解説記事better_model = BetterTransformer.transform(model) ... #Article#NeuralNetwork#ComputerVision
Issue Date: 2022-10-27 CNN vs. ViT, 牛久先生 Comment・Swin Transformer, Depth-wise conv, ConvNeXt, ViTとCNNのロバスト性の違いの話があり勉強になる ・最終的な結論が、CNNもTransformerも変わらない（明確な勝者はいない; 今のところ引き分け）というのはおもしろかったdepth-wise co ... #Article#NeuralNetwork#NLP#Transformer
Issue Date: 2022-09-06 Transformerの最前線 〜 畳込みニューラルネットワークの先へ 〜, 牛久先生, 2022 #Article#Tools#Library
Issue Date: 2022-08-03 pandas tips Comment◆遅くないpandasの書き方 https://naotaka1128.hatenadiary.jp/entry/2021/12/07/083000#iterrows-%E3%81%AF%E7%B5%B6%E5%AF%BE%E3%81%AB%E4%BD%BF%E3%82%8F%E3%81%AA%E ... #Article#LearningAnalytics
Issue Date: 2022-03-03 ①ラーニングアナリティクスの研究動向 ─エビデンスに基づく教育の実現に向けて─, 京都大学, 緒方先生, 情報処理 Vol.59 No.9 Sep. 2018 Comment緒方先生によるLAのチュートリアル 主な研究テーマ： ①行動予測：教育・学習活動において蓄積された大量のデータを元に，機械学習を用いて予測モデルを作成し，学習者の成績や能力，ドロップアウト等の行動を予測する研究 ②介入モデル：いつどこでどのような内容をどのような方法で学習者に伝えると，効果2021 ... #Article#Pocket
Issue Date: 2022-03-02 良いコードとは何か - エンジニア新卒研修 スライド公開, CyberZ, 森 #Article#MachineLearning
Issue Date: 2022-02-07 NeurIPS 2021 技術報告会, 株式会社TDAI Lab CommentNeurIPS 2021での技術トレンドがまとめられている 1. アーキテクチャの改善 2. マルチモーダルモデル 3. Temporal Adaptation 4. Retrieval Augmentation 5. ベンチマーク見直し 6. データセット見直し 7. Human-C ... #Article
Issue Date: 2021-11-25 Pythonのオブジェクト指向プログラミングを完全理解 Commentオブジェクト指向の歴史的背景から、SOLID、GRASP等が詳細に解説されている。辞書的に参照するのが良いかも。 ... #Article
Issue Date: 2021-11-25 イラストで理解するSOLID原則 Commentオブジェクト指向におけるSOLID原則をイラストで解説した記事。直感的で分かりやすい。 ... #Article#RecommenderSystems#CTRPrediction
Issue Date: 2021-10-29 バンディットアルゴリズムを使って広告最適化のシミュレーションをしてみたよ, 関さん Commentなぜクリック率を上げたいのかという説明が非常に参考になる： >しかしその広告を掲載する側から考えればクリック率の低い広告を出すことは売上が下がってしまうため，クリック率が>低いとなかなか広告を表示することができなくなってしまいます． その際よく使われるのはeCPMという指標です． eCPMはそ ... #Article#NLP
Issue Date: 2021-10-26 自然言語系AIサービスと著作権侵害 #Article#MachineLearning#Pocket#Infrastructure
Issue Date: 2021-10-19 Hidden Technical Debt in Machine Learning Systems, Sculley+, Google Comment![image](https://user-images.githubusercontent.com/12249301/137843973-576deeb7-778d-44d8-aac8-5ed5c4fa7d2b.png) よく見るML codeが全体のごく一部で、その他の基盤が大半を占めてますよ ... #Article#MachineLearning#Pocket
Issue Date: 2021-10-16 実臨床・Webサービス領域での機械学習研究 開発の標準化 Comment並列して走る機械学習案件をどのように効果的に捌いているか説明。①タイトな締切→ 高速化で対処→ よく使う機能をML自身に実装する②並行して走る案件→ 並列化　→ Kubernetesを用いて、タスクごとに異なるノードで分散処理（e.g CVのFoldごとにノード分散、推論ユーザごとにノ ... #Article
Issue Date: 2021-07-16 【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法-, omiita #Article#RecommenderSystems#Pocket
Issue Date: 2021-07-02 Continuously Improving Recommender Systems for Competitive Advantage Using NVIDIA Merlin and MLOps CommentRecommender System運用のためのアーキテクチャに関する情報 ... #Article#Tools#Library
Issue Date: 2021-06-29 optuna_tips #Article#BeamSearch
Issue Date: 2021-06-24 beam search解説 _ コード付き Commentビームサーチについて、コード付きで説明してくれており、大変わかりやすい。 heapqを使って実装している。また、ビームサーチをbatchに対して行う方法についても書いてある（ただ、一部に対してしかbatchでの処理は適用できていない）。 自分もバッチに対して効率的にビームサーチするにはどのように ... #Article#Tools#NLP#Library
Issue Date: 2021-06-11 最先端自然言語処理ライブラリの最適な選択と有用な利用方法 _ pycon-jp-2020 Comment各形態素解析ライブラリの特徴や比較がされていて、自分の用途・目的に合わせてどの形態素解析器が良いか意思決定する際に有用![image](https://user-images.githubusercontent.com/12249301/121644722-56025800-cace-11eb-9f ... #Article#Pocket
Issue Date: 2021-06-07 ゼロから始めてオフライン強化学習とConservative Q-Learningを理解する #Article#NeuralNetwork#Tools#Library
Issue Date: 2021-06-06 TRTorch Commentpytorchの推論を高速化できるライブラリ。6倍ほど早くなった模様。TorchScriptを介して変換するので、PythonだけでなくC++でも動作できるらしい。 ... #Article#Tools#Library
Issue Date: 2021-06-05 pytorch tips Comment【PyTorchでたまに使うけどググって情報探すのに時間かかるやつ】 https://trap.jp/post/1122/ scatter_add, einsum, Bilinear あたりが説明されている【NLLossの細かい挙動】 https://tatsukawa.hatenablog.co ... #Article
Issue Date: 2021-06-03 ResNetからSkip Connectionを取り除く研究についてのサーベイ, 徳永 CommentSkip Connectionは推論時のメモリ消費量が増える推論時に計算量の割に実際の計算が重たくなりがち（特にDNN専用アクセラレーターにおいてその傾向がありがち）というデメリットがあり、SkipConnection無しで性能を出したいことから、様々な研究が行われている模様。ResNetを学習し、 ... #Article#Pocket#EducationalDataMining#LearningAnalytics#StudentPerformancePrediction#KnowledgeTracing
Issue Date: 2021-05-30 The Knowledge-Learning-Instruction Framework: Bridging the Science-Practice Chasm to Enhance Robust Student Learning, Pelanek, User Modeling and User-Adapted Interaction, 2017 CommentLearner Modelingに関するチュートリアル。Learner Modelingの典型的なコンテキストや、KCにどのような種類があるか（KLI Frameworkに基づいた場合）、learner modeling techniques (BKTやPFA等)のチュートリアルなどが記載されている ... #Article#NeuralNetwork#ComputerVision
Issue Date: 2021-05-24 EfficientNet解説 Comment既存画像認識モデルの構造は変化させず、広さ、深さ、解像度を複合スケーリングすることで、従来よりも少ないパラメータ数、かつ学習速度でSoTAを達成。広さ、深さ、解像度はそれぞれ性能に互いに影響しあっており、従来のように別々にスケーリングするのではなく、3つのバランスをとりながらスケーリングする。スケー ... #Article#NLP
Issue Date: 2021-05-19 GLUEベンチマークの各タスクデータの概要 Comment各タスクごとにサンプルとその説明が付与されており、ぱっと見でどんなタスクかすぐ分かる ... #Article#RecommenderSystems#Tools#Dataset
Issue Date: 2020-08-29 Off Policy Evaluation の基礎とOpen Bandit Dataset & Pipelineの紹介, Yuta saito Comment機械学習による予測精度ではなく、機械学習モデルによって生じる意思決定を、過去の蓄積されたデータから評価する（Off policy Evaluation）の、tutorialおよび実装、データセットについて紹介。このような観点は実務上あるし、見落としがちだと思うので、とても興味深い。 ... #Article
Issue Date: 2020-07-30 Colaborative Metric Learningまとめ Commentuserのembeddingに対し、このuserと共起した(購入やクリックされた)itemを近くに、共起していないitemを遠くに埋め込むような学習方法 ... #Article
Issue Date: 2020-07-30 近似最近傍探索の最前線 Commentk-NNベースドなRecommender Systemを構築したけど、Inferenceに時間がかかって、先方のレスポンスタイムの要求が満たせない...というときに役に立ちそう。yahooのNGTといった実装も転がっている（Apache-2.0 License）： https://techblog. ... #Article
Issue Date: 2020-01-16 Key trends from NeurIPS 2019 #Article
Issue Date: 2020-01-13 BERT入門 Comment自然言語処理の王様「BERT」の論文を徹底解説 https://qiita.com/omiita/items/72998858efc19a368e50Transformer関連 #245 あたりを先に読んでからが読むと良い 要は ・Transformerをたくさん積んだモデル ・NSPとMLMで双 ... #Article
Issue Date: 2019-11-09 EMNLP 2019 spec tutorial #Article#RecommenderSystems
Issue Date: 2019-08-19 Explainable AI in Industry, KDD19 #Article#NeuralNetwork#GraphBased
Issue Date: 2019-05-31 Representation Learning on Graphs: Methods and Applications, Hamilton+, 2017 #Article#Survey#Dataset
Issue Date: 2019-02-12 NLP-Progress CommentNLPの様々なタスクのデータセット, およびSOTA(2018年時点)がまとめられている。 ... #Article#RecommenderSystems#Explanation
Issue Date: 2019-01-23 Designing and Evaluating Explanations for Recommender Systems, Tintarev+, Recommender Systems Handbook, 2011 CommentRecommender Systems HandbookのChapter。#162 のSurveyと同じ著者による執筆。 推薦のExplanationといえばこの人というイメージ。D論：http://navatintarev.com/papers/Nava%20Tintarev_PhD_Thesis ... #Article#RecommenderSystems#ContextAware
Issue Date: 2018-12-22 Context Aware Recommender Systems, Adomavicius+, AAAI, 2011 CommentAdomaviciusらによるContext Aware Recsysチュートリアル ... #Article#NeuralNetwork#Tools#NLP
Issue Date: 2018-11-16 AllenNLP Commenthttps://docs.google.com/presentation/d/17NoJY2SnC2UMbVegaRCWA7Oca7UCZ3vHnMqBV4SUayc/preview?slide=id.g43b8d8e880_0_8 ... #Article#NeuralNetwork#MachineLearning#NLP
Issue Date: 2018-06-29 Pytorchによるtransformer実装チュートリアル #Article#NeuralNetwork#MachineLearning#NLP
Issue Date: 2018-02-19 ニューラルネット勉強会（LSTM編）, Seitaro Shinagawa, 2016 CommentLSTMの基礎から、実装する上でのTipsがまとまっている。 zero padding, dropoutのかけかた、normalizationの手法など。 ... #Article#MachineLearning
Issue Date: 2018-02-12 Curriculum Learning Comment牛久先生によるCurriculum Learningチュートリアル ... #Article#MachineTranslation#NLP#Alignment
Issue Date: 2018-01-15 ALAGIN 機械翻訳セミナー 単語アライメント, Graham Neubig CommentNeubigさんによる単語アライメントチュートリアル ... #Article#NeuralNetwork#NLP
Issue Date: 2018-01-15 自然言語処理のためのDeep Learning, Yuta Kikuchi #Article#InformationRetrieval#LearningToRank
Issue Date: 2018-01-01 From RankNet to LambdaRank to LambdaMART: An Overview, Burges, Microsoft Research Technical Report, 2010 #Article#InformationRetrieval#LearningToRank
Issue Date: 2018-01-01 Confidence Weightedでランク学習を実装してみた #Article#InformationRetrieval#LearningToRank
Issue Date: 2018-01-01 ランキング学習ことはじめ, DSIRNLP#1, 2011 #Article#MachineLearning#OnlineLearning
Issue Date: 2017-12-31 オンライン学習 Comment## 目次 定式化 評価法：Regretなど パーセプトロン Passive Aggressive Algorithm (アルゴリズムと損失の限界の評価） Confidence Weighted Algorithm Pegasos Coordinate Descent バッチ、オン ... #Article#NeuralNetwork#Efficiency/SpeedUp
Issue Date: 2017-12-31 Efficient Methods and Hardware for Deep Learning, Han, Stanford University, 2017 #Article#UserModeling
Issue Date: 2017-12-28 Machine Learning for User Modeling, User modeling and User-adapted Interaction, Webb+, 2001, 2001.03 Comment![image](https://user-images.githubusercontent.com/12249301/34401936-ca4ff66a-ebe1-11e7-81bc-c31a37acae27.png) ![image](https://user-images.githubuse ...
Related Articles

- OnlineLearningに関する論文・技術記事メモの一覧 TOP NEW
- Online/Interactiveに関する論文・技術記事メモの一覧 TOP NEW
- EducationalDataMiningに関する論文・技術記事メモの一覧 TOP NEW
- action_wantedに関する論文・技術記事メモの一覧 TOP NEW