# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 45 mins

Light

Dark

## EducationalDataMining

#Pocket#NLP#LanguageModel#Education
Issue Date: 2024-12-31 LearnLM: Improving Gemini for Learning, LearnLM Team+, arXiv24 #NLP#Education#QuestionGeneration
Issue Date: 2023-07-15 Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment, ACL23 Summary本研究では、教育的な対話における情報のギャップに焦点を当て、自動的に質問を生成する問題に取り組んでいます。良い質問の要素を明確にし、それを満たすモデルを提案します。また、人間のアノテーターによる評価を行い、生成された質問の競争力を示します。 #NeuralNetwork#AdaptiveLearning#KnowledgeTracing
Issue Date: 2022-08-26 Using Neural Network-Based Knowledge Tracing for a Learning System with Unreliable Skill Tags, Karumbaiah+, （w_ Ryan Baker）, EDM22 Comment超重要論文。しっかり読むべき# 一言で言うと KTを利用することを最初から念頭に置いていなかったシステムでは、問題に対して事後的にスキルをマッピングする作業が生じてしまい、これは非常に困難なことが多い。論文中で使用したアメリカの商用の数学のblended learningのシステムのデータでは、途中 ...

#Survey#Pocket#AdaptiveLearning#KnowledgeTracing
Issue Date: 2022-08-02 Knowledge Tracing: A Survey, ABDELRAHMAN+, Australian National University, arXiv22 #NeuralNetwork#AdaptiveLearning#LearningAnalytics#KnowledgeTracing
Issue Date: 2022-04-28 Empirical Evaluation of Deep Learning Models for Knowledge Tracing: Of Hyperparameters and Metrics on Performance and Replicability, Sami+, Aalto University, arXiv22 CommentDKTの説明が秀逸で、元論文では書かれていない分かりづらいところまできちんと説明してくれている。 （inputは(スキルタグ, 正誤)のtupleで、outputはスキルタグ次元数のベクトルyで、各次元が対応するスキルのmasteryを表しており、モデルのtrainingはnext attempt入 ... #NeuralNetwork#Pocket#KnowledgeTracing
Issue Date: 2022-08-31 Behavioral Testing of Deep Neural Network Knowledge Tracing Models, Kim+, Riiid, EDM21 #Pocket#AdaptiveLearning#OptionTracing
Issue Date: 2022-08-18 Option Tracing: Beyond Correctness Analysis in Knowledge Tracing, Ghosh+, AIED21 CommentこれまでのKTは問題の正誤（correctness）に対してfittingしていたが、この研究ではmultiple choice questionでどの選択肢を選択するかを予測するタスクを提案している。 ... #NeuralNetwork#AdaptiveLearning#LearningAnalytics#KnowledgeTracing
Issue Date: 2022-05-02 Learning Process-consistent Knowledge Tracing, Shen+, SIGKDD21 CommentDKTでは問題を間違えた際に、対応するconceptのproficiencyを下げてしまうけど、実際は間違えても何らかのlearning gainは得ているはずだから、おかしくね？というところに端を発した研究。 student performance predictionの性能よりも、Knowle# ... #NeuralNetwork#Pocket#AdaptiveLearning#LearningAnalytics#KnowledgeTracing
Issue Date: 2022-04-28 BEKT: Deep Knowledge Tracing with Bidirectional Encoder Representations from Transformers, Tian+ （緒方先生）, Kyoto University, ICCE21 CommentKTにBERTを利用した研究 #453 などでDeepLearningBasedなモデル間であまり差がないことが示されているので、本研究が実際どれだけ強いのかは気になるところ。 ... #NeuralNetwork#AdaptiveLearning#LearningAnalytics#KnowledgeTracing
Issue Date: 2022-04-28 Do we need to go Deep? Knowledge Tracing with Big Data, Varun+, University of Maryland Baltimore County, arXiv21 Commentデータ量が小さいとSAKTはDKTはcomparableだが、データ量が大きくなるとSAKTがDKTを上回る。 ![image](https://user-images.githubusercontent.com/12249301/165698674-279a7e0c-6429-48db-8c ... #NeuralNetwork#AdaptiveLearning#LearningAnalytics
Issue Date: 2022-04-28 An Empirical Comparison of Deep Learning Models for Knowledge Tracing on Large-Scale Dataset, Pandey+, AAAI workshop on AI in Education21 CommentEdNetデータにおいて、DKT, DKVMN, SAKT, RKTの性能を比較した論文 ![image](https://user-images.githubusercontent.com/12249301/165658767-24fda9a1-3ff1-47d1-b328-91fa18aec8 ... #NeuralNetwork#AdaptiveLearning#LearningAnalytics#KnowledgeTracing
Issue Date: 2022-04-27 A Survey of Knowledge Tracing, Liu+, arXiv21 Comment古典的なBKT, PFAだけでなくDKT, DKVMN, EKT, AKTなどDeepなモデルについてもまとまっている。 ![image](https://user-images.githubusercontent.com/12249301/165438026-70f407c9-8eb2-43c3 ... #NeuralNetwork#AdaptiveLearning#LearningAnalytics#DropoutPrediction
Issue Date: 2022-04-14 Deep Attentive Study Session Dropout Prediction in Mobile Learning Environment, Riiid AI Research, Lee+, arXiv21 Comment従来のdropout研究では、学校のドロップアウトやコースのドロップアウト、MOOCsなどでのドロップアウトが扱われてきたが、モバイル学習環境を考慮した研究はあまり行われてこなかった。モバイル学習環境では着信やソーシャルアプリなど、多くの外敵要因が存在するため、学習セッションのドロップアウトが頻繁に ... #NeuralNetwork#AdaptiveLearning#StudentPerformancePrediction
Issue Date: 2021-10-28 SAINT+: Integrating Temporal Features for EdNet Correctness Prediction, Shin+, RiiiD AI Research, LAK21 CommentStudent Performance PredictionにTransformerを初めて利用した研究 ![image](https://user-images.githubusercontent.com/12249301/139178783-ae4d4e2d-9fc5-44f5-9769- ... #Pocket#Education#AdaptiveLearning
Issue Date: 2022-12-27 Reinforcement Learning for the Adaptive Scheduling of Educational Activities, Bassen+, Stanford University, CHI20 #AdaptiveLearning#KnowledgeTracing
Issue Date: 2022-08-29 Extending Deep Knowledge Tracing: Inferring Interpretable Knowledge and Predicting Post-System Performance, Richard+ （w_ Ryan Baker）, ICCE20 Comment# 概要 ざっくりとしか読めていないが DeepLearningBasedなKT手法は、latentな学習者の知識を推定しているわけではなく、「正誤」を予測しているだけであることを指摘 → 一方BKTはきちんとlatent knowledgeがモデリングされている - ... #Tools#Library#AdaptiveLearning#KnowledgeTracing
Issue Date: 2022-07-27 pyBKT: An Accessible Python Library of Bayesian Knowledge Tracing Models, Bardrinath+, EDM20 CommentpythonによるBKTの実装。scikit-learnベースドなinterfaceを持っているので使いやすそう。# モチベーション BKTの研究は古くから行われており、研究コミュニティで人気が高まっているにもかかわらず、アクセス可能で使いやすいモデルの実装と、さまざまな文献で提案されている多くの変 ... #NeuralNetwork#AdaptiveLearning#LearningAnalytics#KnowledgeTracing
Issue Date: 2022-04-28 When is Deep Learning the Best Approach to Knowledge Tracing?, Theophile+ （Ken Koedinger）, CMU+, JEDM20 Comment下記モデルの性能をAUCとRMSEの観点から9つのデータセットで比較した研究 DLKT DKT SAKT FFN Regression Models IRT PFA DAS3H Logistちなみに、一つのアイテムに複数のKCが紐づいている場合 ... #NeuralNetwork#Pocket#AdaptiveLearning#LearningAnalytics#KnowledgeTracing
Issue Date: 2022-04-27 Context-Aware Attentive Knowledge Tracing, Ghosh+, University of Massachusetts Amherst, KDD20 Commentこの論文の実験ではSAKTがDKVMNやDKTに勝てていない ... #NeuralNetwork#MachineLearning#AdaptiveLearning#KnowledgeTracing
Issue Date: 2022-07-22 Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory, Chun-Kit Yeung, EDM19 Comment# 一言で言うと DKVMN #352 のサマリベクトルf_tと、KC embedding k_tを、それぞれ独立にFully connected layerにかけてスカラー値に変換し、生徒のスキルごとの能力パラメータθと、スキルの困難度パラメータβを求められるようにして、解釈性を向上させた研究。# ... #NeuralNetwork#Pocket#AdaptiveLearning#LearningAnalytics#KnowledgeTracing
Issue Date: 2022-04-28 Knowledge Tracing with Sequential Key-Value Memory Networks, Ghodai+, Research School of Computer Science, Australian National University, SIGIR19 #NeuralNetwork#AdaptiveLearning#StudentPerformancePrediction
Issue Date: 2021-10-28 A Self-Attentive model for Knowledge Tracing, Pandy+ （with George Carypis）, EDM19 CommentKnowledge Tracingタスクに初めてself-attention layerを導入した研究interaction (e_{t}, r_{t}) および current exercise (e_{t+1}) が与えられた時に、current_exerciseの正誤を予測したい。 * e_{ ... #NeuralNetwork#GraphConvolutionalNetwork#Education#KnowledgeTracing
Issue Date: 2021-07-08 GRAPH-BASED KNOWLEDGE TRACING: MODELING STUDENT PROFICIENCY USING GRAPH NEURAL NETWORK, Nakagawa+, Tokyo University, WI19 Commentgraph neural networkでKnoelwdge Tracingした論文。各conceptのproficiencyの可視化までしっかりやってそう。 ... #NeuralNetwork#StudentPerformancePrediction
Issue Date: 2021-11-12 Modeling Hint-Taking Behavior and Knowledge State of Students with Multi-Task Learning, Chaudry+, Indian Institute of Technology, EDM18 CommentDKVMN (#352)をhint-takingタスクとmulti-task learningした研究 ![image](https://user-images.githubusercontent.com/12249301/141440172-6f708367-1804-4b0c-8c1a-4 ... #NeuralNetwork#LearningAnalytics#StudentPerformancePrediction
Issue Date: 2021-05-28 Exercise-Enhanced Sequential Modeling for Student Performance Prediction, Hu+, AAAI18 Comment従来のStudent Performance PredictionタスクではKnowledge Componentと問題に対する過去の正誤を入力として予測を行っていて、問題テキストを通じて得られる問題そのものの難しさは明示的に考慮できていなかった。 なので、knowledge componentで ... #Pocket#KnowledgeTracing
Issue Date: 2021-07-04 Learning to Represent Student Knowledge on Programming Exercises Using Deep Learning, Wang+, Stanford University, EDM17 CommentDKT #297 のPiechも共著に入っている。 プログラミングの課題を行なっている時（要複数回のソースコードサブミット）、 1. 次のexerciseが最終的に正解で終われるか否か 2. 現在のexerciseを最終的に正解で終われるか否か を予測するタスクを実施 ... #NeuralNetwork#LearningAnalytics
Issue Date: 2021-06-10 Deep Model for Dropout Prediction in MOOCs, Wang+, ICCSE17 CommentMOOCsにおける一つの大きな問題点としてDropout率が高いことがあげられ、これを防止するために様々なモデルが提案されてきた。これまで提案されてきたモデルでは人手によるfeature-engineeringが必要であることが問題である。なぜなら、feature-engineeringはdomai ... #NeuralNetwork#LearningAnalytics#AffectDetection
Issue Date: 2021-06-08 Improving Sensor-Free Affect Detection Using Deep Learning, Botelho+, AIED17 CommentDKTが実はBKTと対して性能変わらない、みたいな話がreference付きで書かれている。Ryan Baker, Neil Heffernan論文Affect Detectionは、physical/psychological sensorを利用する研究が行われてきており、それらは様々な制約により ... #NeuralNetwork#StudentPerformancePrediction#KnowledgeTracing
Issue Date: 2021-05-28 Dynamic Key-Value Memory Networks for Knowledge Tracing, Yeung+, WWW17 CommentDeepなKnowledge Tracingの代表的なモデルの一つ。KT研究において、DKTと並んでbaseline等で比較されることが多い。DKVMNと呼ばれることが多く、Knowledge Trackingができることが特徴。モデルは下図の左側と右側に分かれる。左側はエクササイズqtに対する生徒 ... #Pocket#AdaptiveLearning#KnowledgeTracing
Issue Date: 2022-09-05 Applications of the Elo Rating System in Adaptive Educational Systems, Pelanek, Computers & Educations16 CommentElo rating systemの教育応用に関して詳細に記述されている ... #NeuralNetwork#AdaptiveLearning#LearningAnalytics#KnowledgeTracing
Issue Date: 2022-04-27 Estimating student proficiency: Deep learning is not the panacea, Wilson+, Knewton+, NIPS16 workshop CommentDKTの性能をBKTやPFA等の手法と比較した研究 #355 を引用し、DKTとBKTのAUCの計算方法の違いについて言及している ... #NeuralNetwork#LearningAnalytics#StudentPerformancePrediction
Issue Date: 2021-05-29 Back to the basics: Bayesian extensions of IRT outperform neural networks for proficiency estimation, Ekanadham+, EDM16 CommentKnewton社の研究。IRTとIRTを拡張したモデルでStudent Performance Predictionを行い、3種類のデータセットでDKT #297 と比較。比較の結果、IRT、およびIRTを拡張したモデルがDKTと同等、もしくはそれ以上の性能を出すことを示した。IRTはDKTと比べて ... #NeuralNetwork#LearningAnalytics#StudentPerformancePrediction#KnowledgeTracing
Issue Date: 2021-05-28 Going Deeper with Deep Knowledge Tracing, Beck+, EDM16 CommentBKT, PFA, DKTのinputの違いが記載されており非常にわかりやすい ![image](https://user-images.githubusercontent.com/12249301/119996969-310be080-c00a-11eb-84ce-631413ecaa4e.ちな ... #NeuralNetwork#LearningAnalytics#StudentPerformancePrediction#KnowledgeTracing
Issue Date: 2021-05-28 How Deep is Knowledge Tracing?, Mozer+, EDM16 CommentDKTでは考慮できているが、BKTでは考慮できていない4種類のregularityを指摘し、それらを考慮ようにBKT（forgetting, interactions among skills, incorporasting latent student abilities）を拡張したところ、DKT ... #Pocket#LearningAnalytics
Issue Date: 2021-07-05 Autonomously Generating Hints by Inferring Problem Solving Policies, Piech+, Stanford University, L@S15 #AdaptiveLearning#LearningAnalytics#DropoutPrediction
Issue Date: 2021-10-29 Predicting MOOC Dropout over Weeks Using Machine Learning Methods, EMNLP14 Workshop, Marius Kloft CommentEMNLP'14のWorkshop論文。引用数が120件とかなり多め。MOOCsのclickstreamデータから、numericalなfeatureを作成。SVMに食わせて学習し、Dropout Predictionを行なっている。 psychologyのMOOCコースからデータ収集。12週に渡 ... #AdaptiveLearning#KnowledgeTracing
Issue Date: 2022-07-27 Adapting Bayesian Knowledge Tracing to a Massive Open Online Course in edX, Pardos+, MIT, EDM13 Comment# Motivation MOOCsではITSとはことなり、on-demandなチュートリアルヘルプを提供しておらず、その代わりに、知識は自己探求され様々なタイプのリソースの冗長性によって提供され、システムを介して学生は様々な経路やリソースを選択する。このようなデータは、さまざまな条件下で学生の行 ... #CollaborativeFiltering#MatrixFactorization#StudentPerformancePrediction
Issue Date: 2021-10-29 Multi-Relational Factorization Models for Predicting Student Performance, Nguyen+, KDD Cup11 Comment過去のCollaborative Filteringを利用したStudent Performance Prediction (#426 など)では、単一の関係性（student-skill, student-task等の関係）のみを利用していたが、この研究では複数の関係性（task-required ... #NeuralNetwork#CollaborativeFiltering#MatrixFactorization#StudentPerformancePrediction
Issue Date: 2021-10-29 Collaborative Filtering Applied to Educational Data Mining, Andreas+, KDD Cup10 CommentKDD Cup'10のStudent Performance Predictionタスクにおいて3位をとった手法 メモリベースドな協調フィルタリングと、Matirx Factorizationモデルを利用してStudent Performance Predictionを実施。 最終的にこれらのモ ... #Article#Pocket#KnowledgeTracing
Issue Date: 2024-11-30 Dynamic Key-Value Memory Networks With Rich Features for Knowledge Tracing, Sun+, IEEE TRANSACTIONS ON CYBERNETICS, 2022.08 CommentKnowledge tracing is an important research topic in student modeling. The aim is to model a student’s knowledge state by mining a large number of exe! ... #Article#Dataset#Education#AdaptiveLearning#ScorePrediction
Issue Date: 2022-08-23 Score Prediction dataset #Article#NeuralNetwork#AdaptiveLearning#KnowledgeTracing
Issue Date: 2022-07-25 独立な学習者・項目ネットワークをもつ Deep-IRT, 堤+, 電子情報通信学会論文誌, 2021 Comment# モチベーション Deep-IRTで推定される能力値は項目の特性に依存しており、同一スキル内の全ての項目が等質であると仮定しているため、異なる困難度を持つ項目からの能力推定値を求められない。このため、能力パラメータや困難度パラメータの解釈性は、従来のIRTと比較して制約がある。一方、木下らが提案 ... #Article#AdaptiveLearning#LearningAnalytics#KnowledgeTracing
Issue Date: 2022-04-27 局所的変分法による非補償型時系列IRT, 玉野+ （持橋さん）, NEC+, 人工知能学会研究会資料 #Article#AdaptiveLearning#LearningAnalytics#Assessment
Issue Date: 2022-04-18 Assessment Modeling: Fundamental Pre-training Tasks for Interactive Educational Systems, Choi+, RiiiD Research, arXiv 2020 Comment# 概要 テストのスコアや、gradeなどはシステムの外側で取得されるものであり、取得するためにはコストがかかるし、十分なラベル量が得られない（label-scarce problem）。そこで、pre-training/fine-tuningの手法を用いて、label-scarce proble ... #Article#NeuralNetwork#AdaptiveLearning#StudentPerformancePrediction#KnowledgeTracing
Issue Date: 2021-10-29 Addressing Two Problems in Deep Knowledge Tracing via Prediction-Consistent Regularization, Yeung+, 2018, L@S CommentDeep Knowledge Tracing (DKT)では、下記の問題がある： 該当スキルに正解/不正解 したのにmasteryが 下がる/上がる （Inputをreconstructしない） いきなり習熟度が伸びたり、下がったりする（時間軸に対してmastery levelがcons実装: ht ... #Article#NeuralNetwork#LearningAnalytics#KnowledgeTracing
Issue Date: 2021-06-02 Deep Knowledge Tracingの拡張による擬似知識タグの生成, 中川+, 人口知能学会論文誌, 33巻, 33号, C, 2018 CommentDKTモデルは、前提として各問題に対して知識タグ（knowledge component）が付与されていることが前提となっている。しかし世の中には、知識タグが振られているデータばかりではないし、そもそもプログラミング教育といった伝統的な教育ではない分野については、そもそも知識タグを構造的に付与するこ ... #Article#Tutorial#Pocket#LearningAnalytics#StudentPerformancePrediction#KnowledgeTracing
Issue Date: 2021-05-30 The Knowledge-Learning-Instruction Framework: Bridging the Science-Practice Chasm to Enhance Robust Student Learning, Pelanek, User Modeling and User-Adapted Interaction, 2017 CommentLearner Modelingに関するチュートリアル。Learner Modelingの典型的なコンテキストや、KCにどのような種類があるか（KLI Frameworkに基づいた場合）、learner modeling techniques (BKTやPFA等)のチュートリアルなどが記載されている ... #Article#LearningAnalytics#StudentPerformancePrediction#KnowledgeTracing
Issue Date: 2021-05-30 Knowledge Tracing: Modeling the Acquisition of Procedural Knowledge, Corbett+, User Modeling and User-Adapted Interaction, 1995 CommentBayesian Knowledge Tracing (BKT)を提案した論文。Knowledge Tracingについて研究するなら必ず抑えておくべき。 以後、BKTを拡張した研究が数多く提案されている。![image](https://user-images.githubusercontent. ... #Article#Dataset#LearningAnalytics#StudentPerformancePrediction#KnowledgeTracing
Issue Date: 2021-05-29 Student Performance Prediction _ Knowledge Tracing Dataset #Article#NeuralNetwork#LearningAnalytics#StudentPerformancePrediction
Issue Date: 2021-05-29 Behavior-Based Grade Prediction for MOOCs Via Time Series Neural Networks, Chiang+, IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING, VOL. 11, NO. 5, AUGUST 2017 CommentMOOCsでの生徒のgradeを予測するモデルを提案。MOOCsでは生徒のassessmentに対するreponseがsparseで、かつpersonalizedなモデルが必要なため成績予測はチャレンジングなタスク。 lecture-video-watching clickstreams を利用しN ... #Article#NeuralNetwork#LearningAnalytics#StudentPerformancePrediction#KnowledgeTracing
Issue Date: 2021-05-28 EKT: Exercise-aware Knowledge Tracing for Student Performance Prediction, Hu+, IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, 2019 CommentDKT等のDeepなモデルでは、これまで問題テキストの情報等は利用されてこなかったが、learning logのみならず、問題テキストの情報等もKTする際に活用した研究。 #354 をより洗練させjournal化させたものだと思われる。 #354 ではKTというより、問題の正誤を予測するモデモデ ... #Article#AdaptiveLearning#StudentPerformancePrediction
Issue Date: 2018-12-22 Factorization Models for Forecasting Student Performance, Thai-Nghe+, EDM, 2011 Commentstudent performanceは、推薦システムの問題において、下記の２種類にcastできる： 1. rating prediction task, すなわち、ユーザ・アイテム・ratingを、生徒・タスク・パフォーマンスとみなす 2. sequentialなエフェクトを考慮して、foreTe ... #Article#Survey#AdaptiveLearning#LearningAnalytics
Issue Date: 2018-12-22 Educational Data Mining and Learning Analytics, Baker+, 2014 CommentRyan BakerらによるEDM Survey ...
Related Articles

- LLMServingに関する論文・技術記事メモの一覧 TOP NEW
- Temporalに関する論文・技術記事メモの一覧 TOP NEW
- GenerativeAIに関する論文・技術記事メモの一覧 TOP NEW
- GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧 TOP NEW