# わたしのべんきょうノート

## 勉強した論文や技術等の情報をGithubのIssueにメモっているひとのブログ。 それなりにメモの量が蓄積されてきたので、一度整理したいなと思いブログはじめてみました！ 自然言語処理(NLP), 推薦システム(RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多いと思います。 最近は特にLLMにお熱 :)

Jan 3, 2025 AkihikoWATANABE About 37 mins

Light

Dark

## KnowledgeTracing

#NaturalLanguageGeneration#NLP#Education#AdaptiveLearning#Personalization#QuestionGeneration
Issue Date: 2023-07-14 Adaptive and Personalized Exercise Generation for Online Language Learning, ACL23 Summary本研究では、オンライン言語学習のための適応的な演習生成の新しいタスクを研究しました。学習履歴から学生の知識状態を推定し、その状態に基づいて個別化された演習文を生成するモデルを提案しました。実データを用いた実験結果から、学生の状態に応じた演習を生成できることを示しました。さらに、教育アプリケーションでの利用方法についても議論し、学習の効率化を促進できる可能性を示しました。 CommentKnowledge Tracingで推定された習熟度に基づいて、エクササイズを自動生成する研究。KTとNLGが組み合わさっており、非常におもしろい。 ... #NeuralNetwork#AdaptiveLearning#EducationalDataMining
Issue Date: 2022-08-26 Using Neural Network-Based Knowledge Tracing for a Learning System with Unreliable Skill Tags, Karumbaiah+, （w_ Ryan Baker）, EDM22 Comment超重要論文。しっかり読むべき# 一言で言うと KTを利用することを最初から念頭に置いていなかったシステムでは、問題に対して事後的にスキルをマッピングする作業が生じてしまい、これは非常に困難なことが多い。論文中で使用したアメリカの商用の数学のblended learningのシステムのデータでは、途中 ... #Pocket#AdaptiveLearning
Issue Date: 2022-08-10 No Task Left Behind: Multi-Task Learning of Knowledge Tracing and Option Tracing for Better Student Assessment, An+, RiiiD, AAAI22

#Pocket#AdaptiveLearning
Issue Date: 2022-08-02 Interpretable Knowledge Tracing: Simple and Efficient Student Modeling with Causal Relations, Minn+, AAAI22 CommentDeepLearningを用いずに解釈性の高いKTモデルを提案。DKT, DKVMN, AKT等をoutperformしている。 ... #Survey#Pocket#AdaptiveLearning#EducationalDataMining
Issue Date: 2022-08-02 Knowledge Tracing: A Survey, ABDELRAHMAN+, Australian National University, arXiv22 #NeuralNetwork#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2022-04-28 Empirical Evaluation of Deep Learning Models for Knowledge Tracing: Of Hyperparameters and Metrics on Performance and Replicability, Sami+, Aalto University, arXiv22 CommentDKTの説明が秀逸で、元論文では書かれていない分かりづらいところまできちんと説明してくれている。 （inputは(スキルタグ, 正誤)のtupleで、outputはスキルタグ次元数のベクトルyで、各次元が対応するスキルのmasteryを表しており、モデルのtrainingはnext attempt入 ... #AdaptiveLearning
Issue Date: 2022-08-31 Challenges to Applying Performance Factor Analysis to Existing Learning Systems, Cristina+ （w_ Ryan Baker）, ICCE21 Commentいまだにほとんどの商用のAdaptive LearningシステムではBKTが使われている。その理由について概要が書いてある。 BKTについて実アプ李ケーションに応用した際にどういう性質があるかを検証した文献へのリファレンスが存在する ... #NeuralNetwork#Pocket#EducationalDataMining
Issue Date: 2022-08-31 Behavioral Testing of Deep Neural Network Knowledge Tracing Models, Kim+, Riiid, EDM21 #NeuralNetwork#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2022-05-02 Learning Process-consistent Knowledge Tracing, Shen+, SIGKDD21 CommentDKTでは問題を間違えた際に、対応するconceptのproficiencyを下げてしまうけど、実際は間違えても何らかのlearning gainは得ているはずだから、おかしくね？というところに端を発した研究。 student performance predictionの性能よりも、Knowle# ... #NeuralNetwork#Pocket#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2022-04-28 BEKT: Deep Knowledge Tracing with Bidirectional Encoder Representations from Transformers, Tian+ （緒方先生）, Kyoto University, ICCE21 CommentKTにBERTを利用した研究 #453 などでDeepLearningBasedなモデル間であまり差がないことが示されているので、本研究が実際どれだけ強いのかは気になるところ。 ... #NeuralNetwork#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2022-04-28 Do we need to go Deep? Knowledge Tracing with Big Data, Varun+, University of Maryland Baltimore County, arXiv21 Commentデータ量が小さいとSAKTはDKTはcomparableだが、データ量が大きくなるとSAKTがDKTを上回る。 ![image](https://user-images.githubusercontent.com/12249301/165698674-279a7e0c-6429-48db-8c ... #NeuralNetwork#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2022-04-27 A Survey of Knowledge Tracing, Liu+, arXiv21 Comment古典的なBKT, PFAだけでなくDKT, DKVMN, EKT, AKTなどDeepなモデルについてもまとまっている。 ![image](https://user-images.githubusercontent.com/12249301/165438026-70f407c9-8eb2-43c3 ... #AdaptiveLearning#EducationalDataMining
Issue Date: 2022-08-29 Extending Deep Knowledge Tracing: Inferring Interpretable Knowledge and Predicting Post-System Performance, Richard+ （w_ Ryan Baker）, ICCE20 Comment# 概要 ざっくりとしか読めていないが DeepLearningBasedなKT手法は、latentな学習者の知識を推定しているわけではなく、「正誤」を予測しているだけであることを指摘 → 一方BKTはきちんとlatent knowledgeがモデリングされている - ... #Pocket#AdaptiveLearning
Issue Date: 2022-08-17 Deep Knowledge Tracing with Transformers, Shi+ （w_ Michael Yudelson）, ETS_ACT, AIED20 CommentTransformerでKTした研究。あまり引用されていない。SAINT, SAINT+と同時期に発表されている。 ... #Tools#Library#AdaptiveLearning#EducationalDataMining
Issue Date: 2022-07-27 pyBKT: An Accessible Python Library of Bayesian Knowledge Tracing Models, Bardrinath+, EDM20 CommentpythonによるBKTの実装。scikit-learnベースドなinterfaceを持っているので使いやすそう。# モチベーション BKTの研究は古くから行われており、研究コミュニティで人気が高まっているにもかかわらず、アクセス可能で使いやすいモデルの実装と、さまざまな文献で提案されている多くの変 ... #NeuralNetwork#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2022-04-28 When is Deep Learning the Best Approach to Knowledge Tracing?, Theophile+ （Ken Koedinger）, CMU+, JEDM20 Comment下記モデルの性能をAUCとRMSEの観点から9つのデータセットで比較した研究 DLKT DKT SAKT FFN Regression Models IRT PFA DAS3H Logistちなみに、一つのアイテムに複数のKCが紐づいている場合 ... #NeuralNetwork#Pocket#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2022-04-27 Context-Aware Attentive Knowledge Tracing, Ghosh+, University of Massachusetts Amherst, KDD20 Commentこの論文の実験ではSAKTがDKVMNやDKTに勝てていない ... #NeuralNetwork#MachineLearning#AdaptiveLearning#EducationalDataMining
Issue Date: 2022-07-22 Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory, Chun-Kit Yeung, EDM19 Comment# 一言で言うと DKVMN #352 のサマリベクトルf_tと、KC embedding k_tを、それぞれ独立にFully connected layerにかけてスカラー値に変換し、生徒のスキルごとの能力パラメータθと、スキルの困難度パラメータβを求められるようにして、解釈性を向上させた研究。# ... #NeuralNetwork#Pocket#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2022-04-28 Knowledge Tracing with Sequential Key-Value Memory Networks, Ghodai+, Research School of Computer Science, Australian National University, SIGIR19 #NeuralNetwork#GraphConvolutionalNetwork#Education#EducationalDataMining
Issue Date: 2021-07-08 GRAPH-BASED KNOWLEDGE TRACING: MODELING STUDENT PROFICIENCY USING GRAPH NEURAL NETWORK, Nakagawa+, Tokyo University, WI19 Commentgraph neural networkでKnoelwdge Tracingした論文。各conceptのproficiencyの可視化までしっかりやってそう。 ... #Pocket#EducationalDataMining
Issue Date: 2021-07-04 Learning to Represent Student Knowledge on Programming Exercises Using Deep Learning, Wang+, Stanford University, EDM17 CommentDKT #297 のPiechも共著に入っている。 プログラミングの課題を行なっている時（要複数回のソースコードサブミット）、 1. 次のexerciseが最終的に正解で終われるか否か 2. 現在のexerciseを最終的に正解で終われるか否か を予測するタスクを実施 ... #NeuralNetwork#EducationalDataMining#StudentPerformancePrediction
Issue Date: 2021-05-28 Dynamic Key-Value Memory Networks for Knowledge Tracing, Yeung+, WWW17 CommentDeepなKnowledge Tracingの代表的なモデルの一つ。KT研究において、DKTと並んでbaseline等で比較されることが多い。DKVMNと呼ばれることが多く、Knowledge Trackingができることが特徴。モデルは下図の左側と右側に分かれる。左側はエクササイズqtに対する生徒 ... #Pocket#AdaptiveLearning#EducationalDataMining
Issue Date: 2022-09-05 Applications of the Elo Rating System in Adaptive Educational Systems, Pelanek, Computers & Educations16 CommentElo rating systemの教育応用に関して詳細に記述されている ... #NeuralNetwork#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2022-04-27 Estimating student proficiency: Deep learning is not the panacea, Wilson+, Knewton+, NIPS16 workshop CommentDKTの性能をBKTやPFA等の手法と比較した研究 #355 を引用し、DKTとBKTのAUCの計算方法の違いについて言及している ... #NeuralNetwork#EducationalDataMining#LearningAnalytics#StudentPerformancePrediction
Issue Date: 2021-05-28 Going Deeper with Deep Knowledge Tracing, Beck+, EDM16 CommentBKT, PFA, DKTのinputの違いが記載されており非常にわかりやすい ![image](https://user-images.githubusercontent.com/12249301/119996969-310be080-c00a-11eb-84ce-631413ecaa4e.ちな ... #NeuralNetwork#EducationalDataMining#LearningAnalytics#StudentPerformancePrediction
Issue Date: 2021-05-28 How Deep is Knowledge Tracing?, Mozer+, EDM16 CommentDKTでは考慮できているが、BKTでは考慮できていない4種類のregularityを指摘し、それらを考慮ようにBKT（forgetting, interactions among skills, incorporasting latent student abilities）を拡張したところ、DKT ... #AdaptiveLearning#StudentPerformancePrediction
Issue Date: 2021-10-29 General Features in Knowledge Tracing: Applications to Multiple Subskills, Temporal Item Response Theory, and Expert Knowledge, Brusilovsky+, EDM14 CommentBKTでは1種類のスキルしか扱えなかった問題を改善（skillだけでなく、sub-skillも扱えるように） 様々なFeatureを組み合わせることが可能実装：https://github.com/ml-smores/fast ただし、GPL-2.0ライセンス ... #Pocket#AdaptiveLearning
Issue Date: 2022-08-31 Properties of the Bayesian Knowledge Tracing Model, BRETT VAN DE SANDE, JEDM13 #AdaptiveLearning#EducationalDataMining
Issue Date: 2022-07-27 Adapting Bayesian Knowledge Tracing to a Massive Open Online Course in edX, Pardos+, MIT, EDM13 Comment# Motivation MOOCsではITSとはことなり、on-demandなチュートリアルヘルプを提供しておらず、その代わりに、知識は自己探求され様々なタイプのリソースの冗長性によって提供され、システムを介して学生は様々な経路やリソースを選択する。このようなデータは、さまざまな条件下で学生の行 ... #AdaptiveLearning
Issue Date: 2022-08-31 More Accurate Student Modeling through Contextual Estimation of Slip and Guess Probabilities in Bayesian Knowledge Tracing, Ryan Baker+, ITS08 CommentBKTのModel Degeneracy問題について言及されている Model Degeneracy: parameterの値がモデルのconceptualな意味合いを破ってしまうこと たとえば、学習者がスキルを知っている場合よりも、知らない場合に正答を得る可能性が高 ... #AdaptiveLearning
Issue Date: 2022-09-12 Using Knowledge Tracing to Measure Student Reading Proficiencies, Joseph+, ITS04 Comment英語の音読に関してKTを適用した話が記載されている スキルの定義はgrapheme=>phoneme mappingsとして定義されるっぽい ch は /CH/ と発音する場合(e.g. Charles)もあれば /K/ の場合もある(e.g. Chaos) ch=>/CH/, ch= ... #AdaptiveLearning
Issue Date: 2022-08-17 Modeling individualization in a bayesian networks implementation of knowledge tracing, Pardos+ （w_ Neil T. Heffernan）, UMAP00 Comment# モチベーション BKTでは、全ての生徒が共通のprior knowledge（各スキルに対する習熟度）を持っていることを仮定しており、生徒ごとの事前情報を導入することが許されていない。そこで、個々の生徒のprior knowledge parameterを導入することで予測精度の向上を実現した ... #Article#Pocket#EducationalDataMining
Issue Date: 2024-11-30 Dynamic Key-Value Memory Networks With Rich Features for Knowledge Tracing, Sun+, IEEE TRANSACTIONS ON CYBERNETICS, 2022.08 CommentKnowledge tracing is an important research topic in student modeling. The aim is to model a student’s knowledge state by mining a large number of exe! ... #Article#AdaptiveLearning
Issue Date: 2022-08-17 KT-IDEM: Introducing Item Difficulty to the Knowledge Tracing Model, Pardos+ （w_ Neil T. Heffernan）, UMAP11 Comment# モチベーション computer educationやassessmentのモデルでは項目困難度を考慮している。たとえば、Computer Adaptive Testing (CAT) で利用されるIRTは項目ごとの難易度パラメータを学習する。難易度パラメータの学習がstudent perfo ... #Article#NeuralNetwork#AdaptiveLearning#EducationalDataMining
Issue Date: 2022-07-25 独立な学習者・項目ネットワークをもつ Deep-IRT, 堤+, 電子情報通信学会論文誌, 2021 Comment# モチベーション Deep-IRTで推定される能力値は項目の特性に依存しており、同一スキル内の全ての項目が等質であると仮定しているため、異なる困難度を持つ項目からの能力推定値を求められない。このため、能力パラメータや困難度パラメータの解釈性は、従来のIRTと比較して制約がある。一方、木下らが提案 ... #Article#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2022-04-27 局所的変分法による非補償型時系列IRT, 玉野+ （持橋さん）, NEC+, 人工知能学会研究会資料 #Article#NeuralNetwork#AdaptiveLearning#EducationalDataMining#StudentPerformancePrediction
Issue Date: 2021-10-29 Addressing Two Problems in Deep Knowledge Tracing via Prediction-Consistent Regularization, Yeung+, 2018, L@S CommentDeep Knowledge Tracing (DKT)では、下記の問題がある： 該当スキルに正解/不正解 したのにmasteryが 下がる/上がる （Inputをreconstructしない） いきなり習熟度が伸びたり、下がったりする（時間軸に対してmastery levelがcons実装: ht ... #Article#Tools#AdaptiveLearning#StudentPerformancePrediction
Issue Date: 2021-10-29 HMM Scalable （Bayesian Knowledge Tracing; BKT） CommentBKTを高速で学習できるツール 3-clause BSD license ... #Article#NeuralNetwork#EducationalDataMining#LearningAnalytics
Issue Date: 2021-06-02 Deep Knowledge Tracingの拡張による擬似知識タグの生成, 中川+, 人口知能学会論文誌, 33巻, 33号, C, 2018 CommentDKTモデルは、前提として各問題に対して知識タグ（knowledge component）が付与されていることが前提となっている。しかし世の中には、知識タグが振られているデータばかりではないし、そもそもプログラミング教育といった伝統的な教育ではない分野については、そもそも知識タグを構造的に付与するこ ... #Article#Tutorial#Pocket#EducationalDataMining#LearningAnalytics#StudentPerformancePrediction
Issue Date: 2021-05-30 The Knowledge-Learning-Instruction Framework: Bridging the Science-Practice Chasm to Enhance Robust Student Learning, Pelanek, User Modeling and User-Adapted Interaction, 2017 CommentLearner Modelingに関するチュートリアル。Learner Modelingの典型的なコンテキストや、KCにどのような種類があるか（KLI Frameworkに基づいた場合）、learner modeling techniques (BKTやPFA等)のチュートリアルなどが記載されている ... #Article#EducationalDataMining#LearningAnalytics#StudentPerformancePrediction
Issue Date: 2021-05-30 Knowledge Tracing: Modeling the Acquisition of Procedural Knowledge, Corbett+, User Modeling and User-Adapted Interaction, 1995 CommentBayesian Knowledge Tracing (BKT)を提案した論文。Knowledge Tracingについて研究するなら必ず抑えておくべき。 以後、BKTを拡張した研究が数多く提案されている。![image](https://user-images.githubusercontent. ... #Article#Dataset#EducationalDataMining#LearningAnalytics#StudentPerformancePrediction
Issue Date: 2021-05-29 Student Performance Prediction _ Knowledge Tracing Dataset #Article#NeuralNetwork#EducationalDataMining#LearningAnalytics#StudentPerformancePrediction
Issue Date: 2021-05-28 EKT: Exercise-aware Knowledge Tracing for Student Performance Prediction, Hu+, IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, 2019 CommentDKT等のDeepなモデルでは、これまで問題テキストの情報等は利用されてこなかったが、learning logのみならず、問題テキストの情報等もKTする際に活用した研究。 #354 をより洗練させjournal化させたものだと思われる。 #354 ではKTというより、問題の正誤を予測するモデモデ ...
Related Articles

- Assessmentに関する論文・技術記事メモの一覧 TOP NEW
- ReadingComprehensionに関する論文・技術記事メモの一覧 TOP NEW
- BeamSearchに関する論文・技術記事メモの一覧 TOP NEW
- Extractiveに関する論文・技術記事メモの一覧 TOP NEW