tags: [知识追踪, 2020 EDM Paper]
categories: [知识追踪, 2020 EDM Paper]

DMKT-Learning from Non-Assessed Resources: Deep Multi-Type Knowledge Tracing

ABSTRACT

最新的知识追踪方法大多使用学生在可评估的学习资源类型(如测验、作业和练习)中的表现来建模学生的知识，而忽略了非评估的学习资源。然而，许多学生活动是未经评估的，如观看视频讲座，参加论坛，阅读教科书的一节，所有这些都可能有助于学生的知识增长。在本文中，我们提出了第一个新颖的基于深度学习的知识追踪模型(DMKT)，该模型明确地模拟了学生在评估和非评估的学习活动中的知识转移。利用DMKT，我们可以发现每个非评估和可评估的学习材料的潜在概念，并更好地预测学生在未来评估的学习资源中的表现。我们在四个真实的数据集上将我们提出的方法与各种最新的知识跟踪方法进行了比较，显示了它在预测学生表现、表示学生知识和发现潜在领域模型方面的有效性。

INTRODUCTION

尽管学习资源类型具有异质性，但现有的学生知识追踪模型大多侧重于评估的学习资源，而忽略了非评估的学习资源。在评估的学习资源类型中，例如测验和作业，可以根据学生的答案和解决方案来评估他们的表现。这些类型的学习资源通过观察学生的表现提供了了解学生知识的窗口。相反，在非评价性学习资源中，如阅读材料和视频讲座，则不存在这样的观察。因此，在与这些学习资源互动的同时评估学生的知识和表现是一项艰巨的任务。

在本文中，我们认为，在追踪学生知识的情况下，建模非评估学习资料是必不可少的，也是不可缺少的。学生从各种类型的活动中学习，忽略大部分学生活动是学生知识追踪中错过的机会。特别是，以前的研究表明，使用各种学习活动类型对学生学习具有相当大的好处。因此，建模评估和非学校的学习活动应更准确地估计学生知识状态和对未来评估学习资源的表现预测。

因此，我们提出了深度多类型知识跟踪(DMKT)模型，该模型不仅跟踪学生在各种学习活动类型上的知识状态，而且为发现评估和非评估的学习资源的潜在模式或概念提供了一种可行的解决方案。为此，DMKT根据学生在学习活动上的表现，估计每两次连续的评估性学习活动之间的学生知识增长。同时，它在非评估的学习活动和最近评估的活动之间分配这一估计的知识增益。我们使用一种注意力机制来进行这种分配。因此，DMKT可以对每一种评估和非评估的学习资源的潜在概念进行建模，在与这些学习资源交互后评估学生的知识，并预测学生在评估的学习资源上的表现。

我们在四个真实数据集上对我们提出的模型进行了评估，结果表明不同学习资源类型的建模对学生成绩预测任务有显著的影响。此外，在DMKT使用各种学习资源类型的情况下，我们还通过可视化学生知识来展示DMKT的可解释性。最后，我们展示了DMKT在发现学习资源的相似性和潜在概念方面的能力。

总结：利用学生在多种类型学习资源上的学习活动能有效提高模型预测学生知识状态方面的性能

Going Online: A simulated student approach for evaluating knowledge tracing in the context of mastery learning

ABSTRACT

在智能教学系统(ITS)中嵌入了知识跟踪算法，用于跟踪学生的学习过程。虽然知识追踪模型已经在离线环境下得到了广泛的研究，但很少有人探索它们在在线环境中的用途。这主要是因为在课堂环境中进行评估和选择知识追踪模型的实验成本很高。为了填补这一空白，我们引入了一种使用机器学习模型来生成模拟学生的新方法。我们使用学徒学习架构（Apprentice Learner Architecture）生成的代理进行实验，以调查不同知识跟踪模型(贝叶斯知识跟踪、Streak模型和深度知识跟踪)的在线使用情况。对我们的模拟结果的分析发现，我们的贝叶斯知识跟踪模型的初始实现中存在一个错误，在我们之前的工作中没有发现这个错误。我们的模拟还揭示了深度知识追踪的一个更根本的局限性，该局限性阻碍了该模型支持对多步骤问题的掌握学习。总而言之，这两个发现表明，学徒代理（Apprentice agents）提供了一种在成本更高的课堂测试之前评估知识追踪模型的实用手段。最后，我们的分析发现，从人类数据估计的贝叶斯知识追踪参数与从模拟学习者估计的参数之间存在正相关。这表明，当没有人-学生数据可用时，可以使用模拟数据来初始化模型参数。

INTRODUCTION

我们的目标是了解哪些知识追踪模型在在线环境下产生最大的掌握学习效率。此外，我们还希望了解如何在收集人类数据之前选择知识跟踪模型的参数。为了满足我们研究知识溯源问题的多个实验的需要，我们引入了一种新颖的方法，使用学习的计算模型，即模拟学生模型，像人类学生一样从与导师的互动中学习，来模拟我们的知识溯源实验。我们使用Apprentice Learner架构，这是一个机器学习框架，旨在模拟人类如何从示例和反馈中学习，以生成模拟学生并进行实验。

为了探索这种方法的可行性，我们进行了实验，将贝叶斯知识跟踪(BKT)[2]与Streak模型[7]和深度知识跟踪(DKT)[15]进行了比较。我们的模拟显示，BKT和Streak在给出所有问题之前都会停下来，但BKT比Streak稍微更具攻击性，似乎认为学生掌握技能的时间比预期的要早一些。进一步检查后，我们的分析发现BKT的底层实现中存在一个错误(我们为本研究修复了该错误)。此外，我们发现DKT表现出奇怪的行为，这使得它在掌握学习和问题选择的某些情况下无法使用。DKT对掌握学习的这一限制在以前的工作中没有被发现。这些发现表明，在成本更高的课堂部署之前，模拟学生可能会在测试知识追踪模型方面发挥有价值的作用。

我们还探索了使用这些实验的模拟数据来估计BKT模型的初始参数。在收集人工数据之前，通常会将知识跟踪参数设置为合理的手工选择的默认值。一个更好的方法是对人类学生进行一项试点研究，为模型训练收集数据，这需要额外的时间和人力。我们的分析表明，从模拟数据估计的BKT参数与从人体数据估计的BKT参数之间存在正相关，表明可以使用模拟数据来初始化参数。

CONCLUSIONS AND FUTURE WORK

我们能够成功地应用模拟学生测试不同的知识追踪模型。当我们将三种知识追踪模型(BKT、Streak和DKT)与无知识追踪基线(Random)进行比较时，我们发现BKT给出的问题最少，Streak给出的问题第二少，随机给出的问题最多，DKT在一种问题类型中给出的问题几乎与随机的一样多，在其他两种问题类型中给出的问题最少。总的来说，我们发现BKT似乎是最有效的方法，但是Streak给出了合理的结果，尽管它很简单。通过使用模拟学生，我们还发现了BKT实施中的一些问题，以及DKT的一个基本问题。尽管BKT实现被广泛使用，并且最近对DKT模型进行了大量调查，但在以前的工作中没有发现这些问题。综上所述，这些结果支持了我们的初步主张，即模拟学生是调查和评估在线知识追踪方法的有效工具。

我们的分析还发现了证据支持这样的观点，即当没有人-学生数据可用时，可以使用模拟的学生数据来初始化BKT参数。特别是，我们发现，从模拟数据估计的BKT学习率与从人类数据估计的学习率有显著的相关性。虽然这些初步结果是有希望的，但还需要做更多的工作来进一步探索这些想法。具体地说，我们希望尝试运行人体实验，将使用模拟学生数据初始化的BKT模型与使用默认参数的BKT模型进行比较。一个令人惊讶的发现是，BKT Default的表现如此出色；尽管参数有些随意，但它比Streak更有效率。未来的工作应该探索如何手动为BKT选择健壮的默认值。

我们还有许多其他的未来方向想要探索。我们打算将学徒模型个性化，使其更好地模拟不同类型的学习者(例如，表现优异的学生和表现不佳的学生)、学习动机不同的学生以及患有学习障碍的学生的行为。我们还应该探索DKT的变体，以解决我们已经确定的问题，并使其能够在在线掌握学习中使用。最后，我们应该超越模拟，探索我们的模拟学生预测哪些知识追踪方法将为人类学生带来最好的学习效果。

总结：使用Apprentice Learner Architecture生成模拟学生来测试不同的知识追踪模型，以确定合适的模型参数

Knowledge Tracing Models’ Predictive Performance when a Student Starts a Skill

ABSTRACT

以前关于知识追踪模型准确性的研究通常会考虑所有学生行为的表现。然而，这种做法忽略了学生最初和后来对同一技能的尝试之间的差异。为了有效地用于掌握学习等用途，知识追踪模型应该能够在学生练习某项技能几次后推断出该技能的知识和表现。然而，模型的初始性能预测——在第一次尝试新技能时——有不同的含义。它表明一个模型在从学生在其他技能上的表现以及从学生遇到的第一个项目的难度和其他属性来推断学生在一项技能上的表现方面有多成功。因此，在评估知识追踪模型时，区分这两种情况下的预测可能是相关的。在本文中，我们在一个更精细的层次上描述模型性能，并检查在给定技能上，模型性能在学生实例数量上的一致性。我们的研究结果表明，与诸如动态键值存储网络的现代算法相比，诸如BKT(贝叶斯知识追踪)和PFA(性能因素分析)的经典算法之间的性能差异很大程度上归因于一项技能的首次尝试。当学生第三次尝试某项技能时，模型表现更具可比性。因此，虽然使用当代知识追踪算法有许多好处，但就掌握学习而言，它们可能没有以前想象的那么不同。

INTRODUCTION

这些算法之间的比较通常集中在衡量指标上，比较在适用于优秀学生的学习系统中，预测未来项目的总体成功。在这些比较中，通常会使用多个大型数据集，但性能会在整个数据集中平均考虑。然而，有一些理由认为这可能是一种令人担忧的做法。一方面，即使使用的数据集通常很大，如果所有技能的样本都很大，这些论文通常不会报告。库切[4]指出，对于较大的数据集，BKT参数估计比较小的数据集更精确。此外，Gervet [10]得出结论，基于逻辑回归的算法(如PFA)倾向于对大数据集进行欠采样，而基于深度学习的算法(如DKT)倾向于对大数据集进行过采样。

更令人担忧的是，学生建模中使用的许多数据集具有许多学生只遇到过一次或两次的技能，这可能是由于停顿[3]或很少标记的辅助技能。斯莱特和贝克[22]认为，除非有足够多的学生至少有三次机会练习每项技能，否则BKT模型无法可靠地适用。因此，大部分现有数据集可能反映了一种看似特殊的情况。事实上，对这些项目的准确预测很可能反映了与学生经过更多练习后的准确预测不同的东西。当一个学生还没有掌握一项技能时，预测他们在这一点上的表现就代表了所谓的“冷启动问题”——需要先有良好的表现，然后才能为当前的学生提供足够的数据[24]。在这些情况下，一些更新的算法可能比早期的算法表现得更好，要么是通过使用学生在其他技能上的表现信息，要么是特定项目的难度或其他属性信息。然而，这种更好的表现可能反映了一些不同于学生对当前正在学习的技能的知识。因此，在比较KT算法时，将冷启动情况(对于给定的学生和技能)与模型有足够数据自行估计当前技能的情况分开可能是有意义的。

CONCLUSION AND DISCUSSION

在过去几年中，人们对使用神经网络实现更高预测性能的知识追踪新变体的兴趣激增。然而，这项工作通常还没有探索这些算法何时何地表现更好，以及在实践中使用这些模型意味着什么。更具体地说，以前的实践对学生的整个学习历史进行了平均预测，忽略了一项技能的早期工作和后期工作之间的差异。

在这项研究中，我们考察了BKT、PFA和DKVMN三种KT模型在学生特定技能工作历史中的表现，并比较了这三种模型在最早和后来练习每种技能的机会中预测准确性的差异。将所有八个机会综合考虑，DKVMN在AUC和RMSE的表现都优于BKT和PFA。然而，dkwmn更好的表现似乎很大程度上是因为它对一项技能第一次尝试的初步预测，其中dkwmn的AUC比BKT高0.16，比PFA高0.13，RMSE好0.02-0.04。第一次尝试后，BKT和PFA的预测性能大幅提升，第三次尝试后，三种算法的模型性能变得更加接近，尽管DKVMN仍然略好。

结果表明，这些算法之间的性能差异在很大程度上是由于DKVMN通过使用当前技能掌握以外的因素来做出更准确的初始预测的能力，例如过去在其他技能上的表现和其他学生在同一项目上的表现。换句话说，算法之间的很大差异似乎是由于其他因素造成的，而不是从学生在该技能上的表现来估计他们对当前技能的掌握程度。在学生在特定技能[3]中途停学的数据集中，或者在系统构建后对技能模型进行添加或修改的数据集中，情况可能尤其如此。在这些情况下，许多学生/技能组合可能只出现一到两次，第一次尝试的性能相对较高会使DKVMN等模型的AUC和RMSE值膨胀。这就提出了一个问题：当学生看到一项新技能时，应用程序是为了在第一时间获得更好的知识预测。这种类型的预测改进对于决定学生下一步应该学习哪种技能的系统(即，[6，28])可能有用，但在具有学生要学习的技能的预定义顺序(即，[5，8])的系统中可能不太有用，并且学生在展示对当前技能的掌握之前不会继续学习。

总体而言，我们发现初步证据表明，与早期算法相比，DKVMN性能更好的一个关键因素是它在学生有重大机会学习一项技能之前的情况下的表现。这一结果导致了关于如何更好地评估KT算法的建议，并表明该算法对某些应用程序(决定学生下一步应该学习哪种技能)的好处可能比其他应用程序(决定学生是否已经掌握了他们正在学习的当前技能)更大。根据这项研究的结果，未来进行KT模型研究的研究可能会发现，将学生在一项技能上的初始表现和后来的表现分开计算是有用的；这将为研究人员提供更多关于他们的模型是如何工作的信息，以及他们最大的好处和潜力在哪里。

Behavioral Testing of Deep Neural Network Knowledge Tracing Models

ABSTRACT

知识追踪(KT)是一项在智能教学系统(ITS)中根据学生的课程互动对他们的知识进行建模的任务。最近，深度神经网络(DNN)在多个数据集基准上表现出了优于经典方法的性能。虽然大多数基于深度学习的知识跟踪(DLKT)模型都针对基准数据的准确性或AUC等一般目标指标进行了优化，但服务的正确部署需要额外的质量。此外，DNN模型的黑箱性质使得它们在遇到意外行为时尤其难以诊断或改进。在此背景下，我们采用软件工程中的黑盒测试/行为测试的思想，(1)定义期望的KT模型行为；(2)提出一个KT模型分析框架来诊断模型的行为质量。基于提出的框架，我们在7个数据集上使用三种最先进的DLKT模型对框架进行了测试。结果突出了数据集大小和模型体系结构对模型行为质量的影响。该框架的评估结果可以单独作为模型性能的辅助度量，也可以用于通过数据扩充、架构设计和损失公式进行模型改进。

INTRODUCTION

因此，基于深度学习的知识追踪(Deep Learning Based Knowledge Tracing，DLKT)模型并不经常在教育界实施，因为缺乏模型的可解释性带来了潜在的风险。在这项研究中，我们提出行为测试作为缓解这一问题的一种方法。这项工作的贡献概括如下：

• 提出了一种新的测试框架，通过对行为的测试来验证DLKT模型。我们的想法是定义DLKT模型所需要的一致和令人信服的行为。
• 作为应用该框架的一个例子，我们对所提出的验证框架中的三个最先进的DLKT模型进行了基准测试。积极的结果突出了DLKT模型的可靠性，鼓励了该模型的采用，而消极的结果则指出了DLKT模型的局限性，并显示了改进的空间。
• 我们介绍了利用该框架中的评估来设计和改进DLKT模型的方法。

  CONCLUSION

  在这项工作中，我们介绍了知识追踪模型所需的性质，并提出了一种新的基于深度学习的知识追踪模型验证框架(DLKT)。利用该框架，我们对三种流行的DLKT模型的行为特征进行了综合分析，并在7个不同的基准数据集中找出了它们的优缺点。我们相信，对该框架所诊断的优点和缺点的分析将对模型改进起到有用的指导作用。同样，基于建议框架的发现，定制采用符合数据性质和期望行为以及准确性的DLKT模型将成为可能。

我们认为未来可能的工作包括：(1)通过架构修改或模型组合来解决DLKT模型的不足；(2)使用类似于收敛测试中使用的聚合交互数据的虚拟边缘-案例数据来探索数据增强的益处；(3)将所提出的测试框架扩展到知识追踪(即学生成绩预测和项目推荐)之外。

LANA: Towards Personalized Deep Knowledge Tracing Through Distinguishable Interactive Sequences

尚未整理，好好看一看

Context-aware Knowledge Tracing Integrated with The Exercise Representati on and Association in Mathematics

ABSTRACT

在新冠肺炎的影响下，在线学习已经成为世界上最重要的教育形式之一。在智能教育时代，知识溯源(KT)可以为个性化教学提供优秀的技术支持。对于在线学习，我们提出了一种结合数学习题表示和习题关联的知识追踪方法(ERAKT)。在习题表示方面，利用本体替换方法、语言模型和嵌入技术对习题的公式、文本、关联概念等多维特征进行表示，从而得到习题的统一内部表示。此外，我们还利用双向长短记忆神经网络来获取运动之间的关联，从而预测他在未来运动中的表现。在真实数据集上的大量实验清楚地证明了ERAKT方法的有效性，也验证了加入多维特征和运动关联确实可以提高预测的准确性。

INTRODUCTION

但传统的知识追踪模型大多只考虑到了学生的做题序列，采用知识技能代替试题，忽视了试题公式、文本和知识技能对于学生的知识状态的影响。我们认为学生表现的影响因素除了做题序列之外，试题的多维信息均会对学生表现产生重要影响。因此，为了应对以上问题，本文提出了一种融入学生试题表示与关联的数学知识追踪模型，以此来解决传统知识追踪中忽视多维试题表示与关联所造成的信息损失问题，提高模型的准确性。本文贡献如下：

• 提出一种融合试题表示与关联的知识追踪模型，综合分析学生的做题序列、题目文本以及所包含的知识技能，来自动地学习预测他在下一次作答的表现情况以及对某一知识技能的掌握程度。
• 提出一种融合试题多维信息的表示技术，多维信息包括试题的文字文本、题目中的公式以及每个题目所关联的知识技能。
• 提出一种基于双向神经网络的序列试题关联挖掘技术，挖掘深层次的试题之间的关联内容。

  CONCLUSION AND DISCUSSION

  在本文中，我们提出了一个改进之后的融入试题表示与关联的深度知识追踪模型，通过这些来对学生的试题表现情况做以预测，同时也预测他对于知识技能的掌握熟练程度，从而来帮助教师动态地调整自己的教学计划，做到真正的因材施教。实验验证了我们模型的有效性和可靠性，经过大量的实际调研，我们的研究是现在所有的学校实际教学过程中迫切的需求。在未来的研究中，我们计划在模型中融入多个知识点的联系与影响，从而加强模型的效果，提高预测的准确性，并将其系统化的推广，方便老师们教学工作的进行。

  FUTURE WORK

  目前，我们的研究已经取得了阶段性成果，可以应用于实际的教学环境中，辅助教师进行教学活动。我们下一步的工作将集中在两个方面：(1)探索集成多个知识概念的知识跟踪模型，同时整合它们之间的序列关联。(2)系统地展示学生对各个知识概念的掌握情况。从而提高预测的准确性，系统推广，方便教师的教学工作。

  Effects of Algorithmic Transparency in Bayesian Knowledge Tracing on Trust and Perceived Accuracy

  ABSTRACT

  贝叶斯知识跟踪(Bayesian Knowledge Tracing，BKT)等知识跟踪算法可以为学生和教师提供有关他们实现学习目标的过程的有用信息。尽管BKT在研究界很受欢迎，但该算法在教育实践中并没有被广泛采用。这可能是由于用户的怀疑，以及如何向他们解释BKT以建立信任的不确定性。我们进行了一个预先登记的2x2调查实验(n=170)，以调查人们对BKT的态度，以及对算法的口头和视觉解释是如何影响这些态度的。我们发现，表面上的学习者更喜欢BKT，而不是更简单的算法，他们认为BKT更值得信赖，更准确，更复杂。提供BKT的口头和视觉解释提高了对学习应用程序的信心、对BKT及其感知的准确性的信任。研究结果表明，人们对BKT的接受度可能比预期的要高，特别是在提供解释的情况下。

  INTRODUCTION

  知识溯源可以让学生和教师实时了解学生已经学到了什么，以及他们还在努力学习什么[7]。它提供了可操作的见解，可以带来更好的教育结果[16]。在众多类型的知识追踪算法中，贝叶斯知识追踪(BKT)被建立并得到了最广泛的研究，谷歌学者对“贝叶斯知识追踪”的11.4万个结果就证明了这一点，其中自2020年以来发表了17500个结果。BKT已经过测试，以帮助学生自我监控他们的学习进度[4，23]，帮助教师了解学生尚未学到的内容[22]，并启用自适应学习技术，让学生跳过他们已掌握的内容[18]。与大量关于BKT的研究(包括数百篇致力于对原始模型[20]的增量增强的文章)相比，在实践中使用BKT的实际应用程序并不多。一些使用最广泛的K-12学习平台，如ASSISTments和Khan Academy，决定不使用BKT，转而使用更简单的模型，如N-连续正确答案(N-CCR)[13]。这就提出了在教育实践中采用知识追踪算法的障碍问题。特别是，BKT的相对复杂性和不透明性在多大程度上导致了它的缓慢采用？平台提供商可能会担心，教育者和学习者不会信任一种难以向他们解释的模型。

多年来，已经开发了大量的知识追踪算法，这些算法可以从如何向用户解释它们的经验证据中受益。人工智能的最新进展激发了对更复杂算法的研究，例如使用神经网络的深度知识追踪(DKT)[17，11]。随着更复杂的算法对其内部工作原理的洞察越来越少，理解人们对算法的信任及其感知的准确性如何影响对学习应用的有用性和可用性的感知变得更加重要[1]。除了BKT和DKT这两种适合建模理解和构思的学习模型外，还有逻辑斯蒂学习模型，如加性因素模型和绩效因素分析[5，19，20]，它们分别模拟记忆和流利性[20]。这两种类型的模型也可以集成到一个[15]中。虽然可以检验的模型类型很多，但我们选择了BKT算法作为一个例子，这种算法相对简单，在研究人员中也很受欢迎。

这项研究为解决三个重要的研究问题提供了因果证据。首先，在表面上高风险的测试场景中，人们更喜欢使用BKT或N-CCR(N-连续正确答案)来学习吗？第二，他们的偏好与特定的态度有什么关系，包括他们对学习系统做好测试的信心，他们对算法的信任，以及对算法的感知准确性？第三，口头和/或视觉解释如何影响人们对知识追踪算法的态度和偏好？我们用预先登记的2x2析因调查实验收集的数据来回答这些研究问题。

总结：偏实践应用，研究BKT算法透明度对其应用到学习系统中去的影响

pyBKT: An Accessible Python Library of Bayesian Knowledge Tracing Models

ABSTRACT

贝叶斯知识追踪是一种用于认知掌握程度估计的模型，已成为适应性学习研究的一个标志，也是部署的智能教学系统(ITS)的一个重要组成部分。本文简要介绍了知识追踪模型的研究历史，并从文献中介绍了pyBKT，一个可访问且计算效率高的模型扩展库。该库提供数据生成、拟合、预测和交叉验证例程，以及一个简单易用的数据助手接口来获取典型的导师日志数据集格式。我们评估了不同数据集大小的运行时，并与过去的实现进行了比较。此外，我们使用模拟数据的实验对模型进行了健全性检查，以评估其EM参数学习的准确性，并使用真实世界的数据来验证其预测，将pyBKT支持的模型变体与最初介绍它们的论文的结果进行了比较。该图书馆是开放源码和开放许可的，目的是使研究和实践社区更容易获得知识追踪，并通过更容易地复制过去的方法来促进该领域的进步。

INTRODUCTION

尽管它在研究界越来越受欢迎，但该模型及其文献中的许多变体的可访问和易于使用的实现仍然难以捉摸。在本文中，我们引入了一个基于Python的现代化库pyBKT，使BKT模型和相应的适应性学习研究更容易为社区所接受。该库的接口和底层数据表示具有足够的表现力，可以复制过去的BKT变体，并允许提出新的模型。图书馆设计有数据助手和模型定义功能，允许方便地复制和与BKT模型变体进行比较，从而更好地对新的最先进的知识追踪方法进行科学进展和评估。

CONCLUSIONS

我们展示了pyBKT是一个无缝安装的、高效的、可移植的Python库，具有模型扩展，如KT-IDEM、KT-PPS、BKT+遗忘、项目顺序效果和项目学习效果。PyBKT中的Model类抽象提供了一种表达方式，可以轻松地与BKT模型扩展交互，并使用一行方法创建、初始化、拟合、预测、评估和交叉验证BKT模型扩展的任何组合。我们测量到pyBKT的运行时间比它的前身xBKT快近3倍-4倍，比标准BKT实现BNT快近30,000倍。通过所给出的分析，我们确定了50个学生作为合理的学生数量，以实现收敛到具有任意平均学生序列长度的规范参数值，并将15个作为合理的序列长度，以降低最坏情况下掌握估计的准确性。最后，通过对实际数据集的分析，验证了模型实现的有效性，并与已建立的软件进行了比较，验证了模型实现的有效性。