中国科学技术大学神经网络和端到端训练框架探索教育情境对学生能力的影响该框架，自适应学习信息在不同教育情境下的量化影响，结合现有的认知诊断方法工作，提高诊断结果。家长教育水平与学生成绩有关吗？家庭条件和学校资源对学生能力的影响有多大？课堂气氛、教师态度和学生学习效果之间的关系是什么？让我们跟随中国科学技术大学智慧教育课题组刘奇教授，一起探寻相似的教育情境信息如何影响学生的能力！论文地址：https://doi.org/10.1145/3447548.3467264项目地址：github.com/bigdata-ustc/ECD研究组主页：base.ustc.edu.cn/EducationalSituationandCognitiveDiagnosis与学生学习过程相关的情境信息（如学习习惯、父母教育、家庭情况等），称为教育情境信息；在教育领域，这些情境信息对于理解教育过程和解决教育问题（如教学安排、教育公平等）非常重要。意义。图1：教育情境、学生能力与学生成绩在智慧教育中，认知诊断是一项基本且必要的工作；它收集学生信息（通常是回答问题等行为记录）和试题信息（如试题文本），以推断学生当前的知识状况。如图所示，学生选择部分题目进行练习，得到相应的答案记录。每道试题都包含具体的知识点；通过认知诊断，可以得出学生对不同知识点的掌握情况。例如学生答对了试题e_1，而e_1中包含知识点“细菌”，那么诊断表明学生对知识点“细菌”的掌握程度较高（如0.8等），这反映在诊断报告的雷达图中靠近外侧的蓝线。认知诊断结果可作为后续教育资源推荐、学生成绩预测、学习分组等智慧教育应用的支撑。背景语境信息或语境信息目前广泛应用于信息检索相关领域（如推荐系统、网络搜索、广告等），它们反映了一个普遍的心理学常识：语境信息往往会影响人的内在特征。影响人的外在表现。例如，在推荐系统中，上下文信息可以通过影响用户的内在偏好来引导用户的消费行为。在教育领域，教育情境信息影响学生的知识状态，进而反映在学生的练习和答题结果中。传统教育学对教育情境信息的讨论由来已久。他们主要延续实证研究的思路（假设-收集-实验分析-得出结论），首先获取学生的分数或能力作为衡量标准，然后通过主成分分析、线性回归等方法分析其作用教育情境信息。其中，学生成绩具有可比性，要求学生做同样的练习。因此，在大规模情境信息分析中，往往采用基于传统认知诊断理论的学生能力作为衡量方法。认知诊断的研究可以追溯到教育心理学领域，代表作有项目反应理论（IRT）。近年来，随着人工智能和智慧教育的兴起，作为智慧教育应用的基础任务之一，基于机器学习和深度学习的认知诊断方法得到广泛研究。其中，经典著作是拓展多维项目反射理论。多维项目反应理论(MIRT)和神经认知诊断(NeuralCD)，这是一种使用神经网络学习认知功能的框架。然而，目前的认知诊断工作往往只关注测试相关信息的挖掘（如试题的知识点矩阵、知识点与测试文本的关系等），而很少关注教育意义。与学生学习过程相关的情境信息。此外，虽然利用认知诊断结果可以在一定程度上解决教育情境信息分析中的可比性问题，但传统教育研究方法仍存在误差传递、难以量化影响等问题。在此背景下，本研究提出了教育情境感知的认知诊断框架，期望利用神经网络和端到端的训练框架自适应学习不同教育情境信息的量化影响，结合现有的认知诊断工作方法，以提高诊断结果。教育情境意识的认知诊断1.问题定义假设学习系统中有N个学生，T个情境信息问题和M个习题。学生题集、情景题集、练习题集。学生的情境信息记录表示为三元组R_q；答案记录表示为集合R_e，其中r_q和r_e分别是学生s对情境问题q的答案和练习e的分数。给定学生的记录，本研究的目标是通过学生成绩预测的过程得到学生对知识点的掌握程度。2.情境意识的认知诊断框架几乎所有传统的认知诊断方法都包括学生参数、测试项目参数、学生与测试项目的交互函数三部分，其合理性已被大量工作验证。一般来说，学生的回答过程可以形式化为，其中，分别表示学生的知识状况和与实践相关的参数（如难度、知识点），F是认知函数，r是学生的表现。学生的知识状态可以进一步表示为：其中C为情境信息输入，H为情境影响函数，分别表示情境影响的外显特征和历史学习情境影响学生的内在特征，G表示学生特征到知识状态函数的映射。该研究提出了一个两阶段框架：教育情境建模阶段和诊断强化阶段。首先，在教育情境建模阶段，研究提出采用分层注意力网络对情境输入对学生知识状态的外部影响表示进行建模，即对情境影响函数H进行建模。具体网络结构为在下一节中介绍。其次，在诊断强化阶段，该研究将学生参数（学生知识状态）形式化为受情境信息影响的显性特征和受历史学习情境影响的内在特征（映射函数G）的调和。其中，d_t是学生id映射的权重参数，由网络学习得到。这样，上下文信息表示可以扩展现有的认知诊断方法（认知函数F）。本研究扩展了经典IRT、MIRT和NeuralCD方法在认知诊断领域的应用。图3：ECD模型框架3.情境信息建模教育情境信息主要包括以下特征：内容复杂性、个体差异性、内在关联性。内容的复杂性是指教育情境信息输入的内容包含丰富的来源。个体差异意味着同一情境信息对学生的影响会因人而异。例如，虽然情境信息“接受辅导”对学生的影响总体上是积极的，但对勤奋学生的影响往往比贪玩学生更明显（因为贪玩学生很可能不努力学习，因此不能充分利用这种积极的条件）。内在相关性是指不同上下文信息之间可能存在的相互作用。例如，“家庭条件”也可能影响“接受辅导”的效果。鉴于上述特点，本研究首先将上下文信息输入按照内容分为不同的组别，分别对它们的影响进行建模。其次，该研究利用注意力机制来计算学生特征与情境信息之间的相关性，从而自适应地学习不同情境信息对学生的影响权重。接下来，该研究使用自注意力机制模块来模拟不同输入之间的交互。图4：嵌入层和上下文过滤层具体来说，上下文建模网络包括四层网络结构：嵌入层、上下文过滤层、上下文交互层和上下文聚合层。在embedding层，本研究将每个情境信息输入r_q映射为情境影响向量c^v和情境特征向量c^k，将学生id输入t映射为个性向量x_t。在过滤层，对于某组情境信息的不同输入，本研究使用学生性格表征x_t作为attention机制中的query查询，使用情境特征表示c^k和情境影响表示c^v分别作为attention机制中的keykey和valuevalue。通过计算学生的性格表征x_t与情境特征表征c^k的余弦相似度作为学生与特定情境输入的相似度，然后分配不同情境输入在组中的影响力c^v，权重组的情境特征c^k，从而可以得到每组情境输入的影响表示v和特征表示k。图5：Context交互层和Context聚合层在交互层。同样，本研究将每组情境的影响表示v和特征k表示分别作为self-attention机制中的value和key，从而得到交互后各组情境输入的影响组用v'表示，特征用k'表示。最后，在聚合层，本研究仍然使用人格表示x_t作为attention机制中的query查询，将每组上下文输入的影响表示v'和特征表示k'作为self中的value和key-注意力机制，分别。key，从而聚合每组情境输入，得到情境输入对学生影响的最终表征。实验使用的数据来自国际学生评估计划（PISA）（以下简称PISA2015）2015年公开数据集，包含来自79个国家和地区学生的问卷数据和答案数据。PISA项目是世界经济合作组织（OECD）组织的国际学生评估项目，包括专家设计的与教育状况信息相关的学生问卷数据和数学、科学、阅读等学科的学生试题答案数据。PISA2015的主要内容测试科目是科学，因此实验使用学生对科学测试的反应数据。根据地区，研究从PISA2015的科学答案数据中提取了三个数据集，即亚洲、欧洲和美洲。具体的数据预处理可以参考论文内容。下表显示了数据集的统计信息。表1：数据集统计1.学生表现预测学生真实知识点熟练度标签不可用，因此本研究采用间接的方法来衡量诊断结果的准确性，即用学生的诊断结果来预测学生的非知识点熟练度标签。training数据中测试项目的得分，这也是传统认知诊断模型的常规做法。研究实验的基线包括两类，一类是没有上下文信息强化的传统认知目标模型（如NeuralCD、IRT和MIRT），另一类是基于研究的两阶段框架，使用传统的上下文建模网络（如DeepFM和NeuralFM网络）来模拟上下文信息的影响。实验结果如下表所示。本研究的ECD-NeuralCD、ECD-IRT和ECD-MIRT模型在数据集的不同区域与两类基线相比取得了更大的改进。另外，随机模型（random）在不同数据集上的AUC在0.5左右，验证了数据集的样本分布是合理的。表2：StudentPerformancePrediction2.AblationExperiment为了证明上下文建模网络结构的合理性，本研究在上下文建模网络中使用求和层而不是每个网络层进行了消融实验，结果如下所示在下表中。网络任何一层的替换都会降低最终的实验性能，其中聚合层的影响最为明显。表3：消融实验3.参数解释实验为了进一步说明模型的可解释性，研究还进行了以下参数解释实验：人格向量可视化实验、过滤层注意力模块可视化实验、上下文信息影响关于显性特征权重的统计实验。1）人格向量可视化实验本研究首先使用t-SNE对学生的人格向量进行降维，可视化为散点；然后对于每个散点，根据学生在练习中的平均得分率（0~1）进行染色，如图所示进行可视化。可以看出，学习到的人格向量的分布与学生的平均得分率，这也符合研究人员的直觉。图6：学生人格向量可视化分析2）过滤层注意力模块的可视化本研究选取了部分学生情境输入的注意力权重进行可视化，其中NO.0~4的学生为低分的学生平均得分率，NO。5~9的学生得分率较高。研究人员还在图中可视化了相应的情境输入代码（对于相同的情境信息，输入更大的代码意味着它对学生的知识状态有更积极的影响）。从“Books”信息的横向对比可以看出，得分率低的学生侧重于相对消极的输入，得分率高的学生侧重于相对积极的输入；可以得出类似的结论。这表明注意力模块确实模拟了情境信息与学生性格之间的相关性。图7：注意力可视化3）情境影响的权重本研究统计了不同ECD模型实现和ECD-MIRT某些领域中各种学生参数的分布。结果表明，大部分d_t在0.5（0.4~0.6）左右，说明情境信息的显性特征和学生历史学习情境的内在特征均对学生的最终知识状态产生重要影响。图8：上下文权重分析4.区域对比实验最后，本研究根据不同内容在聚合（contextaggregation）层的上下文影响的注意力权重，统计每个学生top-3中重要的上下文信息，并划分他们进入地区的统计数据如下表所示。其中有一些有趣的发现，教育资源的上下文信息在所有地区都很重要，例如家庭条件（HomeESCS）和信息和通信技术（ICT）相关的上下文（PS：美国地区缺乏这部分的上下文信息）.中韩地区会关注父母的教育水平。研究人员推测，这可能与中韩两国相似的高考制度和氛围有关。欧美地区更关注与学校学习相关的“学校学习”和“教师态度”，而亚洲地区关注度较低。研究人员推测，这可能与教学模式和教学目标的差异有关。表4：不同地区关注的情境信息随着智慧教育的兴起，认知诊断理论得到了广泛的研究和发展。认知诊断结果可为教育情境信息分析提供灵活的测量指标。然而，传统教学法实证研究的思路存在难以量化和误差传递等缺点，不适用于当前多学科、大规模的数据场景。基于端到端的网络框架，利用教育情境信息辅助认知诊断，进而分析教育情境信息的作用，是一个值得探索的方向。
