本文发表于《数字教育》2024年第1期（总第55期）理论探索栏目，页码：19-25。转载请注明出处。
摘要
对学习者自我调节学习过程的准确评价，是实现教学干预的必要前提。然而，已有评价方法多为总结性评价，实时性不足。为此，本研究提出了数据驱动的自我调节学习动态评价模型。以学习任务为单位对学习过程进行时序化处理，并构建学习过程中生成性数据到自我调节学习状态的映射关系。研究结果表明：（1）生成性数据是评价学习者自我调节学习状态的有力因素，模型具有较高的有效性。（2）学习者的自我调节学习状态在不同评价维度呈现出差异性变化趋势，其中任务分析、自我激励的信念和自我观察维度趋于稳定，而自我控制、自我判断和自我反应3个维度呈现明显波动性变化。（3）高低绩效群体在自我激励的信念、自我控制和自我反应3个评价维度上表现出显著差异，而在任务分析、自我观察和自我判断有3个维度上没有统计学差异。
关键词：自我调节学习；生成性数据；指标体系；人工智能；学习分析
| 全文共8132字，建议阅读时长8分钟 |
引言
自我调节学习（Self-Regulated Learning,简称SRL）是指学习者积极激励自己并且使用适当策略的学习[1]。研究表明，对学习者自我调节学习进行实时、有效的评价，是发现学习者学习困难、制定针对性学习干预策略的基础[2]。目前，对自我调节学习评价的研究大多是学期末的问卷、访谈等静态评价、总结性评价，实时性不足[3]。但对学习者而言，学习就是一个自我调节学习的过程，对自我调节学习的实时动态评价是帮助学习者及时发现问题并保持较高学习动机的关键[4]。为此，如何实现对学习者自我调节学习的动态评价成为学界关注的热点。
本研究在巴里·J.齐默曼(Barry J. Zimmerman) [5]自我调节学习理论的基础上，构建了数据驱动的自我调节学习动态评价模型。以学习任务为单位对学习过程中的生成性数据进行时序编码，并利用人工智能技术挖掘生成性数据到自我调节学习状态的映射关系，然后对时序化的生成性数据进行连续映射，实现对学习者的自我调节学习状态的动态评价。最后，将模型应用于教学实践，对学习者的自我调节学习状态进行跟踪分析，并比较了高低绩效群体自我调节学习状态的差异性。
一、相关研究
（一）自我调节学习评价的进展
目前，关于自我调节学习的评价方法主要有两种，即自我报告法和数据分析法。其中，自我报告法指学习者利用口头（如访谈）或书面（如问卷）等形式对实时或一段时间内的学习过程进行汇报。克塞尼娅·维尔科娃（Kseniia Vilkova）[6]使用在线自我调节学习问卷OSLQ从目标设定、时间管理等6个维度对MOOC学习者进行自我调节学习状态测量，并验证了自我调节学习状态对辍学率的影响。兰国帅等[7]使用学习动机策略量表MSLQ测量了探究社区中学习者的自我调节学习状态，发现良好的自我调节学习有助于深度学习和知识建构的发生与发展。
数据分析法则是通过对学习过程中的操作行为、单元测试成绩等生成性数据进行挖掘与分析，实现对自我调节学习状态的自动评价。有研究者认为学习过程中的视频完成率、视频浏览时间、浏览的视频部分和视频拖动操作能够有效反映学生的自我调节学习状态[8]。何宇（He Yu）等[9]从交互行为角度将学习过程分为微观互动和高级互动，并通过逻辑回归等算法证实了微观互动是评价学生自我调节状态的有效指标。也有研究者从目标设定、学习策略计划等6个维度定义了自我调节学习状态，并利用惩罚性回归算法对MOOC学习者的学习时长、会话次数等生成性数据进行分析，实现对自我调节学习状态的评价[10]。
自我报告法因简单易行而被广泛应用，但反复测量会增加学习者的负担，而且易受到学习者主观意志的影响。数据分析法则解决了自我报告法的上述问题，然而，目前的数据分析法多是学期末的总结性评价，结果存在滞后性[3]。
（二）自我调节学习理论模型
理论模型对构建自我调节学习动态评价具有重要的理论支撑和指导作用。本研究采用巴里·J.齐默曼理论模型作为启动框架，该理论模型将自我调节学习分为事先计划、监控执行和自我反思3个阶段。①事先计划阶段：指学习者设定目标并规划自身的学习活动。该阶段包含任务分析和自我激励的信念两个维度。其中，任务分析是学习者对学习目标进行分解，建立个人目标结构和学习计划，并对学习资源进行组织和管理；自我激励的信念是学习者预感或期望学习的结果，调动自身积极性完成学习的动机与信念。②监控执行阶段：指学习者监控自身的学习过程，在需要时寻求帮助。该阶段包含自我控制和自我观察两个维度。其中，自我控制是学习者根据实际学习情况，对个人目标结构和学习计划进行调整和完善；自我观察指学习者对自我学习行为的频率或强度进行观察和记录的过程。③自我反思阶段：指学习者反思自身进展和使用的认知策略。该阶段包含自我判断和自我反应两个维度。其中，自我判断是学习者根据学习目标的达成情况，进行自我评价和探寻归因；自我反应是反思个人学习目标和学习计划是否合理、学习策略是否有效，并在后续学习中继续保持或修正。
二、数据驱动的自我调节学习动态评价模型
（一）模型建构
学习平台详细记录了大量的学习行为、测试成绩等生成性数据，为自我调节学习的动态评价提供了数据支持。人工智能技术能够利用非结构化数据挖掘出潜在的关联关系，为自我调节学习的动态评价提供了可行性技术支撑。为此，本研究在巴里·J.齐默曼理论模型的指导下，以生成性数据为基础，以学习任务为时序单位，引入神经网络算法，构建了数据驱动的自我调节学习动态评价模型，如图1所示。
模型包括3个核心部分：①指标体系建立。该体系包含评价指标体系和生成性数据指标两部分。其中，评价指标体系是将评价目标按照其本质属性分解为清晰的、可操作的结构，是评价的前提和基础；生成性数据指标则是分类选择能够表现评价目标的学习行为、绩效状态等生成性数据集合。②评价引擎训练。该部分是挖掘生成性数据和自我调节学习状态间的复杂映射关系，依据生成性数据获得学习者的自我调节学习状态。本研究提出了基于神经网络的评价引擎，该引擎的构建需要使用带标签（由自我报告产生）的生成性数据对神经网络进行训练。③自我调节学习动态评价。该部分包含数据采集与时序编码、动态评价两个核心步骤。其中，前者是收集目标学习者的生成性数据，并对数据中学习者的各类行为、状态等信息分别进行计算和时序编码；后者则是使用训练好的评价引擎对时序化的生成性数据进行分析，得到学习者在连续任务上的多维度自我调节学习状态，并绘制出自我调节学习状态的动态曲线。
（二）指标体系
依据理论模型，本研究将自我调节学习的评价指标体系划分为事先计划、监控执行、自我反思3个阶段和任务分析、自我激励的信念等6个评价维度，并参考何宇等[9]、勒内·基齐尔切克（René F. Kizilcec）等[10]的研究，分别为每个评价维度筛选了生成性数据指标。
第一，事先计划阶段。任务分析维度的生成性数据指标包含：查看课程说明频次、浏览大纲频次、查看学习目标频次、添加/修改学习目标频次、浏览资源结构/属性频次；自我激励的信念维度的指标包含：查看学习目标频次、浏览资源结构/属性频次、修改学习目标频次。
第二，监控执行阶段。自我控制维度的指标包含：修改学习目标频次、浏览资源结构/属性频次、浏览资源频次、浏览视频时间、登录平台时间、发贴数、回贴数、作业完成度；自我观察维度的指标包含：组织/查询资源频次、修改学习目标频次、查看登录时间频次、查看视频浏览时间频次、查看资源浏览频次、查看发/回贴数量频次。
第三，自我反思阶段。自我判断维度的指标包含：查看学习目标频次、测试成绩、测试频次、查看作业评价频次、查看测试成绩频次；自我反应维度的指标包含：视频浏览时间变化、作业完成度变化、登录平台时间变化、发贴数变化、回贴数变化、测试成绩、测试次数、添加/修改学习反思次数。
（三）基于神经网络的评价引擎
评价引擎的作用是依据生成性数据获得自我调节学习状态，为精准挖掘两者间的复杂变换关系，本研究构建了基于神经网络的评价引擎，如图2所示。神经网络算法拥有自学习、自组织和自适应的特性，可以充分挖掘生成性数据与自我调节学习状态间的深层次关系，能够有效提升目前评价研究中常用的线性回归等线性方法的准确性。
构建好的评价引擎可以通过输入生成性数据（如图2中fi，bi为偏置项，恒为1）得到自我调节学习状态（如图2中t）。但引擎的构建需要使用训练数据集（即带标签的生成性数据）进行模型训练，研究使用自我报告法为部分生成性数据产生标签（即自我调节学习状态），以此产生训练数据集。模型的训练主要包含3个主要步骤：
第一，前向计算。将生成性数据向前迭代，将数据映射到评价维度空间，以模拟从生成性数据到自我调节学习状态的复杂变换关系，如图2所示，按箭头方向逐步计算。前向计算包含线性计算和激活两步，计算方法如公式（1）所示。其中，Z表示某个神经元结点的线性运算结果，f（z）表示激活函数，本研究使用Sigmoid函数，表示权重向量（如图2中W1），是自然常数。
第二，数据输出。将经过前向计算的数据进行处理，得到输出（即自我调节学习状态），本研究选择分类中最大概率（使用Softmax函数计算）的状态值输出。如图2中神经网络分类概率为（对应输出值1～3），则最后的结果为最大概率（0.73）对应的输出分类值3。
第三，反向传播更新。依据计算结果与标签结果的差异，对正向传播过程进行调整，以使计算更加精确。反向传播更新包括误差表示、残差计算和权重更新3个子步骤。误差是输出结果和标签真实结果差异程度，本文中使用交叉熵损失函数表示；残差是反向传播的误差，利用误差的偏导数和前面一层进行加权求和；权重更新则是通过每个节点的残差值反向更新该节点与上一层中节点间的权重。3个子步骤的计算方法如公式（2）所示。其中，c表示误差，ei表示节点i的残差，wtij表示第t次迭代时节点i和j连接的权重，sj是输出层的最大输出值（即最大概率值，表明分类结果），Next(i)表示节点i右层神经元集合，wij是节点i和间j的权重系数，f'(i)表示激活函数的偏导数，xi表示节点的i输出值，η表示学习率，本文中取常数0.6。
（四）生成性数据的时序编码与动态评价
为实现自我调节学习的动态评价，需要以时间变量为主轴对学习过程进行分析。任务分析、自我判断等评价维度是基于时间的累积量，而非瞬时状态。为此，本研究提出以学习任务为单位对生成性数据进行时序化编码，以将连续的动态评价转换为离散的评价序列。然后，将每个学习任务对应生成性数据输入评价引擎，得到学习者在该学习任务中的自我调节学习状态。最后，将所有学习任务的自我调节学习状态进行连接和可视化，即可生成学习者在整个学习过程的动态评价。
生成性数据的时序化编码过程如下：①抽取生成性数据。对于数据库中的状态数据，如单元测试成绩等，直接读取学习者ID、学习任务号、数据值。对于日志中的行为数据，需要先分离出形如学习者ID、行为类型、行为目标、学习任务号、Session ID、时间戳的操作流，然后将同一事件对应的操作流相匹配，生成行为数据集。②数据清洗与编码。数据清洗是检查数据一致性，并处理无效值和缺失值；编码是将有效数据生成编码数据集，例如，将任务分析维度的生成性数据指标编码为ti，将自我反应维度的指标编码为rk。③建立学习过程映射。将状态数据与行为数据以学习者ID和学习任务号为主次关键字进行匹配关联，生成每个学习者的学习过程映射数据集。如学习者S1的学习过程映射为＜t11，t12，t13，…，r77，r78＞，其中，t12表示该学习者在学习任务1中t2生成性数据指标的值。
三、动态评价模型的实践应用
（一）应用情境
实践课程为某师范大学2020—2021学年春季“数据库技术及应用”课程，授课周期为18 周。课程使用“学习通”+“腾讯会议”的在线平台开展，前者为教学提供了资源管理、测试、学习计划、论坛等功能；后者则提供了实时互动课堂功能。参与研究的学生为教育技术学专业本科二年级学生，包括11名男生和45名女生，均具有在线学习经历。
（二）应用流程设计
课程分为关系数据理论、完整性约束等7个学习任务，每个学习任务均包括课前预习、课上讲解、课后练习3个阶段。课前预习是学生通过教师提供的学习资料自主学习；课上讲解是教师对重难点知识或共性问题进行讲解，并指导学生开展任务实践；课后加强则是课后完成复习、单元测试和课程作业。
此外，评价引擎的训练需要带标签（即自我调节学习状态）的训练集。为此，课程中的前3个学习任务要求学生使用自我报告法对当前任务的自我调节学习状态进行汇报，以生成训练数据集；后面的学习任务则使用训练好的评价引擎对学习者的自我调节学习状态进行评价。
（三）测量工具与方法
本研究中的自我报告所采用的量表，是依据“学习动机策略问卷使用手册(MSLQ)”和“大学生学习自主性量表”改编而成的[11-12]，包括事先计划、监控执行和自我反思3个大类和6个小类的内容，共42个项目。量表采用7级李克特评分，从完全不符合（1分）到非常符合（7分），量表的Cronbach系数为0.853，表明量表具有较高的可靠性和内部一致性。
（四）数据分析结果
1．模型的有效性分析
为验证动态模型的有效性，本研究从准确率、召回率和F1值3个方面对模型的评价结果进行了检测，结果表明，模型在3个阶段上的评价结果均较好。其中，在任务分析、自我控制和自我反应3个评价维度上，准确率、召回率和F1值均接近或大于70%（最低69.36%，最高80.64%），评价有效性较高；尽管在自我激励的信念、自我观察、自我评价3个评价维度上的结果稍差，但也均高于60%（最低62.08%），表明模型的评价结果亦可接受。此外，在6个评价维度上，模型评价结果和量表结果的Kappa一致性检验值均大于0.65，说明两者之间具有较好的一致性。综上，可以认为本研究提出的动态评价模型在自我调节学习6个评价维度上的评价结果是令人满意或可接受的。
2．自我调节学习状态动态分析
为探究学习者的自我调节学习动态变化趋势，本研究从事先计划、监控执行和自我反思3个阶段跟踪学习者的自我调节学习动态，并对所有学习任务的数据进行了方差分析，结果如表1所示。
事先计划阶段。由表1可知：第一，任务分析状态基本呈现平稳态势（p＝0.564＞0.05），表明在教师的指导下，学生能较好地理解学习目标和策略。第二，任务分析状态在学习任务1和6上的均值稍低，表明学习内容的抽象程度对学生的任务分析状态有一定影响；前者是学期开始，学生对新内容较陌生；后者的学习内容是数据库设计范式，内容抽象。第三，自我激励的信念状态虽有一定波动，但整体上仍然表现稳定（p＝0.71＞0.05）。第四，学习内容难度对自我激励的信念存在滞后性影响，学习任务1、3和6的难度较高，导致学生在下一学习任务开始时信心降低，其中，学习任务3为SQL语句。虽然内容具体，但逻辑性较强。
监控执行阶段。由表1可知：第一，学生的自我控制状态会随着学习任务的不同产生明显差异性（p＝0.040＜0.05），结合学习任务的难度，可知越是知识点繁冗和困难的任务，需要学生投入的自我控制精力越多。第二，对于困难的学习任务6，学生的自我控制状态虽然较高，但未达到期望值。第三，学生的自我观察状态评分值较低且整体表现稳定（p＝0.994＞0.05），表明学生对学习过程的关注整体较少；另外，学生对学习过程的观察较难反馈到平台数据中，也会对该方面的评价产生一定影响。
自我反思阶段。由表1可知：第一，学生的自我判断状态随着学习内容呈现明显波动趋势（p＝0.004＜0.05），较难的学习任务（1、3、6）会导致较低的自我判断状态，表明学习任务的难度对学生的自我判断具有较大的影响。第二，学生的自我反应状态同样随着学习内容呈现明显波动（p＝0.017＜0.05），学习任务1、3、6同样对应较低的自我反应状态。第三，学生自我反应状态的评价包含适应/防御，是学生对前一学习任务的反应，因此，该维度缺少任务1的评价。
3．高低绩效群体自我调节状态的动态变化
为了进一步揭示自我调节学习状态与学习绩效的关系，本研究采用t检验对高低绩效组的自我调节学习状态进行比较。其中，最终考核成绩高于70分的作为高绩效者（H），低于70分的则为低绩效者（L）。
事先计划阶段。在任务分析维度，高低绩效群体没有显著差异（t＝0.530，p＝0.606＞0.05），说明学生对学习目标的定位和学习策略的设计均比较清晰；而在自我激励的信念维度上，高低绩效群体则呈现出显著差异（t＝2.777，p＝0.024＜0.05），结合均值（MeanH＝5.50＞MeanL＝5.34）可知，高绩效组能更长时间地对学习内容保持兴趣，也具有更高的自我效能感。
监控执行阶段。在自我控制维度，高低绩效群体存在极显著差异（t＝3.474，p＝0.007＜0.01），结合具体的评价值发现，对于较难的学习任务（如学习任务6），高绩效组会表现出更积极努力的状态（如MeanH6＝5.81＞MeanL6＝5.11）；在自我观察维度上，高低绩效群体没有表现出显著差异（t＝1.338，p＝0.368＞0.05），两组的自我观察状态均随着学习的进行而呈现出下降趋势。
自我反思阶段。在自我判断维度，高低绩效群体未表现出显著差异（t＝0.224，p＝0.826＞0.05），结合均值发现，两组均处于较低水平；在自我反应维度上，高低绩效群体表现出显著差异（t＝2.270，p＝0.049＜0.05），结合均值和方差数据可知，高绩效组在整个学习过程中具有较高的自我调节能力且相对更稳定（MeanH＝5.32＞MeanL＝5.12, SDH＝0.124＜SDL＝0.172），特别是在面临困难的学习任务时表现得尤为明显。
四、总结与讨论
本研究提出了数据驱动的自我调节学习动态评价模型，通过挖掘学习过程中的生成性数据实现学习者的自我调节学习动态评价。与以往研究不同的是，本研究提出使用学习任务对学习过程进行时序划分，实现了连续动态评价的离散化转换。另外，本研究使用神经网络算法拟合生成性数据与自我调节学习状态间的复杂变换关系，提升了拟合的准确度。
研究虽然为自我调节学习的动态跟踪提供了可行性解决方案，为智能辅导系统（ITS）和个性化教学干预等提供重要的决策支撑，但仍存在一定的局限性。比如，模型仅使用了学习者的在线生成性数据作为评价依据，评价在准确度、召回率等有效性上仍有进一步的提升空间。
参考文献：
[1]李文昊,任晓曈,朱希雅，等.认知弹性设计下自我调节学习行为影响学习成绩的机制研究[J].电化教育研究,2022,43(2):64-71.
[2]杨春梅,张文兰.境外网络环境下自我调节学习研究的热点、趋势及启示[J].数字教育,2022,8(3):86-92.
[3]ARAKA E, MAINA E, GITONGA R, et al. Research trends in measurement and intervention tools for self-regulated learning for e-learning environments-systematic review (2008—2018) [J]. Research and Practice in Technology Enhanced Learning, 2020, 15: 1-21.
[4]孙培勇.“双减”政策背景下培养学生自我调节学习能力的实施策略[J].数字教育,2022,8(6):63-68.
[5]ZIMMERMAN B J. Becoming a self-regulated learner: an overview[J]. Theory into Practice, 2002, 41(2): 64-70.
[6]VILKOVA K, SHCHEGLOVA I. Deconstructing self-regulated learning in MOOCs: in search of help-seeking mechanisms[J]. Education and Information Technologies, 2021, 26: 17-33.
[7]兰国帅,钟秋菊,郭倩，等.自我效能、自我调节学习与探究社区模型的关系研究：基于网络学习空间中开展的混合教学实践[J].中国电化教育,2020(12):44-54.
[8]VAN ALTEN D C D, PHIELIX C, JANSSEN J, et al. Effects of self-regulated learning prompts in a flipped history classroom[J]. Computers in Human Behavior, 2020, 108: 106318.
[9]YU H, HARPER S, VIGO M. Modeling micro-interactions in self-regulated learning: a data-driven methodology[J]. International Journal of Human-Computer Studies, 2021, 151: 102625.
[10]KIZILCEC R F, PEREZ-SANAGUSTIN M, MALDONADO J J. Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses[J]. Computers & Education, 2017, 104: 18-33.
[11]PINTRICH P R, SMITH D A F, GARCIA T, et al. Reliability and predictive validity of the Motivated Strategies for Learning Questionnaire (MSLQ)[J]. Educational and Psychological Measurement, 1993, 53(3): 801-813.
[12]谢家树.大学生学习自主性量表的初步编制及试测[D].长沙: 湖南师范大学,2004.
作者简介：
孔维梁（1985— ），男，山东曲阜人，博士，讲师、硕士生导师，研究方向为教育人工智能；
张俊凯（1997— ），男，河南焦作人，硕士研究生，研究方向为教育人工智能；
韩淑云（1982— ），女，河南安阳人，博士研究生，研究方向为教育评价与测量，系本文通信作者；
叶海智（1963— ），男，河南洛阳人，博士，教授、博士生导师，研究方向为教育评价与测量。
扫码订阅《数字教育》杂志
喜欢就点个赞吧！返回搜狐，查看更多
