1. 论文基本信息

1.1. 标题

人工智能工具对电子学习环境中学生表现的影响：案例研究 (The Influence of Artificial Intelligence Tools on Student Performance in e-Learning Environments: Case Study)

1.2. 作者

• Mohd Elmagzoub Eltahir (1,2)
• Frdose Mohd Elmagzoub Babiker (3)
  • 1 院校：阿治曼大学人文与科学学院 (College of Humanities and Sciences, Ajman University, UAE)
  • 2 院校：阿治曼大学人文与社会科学研究中心 (Humanities and Social Sciences Research Center, Ajman University, UAE)
  • 3 院校：阿治曼大学工程与信息技术学院 (College of Engineering and Information Technology, Ajman University, UAE)

1.3. 发表期刊/会议

该论文的 DOI (Digital Object Identifier) 为 $10.34190/ejel.22.9.3639$，这表明它发表于《欧洲电子学习杂志》 (European Journal of e-Learning, EJEL)。这是一个专注于电子学习领域研究的期刊。

1.4. 发表年份

2024年

1.5. 摘要

本研究调查了人工智能 (AI) 驱动的个性化学习工具对阿治曼大学 (Ajman University) 职前教师 (pre-service student teachers) 在教育技术课程中的学业表现和感知的影响。该课程是教学专业研究生文凭项目 (Professional Postgraduate Diploma in Teaching program) 的必修组成部分。研究采用了准实验设计 (quasi-experimental design)，其中实验组有55名学生，对照组有55名学生。实验组在 Moodle 平台内使用了 AI 驱动的工具，而对照组则接受传统教学。研究通过前测 (pre-test) 和后测 (post-test)、基于量规 (rubric-based) 的评估以及问卷 (questionnaire) 来评估学生的表现、知识保留 (knowledge retention)、批判性思维 (critical thinking)、动机 (motivation) 和参与度 (engagement)。统计分析显示，两组之间存在显著差异，实验组在学业表现和知识保留方面表现更优。此外，实验组学生展现出更高水平的批判性思维、动机和参与度。这些发现强调了 AI 驱动的个性化学习工具在教师教育中的变革潜力。通过将 AI 整合到教育实践中，机构可以通过提供个性化教学、智能辅导 (intelligent tutoring)、自动化评分 (automated grading) 和自适应学习体验 (adaptive learning experiences) 来革新电子学习。这可以提高学生的参与度、改善学习成果，并减轻教育工作者的工作量。最终，AI 赋能机构创建更有效和更具包容性的学习环境，以满足学生的多样化需求，并为他们的未来做好准备。

1.6. 原文链接

/files/papers/69399012a90c4b49441f2e9b/paper.pdf

2. 整体概括

2.1. 研究背景与动机

当前时代是一个技术飞速发展和变革的时代，教育领域也不例外。人工智能 (AI) 被视为推动教育革命的关键力量，能够革新传统的教学实践，提供动态、沉浸式和定制化的学习体验。现有研究表明，AI 在个性化学习、自适应反馈和数据分析方面具有巨大潜力，但仍存在挑战，例如教师对 AI 的担忧、学生对变革的态度以及如何在教师教育项目中有效整合 AI 的问题。特别是在职前教师的培训中，如何利用 AI 工具提升他们的学业表现、培养批判性思维，并激发他们对新兴教育技术的兴趣，是当前教育技术领域亟待解决的问题。

本文的动机在于填补现有研究的空白，即缺乏对 AI 工具整合到教师教育课程中对职前教师学业表现和认知的全面考察。通过引入 AI 驱动的个性化学习工具，研究旨在探讨这些工具能否显著提升职前教师的知识掌握、批判性思维能力、学习动机和课堂参与度，并了解他们对这些工具的总体看法。这不仅有助于优化教师教育课程设计，也为未来教育体系中更广泛地应用 AI 提供实证支持。

2.2. 核心贡献/主要发现

本研究的核心贡献在于通过严谨的准实验设计，提供了职前教师在电子学习环境中使用 AI 驱动工具的实证证据，证明了其在多个关键维度上的积极影响。

主要发现如下：

• 学业表现显著提升： 实验组学生的学业表现和知识保留能力显著优于对照组，表明 AI 驱动的工具能有效促进知识的获取和巩固。

• 批判性思维能力增强： 实验组学生在批判性思维方面表现出更高水平，尤其是在撰写论文和设计模型方面。这得益于 AI 工具提供的辅助和反馈。

• 学习动机和参与度提高： 实验组学生展现出更高的学习动机和课堂参与度，他们认为 AI 工具提供了个性化学习机会，激发了探索创新教学方法的热情。

• 积极的感知态度： 职前教师普遍对 AI 驱动的教育工具持积极态度，认为它们能够提供创新解决方案、满足多样化学习需求，并有助于培养面向未来的技能。

• 性别差异不显著： 在对 AI 工具的感知方面，研究未发现明显的性别差异。

  这些发现强调了 AI 在教育领域，特别是教师教育中的变革潜力，为教育机构整合 AI 技术以创建更有效、更具包容性的学习环境提供了重要参考。

3. 预备知识与相关工作

3.1. 基础概念

为了充分理解本研究，需要掌握以下几个基础概念：

• 人工智能 (AI, Artificial Intelligence)： 论文中引用 Fetzer (1990) 的定义，AI 是“研究如何使机器表现出智能，解决问题并在人类需要智能才能实现目标的复杂情境中达成目标”。McCarthy (2007) 补充说，AI 是“制造智能机器，特别是智能计算机程序的相关科学与工程”。简单来说，AI 旨在让机器模仿甚至超越人类的智能行为，例如视觉感知、语音识别、从数据中学习模式并据此做出决策。
• 电子学习 (e-Learning)： 指通过电子媒介（如互联网、计算机网络等）进行的学习活动。它通常涉及在线课程、数字学习资源和虚拟学习平台，允许学生在时间和地点上拥有更大的灵活性。本文研究的是在电子学习环境下，AI 工具如何影响学生的表现。
• 准实验设计 (Quasi-experimental Design)： 一种非随机分组的实验研究设计。与真正的实验设计不同，研究者不能随机地将参与者分配到实验组或对照组，而是利用现有的群体（例如，本研究中的两个不同班级）进行比较。尽管如此，研究者仍会尽力控制混淆变量，以推断因果关系。这种设计在教育研究中很常见，因为它在实际教学环境中更容易实施。
• 布鲁姆认知域分类法 (Bloom's Cognitive Domain Taxonomy)： 由 Benjamin Bloom 等人于20世纪50年代提出的一种教育目标分类系统。它将认知学习目标分为六个层次，从低到高依次是：记忆 (Knowledge/Remembering)、理解 (Comprehension/Understanding)、应用 (Application)、分析 (Analysis)、评估 (Evaluation) 和创造 (Creation)。本研究使用该分类法来设计成就测试，确保测试题目能够覆盖不同认知层次的学习目标。
• 李克特量表 (Likert Scale)： 一种常用的心理测量量表，用于衡量人们对某种陈述或问题的态度、意见或感知程度。它通常提供一系列有序的响应选项，如“强烈同意”、“同意”、“中立”、“不同意”和“强烈不同意”，并为每个选项赋予数值（例如1到5分）。本研究使用李克特量表来评估学生的动机、参与度和对 AI 工具的看法。
• ADDIE 模型 (ADDIE Model)： 这是一个在教学设计领域广泛使用的框架，代表了教学系统设计的五个阶段：分析 (Analysis)、设计 (Design)、开发 (Development)、实施 (Implementation) 和评估 (Evaluation)。它提供了一个结构化的方法来创建有效的学习和培训解决方案。
• ASSURE 模型 (ASSURE Model)： 另一个教学设计框架，特别关注教学媒体和技术的使用，包括：分析学习者 (Analyze Learners)、陈述目标 (State Objectives)、选择方法、媒体和材料 (Select Methods, Media, and Materials)、利用媒体和材料 (Utilize Media and Materials)、要求学习者参与 (Require Learner Participation) 和评估与修改 (Evaluate and Revise)。这两个模型在本研究中被用于评估学生对教学设计模型的理解和应用能力。

3.2. 前人工作

论文在“1.3 Previous Studies”部分总结了多项相关研究，为本文的研究奠定了基础并指出了研究空白：

• AI 增强教学与学习： Kuleto 等 (2020) 和 Ocaña-Fernández 等 (2019) 的研究探讨了 AI 在高等教育中增强教学和学习的潜力，例如通过自适应学习技术、AI 驱动的聊天机器人和自动化任务评估。这些研究强调了 AI 个性化学习体验和智能辅导的能力，以及大学为学生准备技术先进未来所需发展的数字能力。
• AI 在特定领域的应用：
  • Anamalai 等 (2020) 调查了学生使用聊天机器人学习英语的动机，发现聊天机器人能支持能力、自主性和相关性，但也存在缺乏情感环境和信息不准确的问题。
  • Ijaz 等 (2017) 和 Bogdanovych 和 Trescaket (2017) 的研究指出，AI 能够增强学生的批判性思维技能。
  • Li (2023) 发现 AI 辅助语言教学能显著提升中国 ESL (English as a Second Language) 学习者的语言成就、动机和自我调节学习能力。
  • Suhartoyo (2017) 使用 AI 技术预测高中生的学业成就，表明 AI 能有效预测学习成果并降低辍学率。
• 教师对 AI 的态度和担忧： Zhang 和 Aslan (2021) 考察了职前教师对 AI 的接受度，发现他们认识到 AI 在学习个性化和替代教师方面的潜力，但同时也对使用 AI 系统感到焦虑。Bahja 和 Kuhail (2023) 在加纳的研究也证实了职前教师对 AI 的复杂看法，既有积极的感知，也有使用 AI 的焦虑。
• 现有研究的不足： 尽管前人研究普遍支持 AI 对教育的积极影响，但论文指出，现有文献缺乏对 AI 整合到教师教育项目中的全面考察，特别是在测量 AI 对职前教师学业表现、批判性思维、动机和参与度等方面的具体影响，以及他们对这些工具的感知。

3.3. 技术演进

AI 在教育领域的技术演进体现在从最初的计算机辅助教学 (CAI) 到智能辅导系统 (ITS)，再到当前 AI 驱动的个性化学习平台和工具。早期 CAI 主要是将教材数字化，提供练习和反馈。智能辅导系统则更进一步，尝试模拟人类教师的教学过程，根据学生的学习进度和困难提供个性化指导。随着机器学习和大数据技术的发展，现代 AI 在教育中的应用变得更加复杂和强大：

• 个性化学习路径： AI 算法能够分析学生的学习数据，识别他们的学习风格、强项和弱项，从而提供定制化的学习内容和路径。

• 自适应反馈和评估： AI 工具可以实时提供即时反馈，并根据学生表现调整任务难度，实现自动化评分和知识点掌握程度的评估。

• 智能内容创建和推荐： AI 可以辅助生成学习材料，并向学生推荐相关的学习资源。

• 聊天机器人和虚拟导师： 基于自然语言处理 (NLP) 的聊天机器人可以回答学生问题，提供学习支持，甚至作为虚拟导师进行互动。

• 学习分析 (Learning Analytics)： AI 能够处理大量的学习数据，识别模式，帮助教师更好地理解学生表现，并做出数据驱动的教学决策。

  本文的工作正处于这一演进的最新阶段，利用了如 ChatGPT 和 Kahoot! 等先进的 AI 驱动工具，在实际的电子学习环境中，针对职前教师这一特定群体，深入研究 AI 的实际影响。

3.4. 差异化分析

本文的研究与前人工作的主要区别和创新点在于：

• 研究对象聚焦： 多数现有研究关注普通学生或特定技能学习者（如语言学习），而本文则专门针对职前教师这一关键群体。职前教师是未来教育的塑造者，他们对 AI 的接受度、使用能力和对其潜力的认识，将直接影响 AI 在教育领域的推广和实施。

• 综合性评估维度： 本研究不仅关注学业表现和知识保留，还深入考察了批判性思维、学习动机、课堂参与度以及学生对 AI 工具的感知等多个维度。这种多角度的评估提供了更全面的视角。

• 准实验设计： 采用实验组和对照组的准实验设计，在实际的电子学习环境中进行，而非仅仅是问卷调查或定性研究，提供了更强的因果推断能力。研究在自然发生的班级中进行，虽然不能完全随机分组，但预测试和人口统计数据的均衡性增强了结果的可靠性。

• 具体 AI 工具的应用： 研究整合了多种具体的 AI 驱动工具，如 ChatGPT (基于 OpenAI 的 GPT-3)、Studiosity 和 Kahoot!，并详细描述了它们在课程中的应用方式（例如，ChatGPT 辅助学习计划和材料生成，Studiosity 提供写作反馈，Kahoot! 用于游戏化学习）。这使得研究结果更具操作性和指导意义。

• 在教师教育课程中的整合： 论文将 AI 工具整合到教育技术课程中，这门课程本身旨在教授学生如何利用技术进行教学。因此，AI 工具的应用不仅是学习辅助，也是课程内容的一部分，有助于培养职前教师的技术素养。

  通过这些差异化，本研究旨在为 AI 在教师教育中的有效整合提供坚实的实证基础，并为政策制定者和教育实践者提供可操作的见解。

4. 方法论

4.1. 方法原理

本研究的核心原理是采用准实验设计 (quasi-experimental design) 来评估 AI 驱动的个性化学习工具对职前教师学业表现和感知的影响。这种设计通过比较一个接受 AI 工具干预的实验组和一个接受传统教学的对照组来探究因果关系。由于在真实教育环境中通常难以实现完全随机分组，准实验设计通过选择现有班级作为实验组和对照组，并通过前测 (pre-test) 和人口统计数据分析来确保两组在研究开始时具有可比性，从而尽可能地控制混淆变量，增强研究结论的有效性。研究在阿治曼大学 (Ajman University) 的电子学习环境（Moodle 平台）中进行，课程内容为《教育技术》。

4.2. 核心方法详解

本研究的方法论严格遵循科学研究流程，包含研究设计、参与者选择、样本量确定、数据收集工具开发与验证、AI 工具实施以及统计分析。

4.2.1. 研究设计

研究采用了准实验设计，而非真正的实验设计，因为参与者没有被随机分配。取而代之的是，研究利用《教育技术》课程的两个不同班级作为研究对象。

• 实验组： 55名学生，整合了 AI 驱动的工具进行学习。

• 对照组： 55名学生，接受传统教学方法，不使用 AI 工具。

  盲法设计 (Blind design)： 参与者并不知道他们被分配到了哪个组，以确保其反应的无偏性。 课程内容： 两组学生学习相同的内容——《教育技术》课程的第四单元。 时间框架： 研究于2023-2024学年秋季学期在阿治曼大学进行，从2023年9月至2024年1月。 数据收集： 涉及前测、后测以及用于评估学业表现和对 AI 整合感知的问卷调查。

下图（原文 Figure 1）展示了研究的实验设计：

该图像是一个流程图，展示了研究中参与者的分组和教学方法。参与者首先进行预测，实验组使用基于AI的学习工具，而对照组采用传统教学法。随后通过问卷评估动机和参与感，进行后测和数据分析，最终得出结果与结论。

图 1: 研究的实验设计 (Experimental design of the study)

4.2.2. 参与者

共有110名职前教师参与了研究，他们均注册了《教育技术》课程。这些学生被分为两组，每组55人。参与者的纳入标准是：在特定学期注册该课程并愿意参与研究。没有应用额外的排除标准。

4.2.3. 样本量确定

样本量使用 G*Power 软件 确定。计算结果表明，要检测中等效应量 (Cohen's $d = 0.5$)，在 $70\%$ 的统计功效 (power) 和 0.05 的显著性水平下，至少需要102名参与者（每组51人）。研究最终使用了110名参与者，并额外考虑了10%的辍学率，确保了样本量的充足性。

4.2.4. 数据收集工具

研究采用了成就测试、问卷和量规三种数据收集工具。

4.2.4.1. 成就测试 (Achievement test)

• 目的： 评估 AI 驱动工具对学生学业成就的影响。

• 内容： 基于《教育技术》课程第四单元的内容开发。

• 结构： 包含20道多项选择题和3道错误答案（干扰项）。答对得1分，答错不扣分。

• 设计依据： 基于布鲁姆认知域分类法 (Bloom's cognitive domain taxonomy) 制定了规格表，确保测试覆盖不同认知层次。

  以下是原文 Table 1 的结果，展示了后测（成就测试）的规格表：

  Topics	# of Hours	Weight of topics	Bloom's Taxonomy						Total
  			20	20	M	Aflae	20	20
  Instructional design - General concepts	2	16.67%	2	2	0	0	0	0	4
  Instructional design Theories	4	33.33%	2	2	1	0	1	0	6
  Instructional design Process	2	16.67%	0	1	0	1	0	0	2
  Instructional design Models -ADDIE Model	2	16.67%	0	0	1	1	1	1	4
  Instructional design Models -ASSURE Model	2	16.67%	0	0	1	1	1	1	4
  Total	12	100%	4	5	3	3	3	2	20

4.2.4.2. 问卷 (Questionnaire)

• 目的： 评估参与者对实验方法（AI 驱动工具）的看法，特别是关于动机和参与度。

• 结构： 最初包含26个项目 (items)，经过 Lawshes (1975) 的内容效度比 (CVR, Content Validity Ratio) 评估后，保留了20个项目。问卷分为两部分：第一部分收集人口统计数据，第二部分包含李克特量表项目。

• 李克特量表 (Likert Scale)： 采用5点量表，从“强烈不同意”到“强烈同意”进行评分。

  以下是原文 Table 2 的结果，展示了李克特量表的选项：

  Options	Ordinal	Extent of Average
  Strongly Disagree	1st	1.001.80
  Disagree	2nd	1.812.60
  Neutral	3rd	2.613.40
  Agree	4th	3.414.20
  Strongly Agree	5th	4.215.00

4.2.4.3. 量规 (Rubric)

• 目的： 评估学生在撰写关于 ADDIE 和 ASSURE 设计模型论文时所展现的批判性思维 (critical thinking) 技能。

• 开发： 综合了现有研究和工具 (Crusan, 2010; Suhartoyo, 2017; Aprilai and Suryaman, 2020; Zhen Zhong and Gyas, 2021) 独立开发。

• 评估维度： 涵盖六个方面，包括对设计模型的理解、批判性思维、反馈整合、清晰度和组织结构、写作质量以及整体影响。

• 评分： 采用4点量表（1分：差，4分：优）。

  下图（原文 Table 3）展示了论文评估量规：

  Criteria	Excellent (4)	Good (3)	Fair (2)	Poor (1)
  Understanding of Design Models	Demonstrates thorough understanding of both models and articulates key components and principles clearly and accurately.	Demonstrates good understanding of both models and articulates key components and principles with minor inaccuracies or omissions.	Demonstrates basic understanding of both models but lacks clarity in articulating key components and principles.	Shows limited understanding of both models and fails to articulate key components and principles effectively.
  Critical Thinking	Provides insightful analysis and evaluation of the strengths and weaknesses of each model, along with creative and original ideas for their own model.	Offers a solid analysis and evaluation of the strengths and weaknesses of each model, with some creativity and originality in their own model.	Presents a basic analysis and evaluation of the strengths and weaknesses of each model, with limited creativity in their own model.	Provides a superficial analysis and evaluation of the strengths and weaknesses of each model, with little to no creativity in their own model.
  Integration of feedback	Effectively incorporates feedback from to enhance clarity, coherence, and argumentation, resulting in significant improvement in the essay.	Moderately incorporates feedback from to enhance clarity, coherence, and argumentation, resulting in some improvement in the essay.	Attempts to incorporate feedback from but with limited impact on clarity, coherence, and argumentation in the essay.	Does not effectively incorporate feedback from, with little to no improvement in clarity, coherence, and argumentation in the essay.
  Clarity and Organization	Presents ideas clearly and logically, with well-structured paragraphs and smooth transitions between ideas.	Communicates ideas clearly, with mostly well-structured paragraphs and adequate transitions between ideas.	Conveys ideas with some clarity, but lacks consistent organization and may have disjointed paragraphs or transitions.	Expresses ideas unclearly, with poor organization and disjointed paragraphs or transitions.
  Writing Quality	Demonstrates exemplary grammar, punctuation, spelling, and adherence to academic writing conventions throughout the essay.	Exhibits good grammar, punctuation, spelling, and adherence to academic writing conventions with minor errors.	Shows basic grammar, punctuation, spelling, and adherence to academic writing conventions, with some errors that do not impede understanding.	Displays poor grammar, punctuation, spelling, and adherence to academic writing conventions, hindering understanding of the essay.
  Overall Impact	Provides an insightful and persuasive essay that contributes significantly to the understanding of the role of design models in educational technology.	Presents a solid essay that contributes to the understanding of the role of design models in educational technology.	Offers a basic essay that provides some insight into the role of design models in educational technology.	Delivers a superficial essay with little to no contribution to the understanding of the role of design models in educational technology.

4.2.5. AI 驱动工具 (AI-Driven Tools)

在实验组中，以下 AI 驱动工具被精心整合到 Moodle 电子学习环境中：

• OpenAI 的 GPT-3 (通过 ChatGPT)：

  • 作用： 作为学习伴侣和辅导工具，帮助学生规划学习计划，生成教育材料，并根据 ADDIE 和 ASSURE 教学设计模型提供灵感。
  • 应用： 辅助制作易于理解的学习材料，支持学生在教育技术中如何使用 AI 进行头脑风暴。

• 游戏化学习平台 (Gamified Learning Platforms) - Kahoot!：

  • 作用： 创建互动测试、讨论和调查，营造竞争性和愉快的学习氛围。
  • 应用： 实时提供即时反馈和表现评估。

• Studiosity：

  • 作用： 提供在线辅导和写作反馈服务。
  • 应用： 学生可以提交论文或书面作业，获得建设性反馈和改进建议，以提高学业技能和表现。

• Moodle 平台： 所有这些工具，以及课程讲座、测验和 PowerPoint 演示文稿，都通过 Moodle 学习管理系统 (Learning Management System) 方便地访问。

  下图（原文 Figure 2）展示了 Moodle 学习管理系统：

  该图像是Ajman大学学习管理系统的登录界面，背景为书架。用户需要输入用户名和密码进行登录，以访问在线学习资源。

图 2: Moodle 学习管理系统 (Moodle learning management system)

下图（原文 Figure 3）展示了课程内容的截图：

该图像是一个课程页面的截屏，展示了Ajman大学的‘Unit 4/Instructional Design’模块的相关任务和活动，内容包括作业、测验和与OpenAI GPT-3及Kahoot!的链接。该模块旨在提升教育技术课程学生的学习体验。

图 3: 课程内容截图 (Course content screenshot)

4.2.6. 统计分析 (Statistical Analysis)

研究使用统计软件包 SPSS (Statistical Package for the Social Sciences) 进行数据分析。

• 描述性统计 (Descriptive statistics)： 用于总结人口统计数据（例如平均值、标准差）和学生对 AI 工具的感知。
• 独立样本 t 检验 (Independent samples t-test)： 用于比较实验组和对照组之间的前测和后测结果，以及不同人口统计变量（如性别）对学生感知的影响。在进行 t 检验之前，通过 Shapiro-Wilk 检验 验证了数据常态性假设，并通过 Levene's 检验 评估了方差齐性。
• 信效度检验：
  • 成就测试：
    • 内容效度 (Content validity)： 通过专家评审，使用 Kendall's Concordance Coefficient (W) 评估专家意见的一致性。
    • 信度 (Reliability)： 使用 Kuder-Richardson Formula 20 (KR-20) 评估，该公式用于二分法计分（如对错）测验的内部一致性信度。
  • 问卷：
    • 内容效度 (Content validity)： 使用 Lawshe's (1975) Content Validity Ratio (CVR) 和 Content Validity Index (CVI) 评估专家意见的一致性。
    • 信度 (Reliability)： 未直接给出具体公式，但提到了 Cronbach's Alpha (克隆巴赫系数) 为 0.883，表明内部一致性良好。
  • 量规：
    • 内容效度 (Content validity)： 通过专家评审，使用 Aiken's V 评估专家意见的一致性。
    • 信度 (Reliability)： 通过加权 Kappa (Weighted Kappa) 评估两位评分者对学生论文评分的一致性。

5. 实验设置

5.1. 数据集

本研究的数据集并非传统意义上的机器学习数据集，而是由参与研究的职前教师及其在《教育技术》课程中的表现和感知数据构成。

• 参与者： 共110名职前教师，分为实验组 (55人) 和对照组 (55人)。

• 人口统计特征：

  • 平均年龄： 27.5岁。
  • 性别构成： 大多数参与者为女性 (70%)，实验组40名女性，对照组37名女性；男性占30%。
  • 累积平均绩点 (CGPA)： 2.5-2.99 占 27.78%，3.0-3.5 占 33.33%，3.6-4.0 占 16.67%。

• 数据特点： 两组在性别、年龄和 CGPA 分布上无统计学显著差异 (p > 0.05)，这表明两组在研究开始时具有可比性，减少了潜在的混淆因素。

  以下是原文 Table 4 的结果，展示了参与者的人口统计数据：

  		Group
  		Experimental		Control		Total
  		Count	N%	Count	N%	Count	N%
  Gender	Female	40	36%	37	34%	77	70%
  	Male	15	14%	18	16%	33	30%
  CGPA	2.5-2.99	7	6%	8	7%	15	14%
  	3.0-3.5	31	28%	32	29%	63	57%
  	3.6-4.0	15	14%	17	15%	32	29%
  Age	22-26	4	4%	8	7%	12	11%
  	27-31	30	27%	36	33%	66	60%
  	32-36	14	13%	12	11%	26	24%
  	37-41	2	2%	4	4%	6	5%

5.2. 评估指标

本研究使用了多种评估指标来全面衡量 AI 驱动工具的影响。

• 成就测试得分：

  • 概念定义： 直接衡量学生对《教育技术》课程第四单元内容的知识掌握程度。分数越高代表学业表现越好。
  • 数学公式： 未给出具体公式，但说明为20道选择题，每题1分。总分范围为0-20分。
  • 符号解释： 无。

• 批判性思维得分：

  • 概念定义： 通过对学生撰写论文的评估，衡量其分析、评估、综合信息以及提出原创想法的能力。
  • 数学公式： 未给出具体公式，通过基于量规的评分（1-4分）获得。
  • 符号解释： 无。

• 动机水平：

  • 概念定义： 衡量学生对学习的内在驱动力、热情和积极性，特别是在使用 AI 工具的环境下。
  • 数学公式： 未给出具体公式，通过李克特量表问卷（1-5分）收集。
  • 符号解释： 无。

• 参与度水平：

  • 概念定义： 衡量学生在学习活动中的投入程度、积极互动和探索意愿。
  • 数学公式： 未给出具体公式，通过李克特量表问卷（1-5分）收集。
  • 符号解释： 无。

• AI 工具感知：

  • 概念定义： 衡量学生对 AI 驱动工具在教育中的有效性、变革潜力、实用性和未来影响的看法和态度。
  • 数学公式： 未给出具体公式，通过李克特量表问卷（1-5分）收集。
  • 符号解释： 无。

• Kuder-Richardson Formula 20 (KR-20)：

  • 概念定义： 一种用于衡量二分法计分（如选择题的对或错）测验内部一致性信度的方法。高 KR-20 值（接近1）表示测验题目之间高度相关，从而测验结果更可靠。
  • 数学公式： $$\mathsf { K } { \mathsf { - R } } 2 0 = \left( \frac{\mathsf { N }}{\mathsf { N } - 1} \right) \left( 1 - \frac{\mathsf { \Sigma p } ^ { \ast } { \mathsf { q } }}{\mathsf { \sigma } ^ { 2 }} \right)$$
  • 符号解释：
    • $\mathsf { N }$：测验中的项目（题目）数量。
    • $\mathsf { p }$：答对某一项目的学生比例。
    • $\mathsf { q }$：答错某一项目的学生比例，即 $1 - \mathsf { p }$。
    • $\mathsf { \Sigma p } ^ { \ast } { \mathsf { q } }$：所有项目 $\mathsf { p } \times \mathsf { q }$ 乘积的总和。
    • $\mathsf { \sigma } ^ { 2 }$：测验总分数的方差。

• Content Validity Ratio (CVR)：

  • 概念定义： 一种定量评估量表项目内容效度的方法，由 Lawshes (1975) 提出。它衡量专家组中有多少比例的专家认为某个项目对于测量特定构念是“必要的”。
  • 数学公式： $$\mathsf { C V R } = \left( \mathsf { n e } - \mathsf { N } / 2 \right) / \left( \mathsf { N } / 2 \right)$$
  • 符号解释：
    • $\mathsf { n e }$：认为该项目是“必要的”专家数量。
    • $\mathsf { N }$：专家总数量。

• Aiken's V：

  • 概念定义： 一种常用的内容效度系数，用于量化专家对问卷或量规项目相关性的判断一致性。值越高表示内容效度越好。
  • 数学公式： 原文未提供具体公式，但说明 Aiken's V 值高于 0.75 被认为是可接受的。
  • 符号解释： 无。

• Weighted Kappa (加权 Kappa)：

  • 概念定义： 用于评估两个或多个评分者对分类数据（如量规评分）的一致性，同时考虑到偶然一致性，并允许对不同程度的不一致性赋予不同的权重。
  • 数学公式： 原文未提供具体公式，但说明了其用于评估量规的信度。
  • 符号解释： 无。

• 独立样本 t 检验 (Independent Samples t-test)：

  • 概念定义： 一种统计方法，用于比较两个独立群体（例如实验组和对照组）的平均值之间是否存在统计学上的显著差异。
  • 数学公式： 原文未给出具体公式，但在结果部分直接报告了 t 值、自由度 (df) 和显著性水平 (Sig.，即 p 值)。
  • 符号解释：
    • $\mathsf { t }$：t 统计量，表示两组平均值差异相对于其标准误差的大小。
    • $\mathsf { df }$：自由度，与样本量和组数有关。
    • $\mathsf { Sig. }$：p 值，表示观察到的差异在零假设（即两组无差异）为真的情况下发生的概率。通常，p < 0.05 被认为是统计学显著的。

5.3. 对比基线

本研究的对比基线是传统教学方法 (traditional instruction)。对照组学生接受传统的讲座、阅读材料和常规评估，而不使用任何 AI 驱动的个性化学习工具。通过将实验组（使用 AI 工具）与对照组进行比较，研究旨在量化 AI 工具所带来的额外效果。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 实验组与对照组等效性

在进行干预之前，研究首先验证了实验组和对照组的等效性。Shapiro-Wilk 检验显示两组的因变量分布近似常态 (p > 0.05)。独立样本 t 检验在前测 (pre-test) 结果上显示两组间无显著差异 ($\mathsf { p } = 0.840$)。这表明两组在研究开始时是等效的，有助于最小化混淆因素的影响。

以下是原文 Table 5 的结果，展示了前测结果的 t 检验：

6.1.2. 工具的信效度验证

• 成就测试：

  • 内容效度： Kendall's Concordance Coefficient 达到 0.88 (认知水平/目标) 和 0.78 (核心领域)，表明专家对测试内容的覆盖面和目标高度一致。

  • 信度： Kuder-Richardson Formula 20 (KR-20) 值为 0.887，标准测量误差 (SEM) 为 0.723，表明测试具有高度可靠性。

    以下是原文 Table 5 (注意：原文编号有误，应为 Table 6) 的结果，展示了成就测试的信度估算：

    Test-takers(Students)	No. of items(N)	∑p * q	σ	rf	SEM
    30	20	4.0025	4.383	0.887	0.723

• 问卷：

  • 内容效度： Lawshe's CVR 分析结果显示，26个项目中20个项目的 CVR 值达到或超过0.62的临界值而被保留。总体内容效度指数 (CVI) 为0.796，表明问卷具有较强的整体内容效度。

  • 信度： Cronbach's Alpha 值为 0.883，表明问卷具有良好的内部一致性。

    以下是原文 Table 6 的结果，展示了 CVR 分析：

    Theme	Items	N1	N2	N3	N4	N5	N6	N7	N8	N9	N10	Ne	CVR,N=10	Result
    Motivation	1			1		1	1	1		1		5	0.5	Rejected
    	2	1	1	1	1	1	1	1	1	1	1	10	1.00	Accepted
    	3		1	1		1	1	1	1	1	1	8	0.80	Accepted
    	4	1	1	1	1	1	1	1	1	1	1	10	1.00	Accepted
    	5			1			1	1	1	1		5	0.50	Rejected
    	6	1	1	1	1	1	1	1	1	1	1	10	1.00	Accepted
    	7	1		1	1	1	1	1	1	1	1	9	0.90	Accepted
    	8	1	1	1	1	1	1	1	1	1	1	10	1.00	Accepted
    Engagement	9		1	1	1	1	1	1	1	1	1	9	0.90	Accepted
    	10	1	1	1	1	1	1	1	1	1	1	10	1.00	Accepted
    	11					1			1	1		3	0.30	Rejected
    	12	1	1	1	1		1	1		1		7	0.70	Accepted
    	13	1	1	1			1	1	1	1	1	8	0.80	Accepted
    	14	1	1	1	1	1		1			1	7	0.70	Accepted
    	15		1		1	1	1	1	1	1	1	8	0.80	Accepted
    	16	1	1	1	1	1	1	1	1	1	1	10	1.00	Accepted
    Perspective	17		1	1	1		1	1	1	1		7	0.70	Accepted
    	18		1				1		1		1	4	0.40	Rejected
    	19	1	1	1	1	1	1	1	1	1	1	10	1.00	Accepted
    	20	1	1	1	1	1	1	1	1	1	1	10	1.00	Accepted
    	21		1	1	1	1	1	1	1	1		8	0.80	Accepted
    	22	1	1	1	1	1	1	1	1	1		9	0.90	Accepted
    	23	1	1	1	1	1	1	1	1	1	1	10	1.00	Accepted
    	24		1	1	1	1	1	1	1	1		8	0.80	Accepted
    	25	1	1	1	1	1	1	1	1	1		9	0.90	Accepted
    	26				1	1			1			3	0.30	Rejected
    												CVI	0.796154

• 量规：

  • 内容效度： Aiken's V 值在所有评估维度上均超过0.75（相关性 0.80，清晰度 0.77，整体满意度 0.85），表明量规具有很强的内容效度。

  • 信度： 加权 Kappa 值显示，批判性思维 (0.674)、设计模型理解 (0.685) 和整体影响 (0.746) 方面达到实质性一致；写作质量 (0.451)、清晰度和组织结构 (0.599) 以及反馈整合 (0.524) 方面达到中等一致。这表明量规在评估学生作品的这些方面是可靠的。

    以下是原文 Table 7 的结果，展示了量规的内容效度结果：

    Variable	Mean	SD	Aiken's V
    Relevance	4.2	0.74	0.80
    Clarity	4.1	0.94	0.77
    Overall satisfaction	4.4	0.66	0.85

以下是原文 Table 8 的结果，展示了量规的信度结果：

6.1.3. Q1: AI 对学业表现的影响

本研究的第一个问题旨在调查 AI 驱动工具如何影响《教育技术》课程中的学业表现。通过对期末总结性评估测试的平均分进行比较，结果显示实验组学生的学业表现显著优于对照组。

以下是原文 Table 9 的结果，展示了后测结果的平均值和标准差：

实验组 (平均值 $\mathsf { M } = 18.32$, 标准差 $\mathsf { SD } = 1.21$) 的学生，其得分显著高于对照组 (平均值 $\mathsf { M } = 15.31$, 标准差 $\mathsf { SD } = 1.53$)。

以下是原文 Table 10 的结果，展示了后测的独立样本 t 检验：

t 检验结果显示，p 值 (0.000) 小于 0.05，表明两组在对第四单元主题的理解上存在统计学上的显著差异，实验组表现更优。

6.1.4. Q2: AI 对批判性思维的影响

本研究的第二个问题旨在探究 AI 工具如何促进职前教师批判性思维技能的发展。学生需要撰写一篇论文，表达他们对 ADDIE 和 ASSURE 设计模型的看法，并提出自己的新模型。实验组可以使用 Studiosity 和 ChatGPT 获取干预和形成性反馈，而对照组则独立完成。

以下是原文 Table 11 的结果，展示了量规分析结果：

结果显示，实验组在批判性思维 (实验组 $\mathsf { M } = 3.56$, $\mathsf { SD } = 0.71$; 对照组 $\mathsf { M } = 3.03$, $\mathsf { SD } = 1.03$) 方面表现出更高的技能。此外，实验组对 ADDIE 和 ASSURE 设计模型的知识掌握也更全面 (实验组 $\mathsf { M } = 3.65$, $\mathsf { SD } = 0.67$; 对照组 $\mathsf { M } = 3.42$, $\mathsf { SD } = 0.88$)。尽管两组都展现出合理的批判性思维能力，但实验组的论文在清晰度、组织结构和写作机制方面普遍质量更高 (实验组 $\mathsf { M } = 3.49$; 对照组 $\mathsf { M } = 2.91$)。这表明 AI 工具，尤其是 Studiosity 和 ChatGPT 提供的反馈，有效地促进了批判性思维和写作技能的发展。

6.1.5. Q3: AI 对动机水平的影响

本研究的第三个问题旨在比较实验组和对照组学生之间的动机水平。通过问卷中与动机相关的陈述 (S1-S6)，研究发现 AI 驱动工具的整合对学生的动机产生了积极影响。

以下是原文 Table 12 的结果，展示了动机统计分析结果：

总体平均分高达 4.51 (标准差 $\mathsf { SD } = 1.034$)，属于“强烈同意”的范畴。其中，关于“AI 驱动方法提供个性化学习机会，让我更有动力参与” (S2) 的平均分最高 (4.78)，其次是“在教育技术课程中使用 AI 工具增强了我探索创新教学方法的动机” (S1) (4.75)。这表明 AI 驱动工具确实能够显著提高学生的学习动机。

6.1.6. Q4: AI 对参与度水平的影响

本研究的第四个问题旨在确定实验组和对照组学生在《教育技术》课程中的参与度水平差异。通过问卷中与参与度相关的陈述 (S7-S12)，研究发现 AI 驱动工具的整合带来了极高的学习者参与度。

以下是原文 Table 13 的结果，展示了参与度统计分析结果：

与参与度相关的所有陈述的平均分高达 4.46 (标准差 $\mathsf { SD } = 0.902$)，同样属于“强烈同意”范畴。其中，“AI 驱动方法提高了学生对课程材料的动机和兴趣” (S9) (4.89) 和“AI 工具提供即时反馈，增强了他们的参与度和对课程概念的理解” (S10) (4.83) 获得最高分。这表明 AI 驱动工具成功地促进了学习者的积极参与和投入。

6.1.7. Q5: AI 工具感知的影响

本研究的第五个问题旨在探索职前教师对 AI 驱动工具在教育技术课程中应用的看法。通过问卷中与感知相关的陈述 (S13-S20)，研究发现职前教师对 AI 工具持普遍积极的看法。

以下是原文 Table 14 的结果，展示了学生感知统计分析结果：

总体平均分达到 4.24 (标准差 $\mathsf { SD } = 0.992$)，同样属于“强烈同意”范畴。特别是，陈述“AI 驱动方法为满足教育技术课程中学生多样化的学习需求提供了创新解决方案” (S14) 获得最高平均分 (4.78)，其次是“AI 驱动方法在教育技术课程中的整合促进了教学实践中的创新和创造文化” (S19) (4.53)。即使是得分最低的陈述“AI 驱动技术在教育技术课程中增强了可访问性和包容性” (S18) (3.78)，也得到了“同意”的评价。这表明职前教师普遍认为 AI 驱动工具具有变革潜力，能够改善教学和学习。

6.1.8. Q6: 学生感知水平的性别差异

本研究的第六个问题旨在探究学生感知水平是否存在性别差异。对实验组的女性和男性学生进行了比较。

以下是原文 Table 15 的结果，展示了基于性别的学生答案的平均值和标准差：

结果显示，女性学生平均分为 4.20，男性学生平均分为 4.36。然而，独立样本 t 检验的 p 值为 0.403，远大于 0.05。这表明在对 AI 驱动工具的感知方面，男性和女性职前教师之间没有统计学上的显著差异。

6.2. 数据呈现 (表格)

本节已将原文中的所有表格内容，包括 Table 1 到 Table 15，在对应的结果分析部分进行了转录和呈现，并注意了合并单元格的 HTML 格式要求。

6.3. 消融实验/参数分析

本文没有进行传统的消融实验（即移除模型特定组件来评估其贡献），也没有进行超参数分析。然而，研究的准实验设计本身就是一种宏观层面的“消融”对比——通过比较实验组（完整 AI 工具干预）和对照组（无 AI 工具干预的传统教学），有效地验证了 AI 工具作为一个整体对学生表现和感知的综合有效性。这种比较方式在教育研究中是常见的，用于评估一项教学干预的整体效果。

7. 总结与思考

7.1. 结论总结

本研究通过一项在阿治曼大学进行的准实验研究，成功地验证了人工智能驱动的个性化学习工具对职前教师在电子学习环境中表现和感知产生的积极影响。研究发现，将 AI 工具（如 ChatGPT、Studiosity 和 Kahoot!）整合到《教育技术》课程中，能够显著：

• 提升学业表现和知识保留： 实验组学生在成就测试中表现更佳，表明 AI 有助于知识的获取和巩固。

• 增强批判性思维能力： 实验组在论文写作和设计模型能力方面展现出更高的批判性思维水平，这得益于 AI 提供的辅助和反馈。

• 提高学习动机和参与度： 学生对 AI 工具带来的个性化学习机会表现出强烈认同，从而激发了更高的学习热情和课堂参与度。

• 塑造积极的感知： 职前教师普遍对 AI 工具在教育中的变革潜力持高度积极态度，认为它们是创新解决方案、个性化教学和未来技能培养的关键。

• 无显著性别差异： 对 AI 工具的感知并未因学生的性别而产生统计学上的显著差异。

  这些发现一致强调了 AI 在革新教育，特别是教师教育方面的巨大潜力。通过提供个性化指导、即时反馈和互动学习体验，AI 工具不仅能够优化学习成果，还能减轻教育工作者的负担，为学生适应数字时代做好准备。

7.2. 局限性与未来工作

本研究虽然提供了有价值的见解，但也存在一些局限性，为未来的研究指明了方向：

• 泛化性限制： 本研究是一个案例研究，在特定的大学和课程背景下进行。其结果可能不完全适用于所有其他教育环境、课程类型或文化背景。未来的研究应扩大样本范围，在更多样化的教育机构中进行复制研究，以提高结果的泛化能力。
• 特定 AI 工具的影响： 研究中使用的 AI 工具是 ChatGPT、Studiosity 和 Kahoot!。这些工具的特定功能和实施方式可能影响了研究结果。未来的研究可以探索其他 AI 工具或 AI 技术组合的影响，以更好地理解其更广泛的含义。
• 自我报告偏差： 对动机、参与度和感知的评估主要依赖于学生的自我报告问卷。自我报告数据可能受到社会期望效应或回忆偏差的影响。未来的研究可以结合客观测量或行为观察数据（例如，学习平台上的交互日志、任务完成时间、眼动追踪等），以提供更全面和无偏见的评估。
• 准实验设计限制： 虽然通过前测和人口统计数据确保了两组的可比性，但由于未能随机分配，本研究的因果推断能力仍弱于真正的随机对照实验。

7.3. 个人启发与批判

这篇论文对我有很多启发。首先，它清晰地展示了在实际教学环境中整合 AI 工具的可行性和显著益处，尤其是在提升批判性思维和学习动机方面，这对于培养未来的教师至关重要。作为未来的教育者，职前教师对 AI 的积极感知和高参与度，预示着 AI 在教育领域拥有广阔的应用前景。论文强调的个性化学习、智能辅导和自动化反馈，是未来教育不可逆转的趋势。

然而，作为一份学术研究，我也提出一些批判性思考：

• 因果关系的强度： 尽管研究尽力控制了变量，但准实验设计的性质限制了其对因果关系的最终断言。例如，实验组学生可能本身就对新技术更感兴趣或更具自主性，尽管前测数据试图平衡这一点。

• AI 工具的具体机制： 论文虽然列举了 AI 工具的类型和应用方式，但对于这些工具如何具体地促进了批判性思维（例如，ChatGPT 的何种反馈机制最有效，Studiosity 的哪类辅导最关键）的深层机制探讨不足。未来的研究可以更深入地剖析 AI 工具中哪些特定功能和交互模式对学习效果的贡献最大。

• 教师角色和工作量的具体变化： 论文提到 AI 可以“减轻教育工作者的工作量”，但具体如何减轻、减轻了哪些方面、以及教师需要发展哪些新的技能来有效利用 AI，这些方面可以进一步探讨。教师可能需要投入时间学习如何整合和管理 AI 工具，这本身也是一种工作量。

• 伦理和公平性考量： 论文在结论中提到了“确保伦理和公平实施”，但研究本身并未深入探讨 AI 工具可能带来的伦理问题（如数据隐私、算法偏见、过度依赖 AI 导致学生自主性下降）或公平性挑战（如数字鸿沟、资源分配不均）。这些是 AI 在教育中大规模推广时必须面对的关键问题。

• 长期效果： 这项研究是在一个学期内进行的，评估的是短期的效果。AI 辅助学习的长期效果，包括知识的持久保留、批判性思维的持续发展以及学生对 AI 依赖程度的变化，都需要更长时间的追踪研究。

  总的来说，这篇论文为 AI 在教师教育中的应用提供了坚实的实证支持，并为未来的研究和实践提供了宝贵的启示。同时，它也提醒我们，在拥抱 AI 带来的变革时，仍需保持批判性思维，审慎处理其潜在的局限性和挑战。