From substitution to human-AI collaboration: a case study on assessment of reflective writing assignments of medical students using reasoning-capable large language models

Chai Hua; Yan Yujiang; Qing Ping

doi:10.3760/cma.j.cn116021-20250805-02199

您当前的位置：

首页 >

文章列表页 >

From substitution to human-AI collaboration: a case study on assessment of reflective writing assignments of medical students using reasoning-capable large language models

Digital Intelligence MedicalEducation | 更新时间：2026-02-13

- From substitution to human-AI collaboration: a case study on assessment of reflective writing assignments of medical students using reasoning-capable large language models
- Chinese Journal of Medical Education Research Vol. 25, Issue 1, Pages: 1-11(2026)
- 作者机构：
  
  1.四川大学华西第二医院筑浪学院，成都 610041
  2.国家教材建设重点研究基地（高等学校医学教材研究），成都 610041
  3.四川大学华西医学中心医学教学部，成都 610041
- 作者简介：
  
  Yan Yujiang, Email: 1051173813@qq.com
- 基金信息：
  
  2025 Research Project of Medical Textbook Development of Sichuan University (Major Project)(SCUYJ0126);The 11th Higher Educational Teaching Reform Project of Sichuan University(SCU11404;SCU11411);2025 Research Project of West China Center for Research and Development of Women and Children's Health(XBFY-YJXM2025003)
- DOI：10.3760/cma.j.cn116021-20250805-02199
  CLC： R-05
- Received：05 August 2025，
  
  Published：20 January 2026
- 稿件说明：
移动端阅览
柴桦, 闫昱江, 卿平. 从工具替代到人机协作：深度推理大语言模型评阅医学生反思性写作作业的个案研究[J]. 中华医学教育探索杂志, 2026, 25(1): 1-11.

Chai Hua, Yan Yujiang, Qing Ping. From substitution to human-AI collaboration: a case study on assessment of reflective writing assignments of medical students using reasoning-capable large language models[J]. Chinese Journal of Medical Education Research, 2026, 25(1): 1-11.
柴桦, 闫昱江, 卿平. 从工具替代到人机协作：深度推理大语言模型评阅医学生反思性写作作业的个案研究[J]. 中华医学教育探索杂志, 2026, 25(1): 1-11. DOI： 10.3760/cma.j.cn116021-20250805-02199.

Chai Hua, Yan Yujiang, Qing Ping. From substitution to human-AI collaboration: a case study on assessment of reflective writing assignments of medical students using reasoning-capable large language models[J]. Chinese Journal of Medical Education Research, 2026, 25(1): 1-11. DOI： 10.3760/cma.j.cn116021-20250805-02199.

摘要

本研究对具有深度推理功能的大语言模型（reasoning-capable large language models， rcLLMs）评阅医学生反思性写作作业的可行性和效果进行了探索。在选择作业样本、建立评阅方法的基础上，用2种国内主流rcLLMs进行评阅，并采用定量与定性相结合的混合研究方法将评阅结果与教师评阅结果及评分标准相比较。研究发现2种rcLLMs和教师三者评分的一致性及两两之间评分的相关性较差，2种rcLLMs各自评分的稳定性也较差；rcLLMs生成的评语结构完整，但关注主题与评分标准不完全一致。本研究揭示出目前rcLLMs尚不能作为评阅医学生反思性写作作业的有效工具，讨论了相关影响因素，并强调了建立人机协作策略及反思AI评阅正当性的重要性。

Abstract

This case study explored the feasibility and efficacy of employing reasoning-capable large language models (rcLLMs) to assess the reflective writing assignments of medical students. Following the selection of writing samples and the establishment of an assessment methodology

two prominent domestic rcLLMs were utilized to evaluate the assignments. A method combining quantitative and qualitative analyses was employed to compare the evaluations from rcLLMs with those from instructors in accordance with the established grading rubric. The findings revealed poor inter-rater reliability due to weak correlations among all three raters collectively and pairwise. Both rcLLMs demonstrated significant variability in their own scoring consistency. While the feedback comments generated by the rcLLMs were well-structured

their focuses exhibited a misalignment with the grading rubric. This study suggests that current rcLLMs are not yet suitable for use as effective tools for assessing the reflective writing assignments of medical students. The influencing factors were discussed

and the need to develop human-AI collaborative strategies

as well as to critically reflect on the legitimacy of employing rcLLMs in assessment

was underscored.

关键词

Keywords

references

黄明芳，侯青涵，张韦 . 生成式人工智能在医学教育领域的应用现状与未来趋势 [J ] . 医学与社会， 2025 ， 38 （ 1 ）： 29 - 34， 47 . DOI: 10.13723/j.yxysh.2025.01.005 http://dx.doi.org/10.13723/j.yxysh.2025.01.005 .

刘邦奇，聂小林，王亚飞，等 . 生成式AI赋能教育：技术框架、应用场域及价值： 2024智能教育发展研究报告 [J ] . 中国电化教育， 2025 （ 3 ）： 61 - 70 . DOI: 10.3969/j.issn.1006-9860.2025.03.009 http://dx.doi.org/10.3969/j.issn.1006-9860.2025.03.009 .

周洪宇，余江涛 . 迈向通用人工智能时代的教师工作：挑战与出路 [J ] . 电化教育研究， 2025 ， 46 （ 7 ）： 5 - 12 . DOI: 10.13811/j.cnki.eer.2025.07.001 http://dx.doi.org/10.13811/j.cnki.eer.2025.07.001 .

董娜，陈寞塬，黄甫全 . AI教师身份何以证成：来自新兴角色理论的回答 [J ] . 中国电化教育， 2025 （ 5 ）： 42 - 52 . DOI: 10.3969/j.issn.1006-9860.2025.05.007 http://dx.doi.org/10.3969/j.issn.1006-9860.2025.05.007 .

王茹，李毅恒，孙世仁，等 . 人工智能在医学教育中的应用前景与挑战 [J ] . 中国医学教育技术， 2025 ， 39 （ 3 ）： 306 - 310 . DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202503003 http://dx.doi.org/10.13566/j.cnki.cmet.cn61-1317/g4.202503003 .

田阳，王运武，栾慧敏 . DeepSeek类人工智能变革学习样态：适配逻辑、推动进程与人智协同 [J ] . 中国医学教育技术， 2025 ， 39 （ 3 ）： 291 - 298 . DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202503001 http://dx.doi.org/10.13566/j.cnki.cmet.cn61-1317/g4.202503001 .

曹伍军 . 人工智能时代教师角色的三重转变与应变 [J ] . 中国医学教育技术， 2025 ， 39 （ 3 ）： 316 - 321 . DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202503005 http://dx.doi.org/10.13566/j.cnki.cmet.cn61-1317/g4.202503005 .

江哲涵，奉世聪，王维民 . 人工智能生成内容在医学教育中的应用、挑战与展望 [J ] . 中国教育信息化， 2024 ， 30 （ 8 ）： 29 - 40 . DOI: 10.3969/j.issn.1673-8454.2024.08.003 http://dx.doi.org/10.3969/j.issn.1673-8454.2024.08.003 .

信斯言，沈子曰，吴红斌，等 . 面向未来医学教育全球健康与人工智能： 2024AMEE年会综述2 [J ] . 中华医学教育杂志， 2024 ， 44 （ 12 ）： 896 - 900 . DOI: 10.3760/cma.j.cn115259-20241006-01031 http://dx.doi.org/10.3760/cma.j.cn115259-20241006-01031 .

王运武，周甜，邬亚楠 . 人工智能创作物何以变革教育：基于ChatGPT类人工智能的理性思考 [J ] . 中国医学教育技术， 2024 ， 38 （ 5 ）： 543 - 549 . DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202405001 http://dx.doi.org/10.13566/j.cnki.cmet.cn61-1317/g4.202405001 .

徐傲飞，刘俭涛，李嘉，等 . ChatGPT在医学教育中的应用探讨 [J ] . 中国医学教育技术， 2024 ， 38 （ 3 ）： 266 - 270 . DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202403002 http://dx.doi.org/10.13566/j.cnki.cmet.cn61-1317/g4.202403002 .

田阳，王运武，于燕娟，等 . ChatGPT类人工智能推动教育数字化变革的失范风险及应对策略 [J ] . 中国医学教育技术， 2023 ， 37 （ 3 ）： 247 - 253， 267 . DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202303001 http://dx.doi.org/10.13566/j.cnki.cmet.cn61-1317/g4.202303001 .

向巴卓玛，王珍珍，畅洪昇，等 . 基于大型语言模型的药理学考试主观题智能评分研究 [J ] . 中国医学教育技术， 2024 ， 38 （ 5 ）： 572 - 579 . DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202405006 http://dx.doi.org/10.13566/j.cnki.cmet.cn61-1317/g4.202405006 .

赵磊，田丹 . 人工智能何以赋能教育评价：基于国际研究热点和前沿的分析与启示 [J ] . 中国医学教育技术， 2024 ， 38 （ 1 ）： 1 - 9， 22 . DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202401001 http://dx.doi.org/10.13566/j.cnki.cmet.cn61-1317/g4.202401001 .

DeepSeek-AI , Guo D , Yang D , et al . DeepSeek-R1: incentivizing reasoning capability in LLMs via reinforcement learning [J ] . arXiv , 2025 : abs/2501.12948. DOI: 10.48550/arXiv.2501.12948 http://dx.doi.org/10.48550/arXiv.2501.12948 .

OPEN AI . ChatGPT: Optimizing Language Models for Dialogue [EB/OL ] . ( 2022-11-30 ) [ 2025-07-31 ] . https://openai.com/index/chatgpt/ https://openai.com/index/chatgpt/ .

Kimi Team , Du A , Gao B , et al . Kimi k1.5: scaling reinforcement learning with LLMs [J ] . arXiv , 2025 : abs/2501.12599. DOI: 10.48550/arXiv.2501.12599 http://dx.doi.org/10.48550/arXiv.2501.12599 .

Li J , Miao B , Wang S , et al . Hiplot: a comprehensive and easy-to-use web service for boosting publication-ready biomedical data visualization [J ] . Brief Bioinform , 2022 , 23 ( 4 ): bbac261 . DOI: 10.1093/bib/bbac261 http://dx.doi.org/10.1093/bib/bbac261 .

来茂德 . AI时代医学教育改革该往何处去 [J ] . 中国高等医学教育， 2025 （ 4 ）： 1 - 3 . DOI: 10.3969/j.issn.1002-1701.2025.04.001 http://dx.doi.org/10.3969/j.issn.1002-1701.2025.04.001 .

陈曦，胡中锋 . 基于DeepSeek的智能评分：效度、信度与可行性研究 [J ] . 高教探索， 2025 （ 3 ）： 62 - 67 . DOI: 10.3969/j.issn.1673-9760.2025.03.014 http://dx.doi.org/10.3969/j.issn.1673-9760.2025.03.014 .

孙维 . 文本数据增强：解决NLP数据稀缺问题的5大策略 [EB/OL ] . ( 2024-11-20 ) [ 2025-07-31 ] . https://wenku.csdn.net/column/22vikgq33g https://wenku.csdn.net/column/22vikgq33g .

Gao C , Wu X , Lin Z , et al . NExtLong: toward effective long-context training without long documents [J ] . arXiv , 2025 : abs/2501.12766. DOI: 10.48550/arXiv.2501.12766 http://dx.doi.org/10.48550/arXiv.2501.12766 .

Xiong W , Liu J , Molybog I , et al . Effective long-context scaling of foundation models [J ] . arXiv , 2023 : abs/2309.16039v 3 . DOI: 10.48550/arXiv.2309.16039 http://dx.doi.org/10.48550/arXiv.2309.16039 .

Gao C , Wu X , Fu Q , et al . Quest: query-centric data synthesis approach for long-context scaling of large language model [J ] . arXiv , 2024 : abs/2405.19846. DOI: 10.48550/arXiv.2405.19846 http://dx.doi.org/10.48550/arXiv.2405.19846 .

李春明 . 基于人工智能技术的智慧校本作业应用研究 [J ] . 广州开放大学学报， 2024 ， 24 （ 6 ）： 14 - 20， 108 . DOI: 10.3969/j.issn.1672-0385.2024.06.004 http://dx.doi.org/10.3969/j.issn.1672-0385.2024.06.004 .

魏顺平，张悦，冉柔 . 国产大语言模型的语文作文评价能力测试 [J ] . 现代教育技术， 2025 ， 35 （ 3 ）： 24 - 33 . DOI: 10.3969/j.issn.1009-8097.2025.03.003 http://dx.doi.org/10.3969/j.issn.1009-8097.2025.03.003 .

吴军其，刘萌，王嘉桐，等 . AIGC辅助教师作文评价的效果研究：以九年级语文作文为例 [J ] . 现代教育技术， 2024 ， 34 （ 10 ）： 53 - 64 . DOI: 10.3969/j.issn.1009-8097.2024.10.006 http://dx.doi.org/10.3969/j.issn.1009-8097.2024.10.006 .

张泽治 . 人工智能融入课堂创设教育新场景：以山东青岛崂山区为例 [J ] . 中小学信息技术教育， 2022 （ 5 ）： 8 - 10 . DOI: 10.3969/j.issn.1671-7384.2022.05.004 http://dx.doi.org/10.3969/j.issn.1671-7384.2022.05.004 .

孙晓莉 . 人工智能在小学教育中的伦理与创新实践 [J ] . 奥秘， 2025 （ 12 ）： 207 - 209 .

刘梦君，邹文龙，宗敏，等 . 生成式人工智能何以赋能教学：中学生英语写作教学实证研究 [J ] . 中国电化教育， 2025 （ 6 ）： 70 - 79 . DOI: 10.3969/j.issn.1006-9860.2025.06.010 http://dx.doi.org/10.3969/j.issn.1006-9860.2025.06.010 .

王晶莹，杜蕾，张登博 . GAI赋能教育变革：哲学审视、国际比较与未来进路 [J ] . 中国电化教育， 2025 （ 3 ）： 51 - 60 . DOI: 10.3969/j.issn.1006-9860.2025.03.008 http://dx.doi.org/10.3969/j.issn.1006-9860.2025.03.008 .

郑智勇，范卿泽，贾伟 . 人工智能技术赋能教师发展的三重幻象及破解之道 [J ] . 中国电化教育， 2024 （ 7 ）： 28 - 34， 73 . DOI: 10.3969/j.issn.1006-9860.2024.07.005 http://dx.doi.org/10.3969/j.issn.1006-9860.2024.07.005 .

侯浩翔，王旦 . 生成式人工智能时代教师教学创新的风险隐忧及规避路径 [J ] . 中国电化教育， 2025 （ 3 ）： 20 - 26 . DOI: 10.3969/j.issn.1006-9860.2025.03.004 http://dx.doi.org/10.3969/j.issn.1006-9860.2025.03.004 .

申灵灵，周一鸣，卢锋，等 . 真实的虚无：灰色生态学视域下人工智能与教育的偏离与对齐 [J ] . 中国电化教育， 2025 （ 2 ）： 29 - 35 . DOI: 10.3969/j.issn.1006-9860.2025.02.006 http://dx.doi.org/10.3969/j.issn.1006-9860.2025.02.006 .

卢秀 . 从离身走向具身：人工智能运用于学习评价的风险及其化解 [J ] . 中国电化教育， 2025 （ 6 ）： 102 - 108 . DOI: 10.3969/j.issn.1006-9860.2025.06.014 http://dx.doi.org/10.3969/j.issn.1006-9860.2025.06.014 .

姜朝晖 . 促进人工智能助力教育变革：战略任务与政策建议 [J ] . 中国电化教育， 2025 （ 4 ）： 9 - 12 . DOI: 10.3969/j.issn.1006-9860.2025.04.006 http://dx.doi.org/10.3969/j.issn.1006-9860.2025.04.006 .

Scott McLeod . The AI vicious cycle (Revised) [EB/OL ] . ( 2025 - 04 - 29 ) [2025-07-31] . https://dangerouslyirrelevant.org/2025/04/the-ai-vicious-cycle-revised.html https://dangerouslyirrelevant.org/2025/04/the-ai-vicious-cycle-revised.html .

焦建利 . 高度警惕AI教育应用的恶性循环 [EB/OL ] . ( 2025-05-03 ) [ 2025-07-31 ] . https://www.jiaojianli.com/20790.html https://www.jiaojianli.com/20790.html .

陈倩倩，逯行，张立新，等 . 生成式人工智能教育应用的价值冲突与调适路径 [J ] . 现代教育技术， 2025 ， 35 （ 6 ）： 5 - 13 . DOI: 10.3969/j.issn.1009-8097.2025.06.001 http://dx.doi.org/10.3969/j.issn.1009-8097.2025.06.001 .

蒋贵友，殷文轩 . 变革抑或危机：大语言模型赋能大学教学及其限度：基于斯坦福大学的案例考察 [J ] . 电化教育研究， 2025 ， 46 （ 1 ）： 122 - 128 . DOI: 10.13811/j.cnki.eer.2025.01.017 http://dx.doi.org/10.13811/j.cnki.eer.2025.01.017 .

杨满福，桑新民 . 从Deep-Learning到DeepSeek：人工智能赋能大学功能范式重构的挑战、转型与新生态 [J ] . 现代教育技术， 2025 ， 35 （ 4 ）： 5 - 13 . DOI: 10.3969/j.issn.1009-8097.2025.04.001 http://dx.doi.org/10.3969/j.issn.1009-8097.2025.04.001 .

何昌旺，熊和平 . ChatGPT类生成式人工智能教育伦理危机及其应对 [J ] . 中国教育信息化， 2024 ， 30 （ 2 ）： 81 - 90 . DOI: 10.3969/j.issn.1673-8454.2024.02.008 http://dx.doi.org/10.3969/j.issn.1673-8454.2024.02.008 .

钟柏昌，刘晓凡 . 生成式人工智能何以、以何生成教育 [J ] . 电化教育研究， 2024 ， 45 （ 10 ）： 12 - 18， 27 . DOI: 10.13811/j.cnki.eer.2024.10.002 http://dx.doi.org/10.13811/j.cnki.eer.2024.10.002 .

袁欢欢，全祉悦，林祎，等 . 当医学课程考核遇上生成式人工智能：价值、挑战与未来展望 [J ] . 中国医学教育技术， 2023 ， 37 （ 3 ）： 254 - 259 . DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202303002 http://dx.doi.org/10.13566/j.cnki.cmet.cn61-1317/g4.202303002 .

郑庆华 . 人工智能赋能创建未来教育新格局 [J ] . 中国高教研究， 2024 （ 3 ）： 1 - 7 . DOI: 10.16298/j.cnki.1004-3667.2024.03.01 http://dx.doi.org/10.16298/j.cnki.1004-3667.2024.03.01 .

李运福 . 人工智能赋能高等教育评价改革的国际借鉴 [J ] . 电化教育研究， 2025 ， 46 （ 2 ）： 32 - 40 . DOI: 10.13811/j.cnki.eer.2025.02.005 http://dx.doi.org/10.13811/j.cnki.eer.2025.02.005 .

巴德年 . 从互联网与医学到人工智能与医学：我的“未来医学”观和医学教育发展观 [J ] . 中华医学杂志， 2025 ， 105 （ 29 ）： 2437 - 2439 . DOI: 10.3760/cma.j.cn112137-20250417-00956 http://dx.doi.org/10.3760/cma.j.cn112137-20250417-00956 .

Bearman M , Ajjawi R . When I say … artificial intelligence [J ] . Med Educ , 2024 , 58 ( 11 ): 1273 - 1275 . DOI: 10.1111/medu.15408 http://dx.doi.org/10.1111/medu.15408 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Practice and exploration of adolescent medicine education with an international perspective: a case study of Zhejiang University Sustainable Development Global Summer School

A qualitative study on the experience of publishing case reports by resident physicians: challenges, strategies, and expectations

Promoting deep integration of artificial intelligence and education for new pathways of precision learning

Research progress and prospects of artificial intelligence in new models of clinical reasoning education

Design of Novel High Accuracy Fine Tuning Device for Optical Fiber

Related Author

Lao Yanyun

Zhang Ling

Sun Xiaoying

Zhang Li

Cheng Xiaoying

Fu Junfen

Yang Zhihui

Chen Wen

Related Institution

International Affairs Office, Children's Hospital, School of Pediatrics, Zhejiang University School of Medicine

Department of Dermatology and Venerology, Peking University First Hospital/National Clinical Research Center for Skin and Immune Diseases/Beijing Key Laboratory of Molecular Diagnosis of Dermatoses, Peking University First Hospital/NMPA Key Laboratory for Quality Control and Evaluation of Cosmetics, Peking University First Hospital

Department of General Practice, Peking University First Hospital

China Medical University

Department of General Internal Medicine, Peking Union Medical College Hospital, Chinese Academy of Medical Science & Peking Union Medical College

⁰