石溪大学研究:95%病例中医生更偏好AI生成的出院小结
Physicians Preferred AI Discharge Summaries in 95% of Cases in Stony Brook Study
石溪大学一项回顾性研究显示,在评估的60例内科住院病例中,医生评审在95%的病例里更偏好AI生成的出院小结。该研究发表于npj Digital Medicine,AI小结在整体质量上平均4.71分、人工小结3.16分,事实准确性4.62对3.73,完整性4.69对3.42。研究同时指出两类小结均存在错误,且高评分未证明患者结局更好,作者强调使用前仍需医生核验。
正文 · AI 翻译
在石溪大学一项研究评估的住院病例中,有95%的病例里医生评审更偏好AI生成的出院小结,而非由人类撰写的对应小结。这项回顾性分析聚焦于60例持续7至21天的内科住院病例,在这些病例中,延长治疗和大量临床记录使得向门诊照护的交接尤为艰巨。
这些发现发表于npj Digital Medicine,表明大型语言模型可以帮助临床医生生成更完整、更可用的出院文件。研究还说明了为何人工核验仍然必不可少:AI生成和人工撰写的小结都包含错误,而且更高的评分并未证实患者结局更好。
出院小结将医院内提供的照护与负责后续事务的临床医生连接起来。它需要说明入院原因、治疗过程、用药变化、未解决的问题以及随访计划。对于初级保健医生而言,缺失的说明或不清楚的下一步可能意味着要从一份大得多的记录中重建整个住院过程。
住院时间越长,这一问题就越严重。信息在病程记录、会诊记录、影像报告和其他文档中不断累积,往往伴有重复和治疗计划的变更。一份有用的小结必须保留最终的临床全貌,同时说明各项决策是如何演变的。
石溪大学的方法是与临床医生共同设计的,围绕接诊医生所需的信息展开。该校表示,该系统能在数分钟内将患者记录整理成出院小结草稿。这描述的是生成时间;对医生总文档和核验时间的影响仍需在临床实践中检验。
该研究将住院医师和初级保健医生的评估配对进行。评审者在整体质量、可读性和简洁性、事实准确性以及完整性方面给AI小结打了更高的分数。他们还发现AI小结缺失的临床细节更少。
在所提供的五分制评分量表上,AI小结的整体质量平均为4.71分,而人工撰写的小结为3.16分。事实准确性平均为4.62分对3.73分,完整性平均为4.69分对3.42分。这些是医生的评分,而非经证实正确的陈述所占的百分比。
医生对人工撰写和AI生成出院小结的评分。AI生成的小结在所示各项指标上得分更高。图片来源:石溪大学Fusheng Wang。
该图报告了住院医师和初级保健合并指标下每种小结类型各120项评分,以及初级保健专属问题下每种类型各60项评分。初级保健评审者对AI小结在理解住院过程、向患者和照护者解释住院情况以及支持随访照护方面给予了更高评价。
这些区别很重要,因为撰写出院小结的人和依据小结行事的人视角不同。一份文件可以详尽地叙述住院期间的事件,却仍让接诊临床医生对未决问题或用药变更的理由感到不确定。
研究人员公开的代码为这项技术提供了更多背景。其导出的LangChain/LangGraph流水线按时间顺序对记录分组,构建结构化小结,并在处理更多片段时不断完善该草稿。另一个独立阶段从标记的记录中提取偶然发现,然后格式化最终叙述。
这种分阶段方法解决了语言模型的一个实际限制:一份很长的临床记录可能超出模型一次能处理的文本量。将结构化草稿向前传递,可以让记录的后续部分对结果有所贡献。
公开导出的内容还记录了来源标识符,并在结构化输出和叙述性输出之外生成引用元数据。它包含合成演示数据,而代码库则提供去标识化的评分和错误标注结果供分析。这样便能在不公开原始患者记录的情况下支持对工作流程的审查。
已发表的摘要将较少的标注不准确或遗漏主要归因于遗漏更少。它报告在评审者对错误相关伤害严重程度或可能性的估计上,两种小结类型之间没有统计学显著差异。
这一发现并不能证明两种方法具有相同的安全性,也不能证明AI草稿无需审核即可写入患者记录。该评估针对的是文档和医生的判断;它并未证明再入院率、药物相关伤害或其他患者结局有所降低。
作者强调使用前须由医生核验。用药说明、未解决的医疗问题和随访建议是这份文件核心目的所在,仍然是错误或遗漏会产生重大后果的地方。
“这些结果为人工智能能够支持复杂住院病例的出院文档提供了证据,”共同通讯作者、石溪大学临床副教授Rachel Wong医学博士在该校的公告中说。
共同通讯作者Fusheng Wang博士表示,下一步研究包括评估准确性、安全性、实际为医生节省的时间以及在临床工作流程中的契合度。该校表示,正在考虑在石溪医学的日常实践中开展试点。
这个跨学科项目由计算机科学博士生Tyler Osborne领导,汇集了医生、计算机科学家、生物医学信息学家和传播学专业知识。该研究为在临床医生监督下起草复杂出院小结提供了令人鼓舞的证据。要确定这如何转化为可靠的日常使用,需要将审核过程与生成的文本一并评估。