前沿分享 |人工智能助力胸部影像报告生成：Flamingo-CXR的应用与实践

2024-11-28

研究背景

放射检验作为临床诊断的重要手段，在医学检验中起着十分重要的作用。然而，资深放射科医生的短缺使得放射科医生的工作量很大，从而导致患者诊断延误和临床决策中的潜在错误，这种问题在资源有限的地区更加突出。近年来，人工智能（AI）被广泛用于医学影像的辅助分析，涵盖病灶检测、分类和影像评分等。但是实现高质量的自动化影像报告生成仍面临着技术挑战，包括如何生成准确的诊断内容、如何适应不同的医疗场景以及如何确保报告的临床可用性。

为了解决这些问题，该研究团队开发了Flamingo-CXR模型，这是一种基于视觉-语言的多模态学习框架，旨在生成高质量的胸部X光（CXR）医学影像报告。通过训练模型在不同数据集上的表现，探索其在常见病和异常病症分析中的能力。

研究方法

模型训练

Flamingo-CXR模型在2个国际知名数据集上进行训练：①MIMIC-CXR，来自美国的急诊影像数据集，涵盖广泛的胸部疾病和正常影像；②IND1，来自印度的多场景数据集，包括住院和门诊病例，数据分布更贴近真实的医疗环境。

模型的核心是多模态学习，将图像数据和语言模型结合，使其能够从X光影像中提取语义特征并生成结构化的医学报告。

模型评估

为了验证Flamingo-CXR的性能，研究采用了以下2种方法：

①自动评估：CheXpert F1得分，评估模型生成报告与人工报告在影像判读上的一致性；RadGraph F1得分，评估报告中的语义连贯性和语言表达质量。

②专家评估：招募27名认证的放射科医生进行双盲对比测试和报告错误校正；将AI生成报告与放射科医生撰写的报告进行对比，评估两者的优劣。

图1 评估框架示意图

（a.AI模型生成报告与专家编写的报告比较（1）成对偏好测试（2）纠错任务；b.重复成对偏好测试，其中将AI模型生成再经专家编辑的报告与专家编写的报告进行比较）

研究结果与结论

AI生成报告的能力与表现

①正常影像分析：在正常X光影像中，Flamingo-CXR生成的报告在94%的情况下与放射科医生的报告相当或更优，表现出卓越的描述能力。

②异常影像分析：对于异常影像的常见病（如心脏肥大、胸腔积液），AI生成报告的准确性与医生的评估结果高度一致。然而，对于非常见病症（如肺水肿），AI的表现仍存在一定差距，模型在处理复杂或罕见病症时表现出局限性。

图2 MIMIC-CXR和IND1的成对偏好测试结果

（a.对Flamingo-CXR的偏好报告根据评审员之间的协议级别进行分组；b.对Flamingo-CXR的偏好报告根据医生位置分组；c.对Flamingo-CXR的偏好报告根据正常报告与异常报告分组）

③错误类型分析：AI报告和医生报告都可能出现错误，但两者的错误类型和频率不同。AI倾向于在位置描述上出现偏差，例如错误描述病灶位置；医生报告更常见的错误是判断失误，例如遗漏潜在病灶。

图3 AI生成的报告和专家报告的纠错比较

研究进一步探讨了AI与医生协作的方式，当AI生成初稿后由医生进行校正时，协作生成的报告在临床接受度上显著提高：在印度和美国的测试中，协作报告分别有71.2%和53.6%被认为与医生单独撰写的报告相当或更优。这种模式显示了AI作为辅助工具的潜力，既节省了医生的时间，又能提高报告的标准化程度。

Flamingo-CXR在医学影像报告生成中展示了巨大的潜力，特别是在正常和常见异常影像的分析中表现优异。作为医生的助手，该系统不仅可以减轻放射科医生的负担，还能通过标准化的报告提高医疗质量。然而，AI无法完全取代医生，其最佳应用方式仍是在协作模式下，为医生提供支持和参考。

通过持续优化和完善，AI辅助报告生成技术将进一步提升医学影像诊断的效率和准确性，最终为患者提供更优质的医疗服务。

技术挑战与优化方向

尽管Flamingo-CXR在影像报告生成领域取得了进展，但仍存在以下技术挑战：

①数据多样性不足：训练数据主要来源于有限的地区和医疗场景，可能无法充分应对其他国家或特殊场景中的病例需求。未来需扩展训练数据来源，涵盖更多病症类型和人口分布。

②报告风格差异：不同地区和医院对医学影像报告的格式和术语存在差异，可能影响报告的可读性和接受度。需针对特定医疗机构或国家优化报告生成模板。

③协作优化：目前的研究表明，医生对AI生成报告的依赖程度不同。在某些情况下，医生可能过度依赖AI初稿，导致忽视潜在的错误。需建立有效的协作机制，确保医生在诊断过程中保持独立思考。

未来展望

提升低频病症的识别能力： 通过加入更多罕见病症的样本数据，加强AI在复杂病例中的表现。

智能交互系统：开发能实时与医生交互的AI工具，例如提示可能的遗漏区域或提供参考信息，帮助医生做出更准确的判断。

多语言和多场景适配：优化AI系统以适应不同语言和医疗体系的需求，从而实现全球化应用。

文献来源：

Tanno, R., Barrett, D.G.T., Sellergren, A. et al. Collaboration between clinicians and vision–language models in radiology report generation. Nat Med (2024). https://doi.org/10.1038/s41591-024-03302-1

原文链接：

https://www.nature.com/articles/s41591-024-03302-1#citeas

分享者简介 ✦

王玮

重庆大学智能肿瘤学教育部医药基础研究创新中心2024级生物与医药硕士

编辑|曾海蓉李劲

版权声明：本文为“乐问号”作者或机构在乐问医学上传并发布，仅代表该作者或机构观点，不代表乐问医学的观点或立场，不能作为个体诊疗依据，如有不适，请结合自身情况寻求医生的针对性治疗。
链接：http://www.lewenyixue.com/2024/11/28/%E5%89%8D%E6%B2%BF%E5%88%86%E4%BA%AB%20%7C%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%8A%A9%E5%8A%9B%E8%83%B8%E9%83%A8%E5%BD%B1%E5%83%8F%E6%8A%A5%E5%91%8A%E7%94%9F%E6%88%90/

THE END

【述评】靶向药物时代背景下进展期胃肠间质瘤手术治疗相关的若干问题之再思考

<<上一篇

《2024年人工智能十大前沿技术趋势展望》发布

下一篇>>