Cell子刊：我国学者提出基于GPT-4o的肺癌临床诊疗新方法

撰文丨王聪

编辑丨王多鱼

排版丨水成文

之前的大语言模型已显示出解读放射影像的潜力，从而有助于异常检测并辅助做出诊断决策。 GPT-4o 是 OpenAI 于 2024 年 5 月发布的最新视觉大语言模型，能够 实时对音频、视觉和文本进行推理处理，突显了其在多模态医疗应用中的潜在用途。然而，基于视觉大语言模型的视频处理在临床环境中的应用尚未得到探索。

近期，GPT 模型已展现出能够根据放射学报告自动标注肿瘤表型并确定 TNM 分期的潜力。然而，能够动态测量一系列 CT 图像中肺结节大小和特征的变化对于评估恶性肿瘤风险的进展以及指导及时的临床干预至关重要，尤其是对于早期肺癌而言。

大量的临床证据表明，结节直径的增大与恶性肿瘤风险之间存在关联。因此，通过后续的 CT 评估来追踪动态结节变化，能够为潜在恶性风险的评估提供有价值的见解。

目前，这一过程需要放射科医生对每一张后续的 CT 图像进行人工审查；因此，结节变化的评估耗时且易受观察者间差异的影响。这种差异在中期 CT 扫描中存在细微但关键的细节时尤为明显，比如小支气管受累或血管侵犯——这些都是恶性肿瘤进展的关键指标。结节特征动态变化的自动化评估能够显著提高放射学效率，并有助于早期发现和及时管理肺癌高危患者。

在这项最新研究中，研究团队旨在利用 GPT-4o 的先进功能，通过个体患者的纵向 CT 随访图像来估计肺结节恶性的概率以及结节大小和特征的动态变化。通过模拟放射科医生在查看 CT 图像视频时所采用的视觉检查程序，该研究旨在评估 GPT-4o 准确评估结节特征随时间变化的能力，并确定 GPT-4o 在肺癌筛查和临床监测中提高诊断准确性和效率的潜力。

研究团队评估了最新的生成式预训练模型 GPT-4o 对 647 名患者 （其中 547 名来自中国医科大学第四附属医院和中国医科大学附属盛京医院，另外 100 名来自一个公共数据集） 的纵向 CT 扫描图像中肺结节恶性概率、大小和特征变化的评估能力。

结果显示，GPT-4o 在预测肺结节恶性程度方面，与病理结果相比平均准确率为 0.88，在测量结节大小方面，与放射科医生的手动测量相比，平均组内相关系数为 0.91。六位放射科医生的评估表明，GPT-4o 能够捕捉结节特征的变化，其 Likert 评分 评分的中位数为 4.17 （满分 5.00） 。

该研究的亮点：

• GPT-4o 在纵向 CT 图像中评估肺结节的恶性进展情况；

• GPT-4o 监测结节大小和纹理特征的动态变化；

• 与深度学习模型相比，GPT-4o 提供了可解释的预测结果；

• GPT-4o 提供精准的放射学见解，以支持临床决策。

总的来说，这项研究借助于当前多模态视觉大语言模型 对图像 （特别是视频数据） 的前沿解析能力，设计了基于 GPT-4o 的 CT 图像肺癌病变自动分析工作流程。该研究将单次扫描的连续 CT 图像组成视频，把每个患者多时间点随访 CT 视频数据依次输入 GPT-4o 的工作流程，结果发现，当前视觉大语言模型能够在 Prompt （提示词） 给定病变坐标的前提下，准确识别并分割出病变区域。基于所识别的病变区域，以标准放射学报告语言输出病变尺寸、边界、形态、纹理等影像征象在随访过程中的变化，并在动态随访监测过程中实时调整对病变区域癌变概率的评估，显著提高了肺癌病变风险预测精度。

总的来说， 这项研究 为临床上更精准地评估肺癌患者癌变风险概率，并为个体化的肺癌患者动态监测与临床管理提供了新思路。