前沿分享 | 基于深度学习技术的多模态响应预测病理完全缓解在乳腺癌新辅助治疗中的应用

2024-12-3

分享者导读

近日， Nature Communications杂志刊登了题为“An explainable longitudinal multi-modal fusion model for predicting neoadjuvant therapy response in women with breast cancer”的研究，这篇文献介绍了一种多模态响应预测（MRP）系统的新模型，该模型利用深度学习对女性乳腺癌患者的新辅助治疗（NAT）反应进行预测。MRP系统通过整合跨模态知识挖掘和时间信息嵌入策略，处理缺失模态数据，并适应不同的NAT临床场景。该研究通过多中心研究和多国乳腺放射科专家研究验证了MRP系统的稳健性，并发现其在预测病理完全缓解（pCR）方面的性能优于放射科医生。此外，该系统在处理缺失模态数据和适应不同NAT场景方面表现出了较强的适应性，对于NAT的选择和确定手术范围有一定指导意义。研究结果支持MRP系统在真实世界临床环境中的潜在应用，为乳腺癌治疗的个性化管理提供了新的工具。

研究背景和目的

乳腺癌作为全球女性中最常见的癌症，其新辅助治疗（NAT）是否达到病理完全缓解（pCR）是评估治疗效果和预测患者预后的关键指标。然而，准确评估NAT在不同治疗阶段的响应是一个复杂任务。尽管已有研究探索了血清学或遗传生物标志物来预测pCR，但这些方法因成本高和大规模验证有限而未广泛用于临床实践。此外，基于深度学习的模型在预测pCR方面显示出潜力，但现有研究往往忽视了对临床路径实际情况的适应性，以及在不同医疗中心的实用性和整体泛化能力。因此，该研究提出了基于深度学习技术的多模态响应预测（MRP）系统，旨在通过整合放射学、组织病理学、临床和个人多模态信息，模拟现实世界中医生对NAT反应的评估，并在多中心和多国乳腺放射科专家研究中验证了其稳健性，以提高预测pCR的准确性，并可能对NAT的临床决策产生深远影响。

研究方法和数据集

(1)数据集（见图1、图2）：

①内部数据集：包括3,352名在荷兰癌症研究所接受NAT治疗的乳腺癌患者的详细多模态数据。数据涵盖Pre-NAT乳腺X线摄影（MG）信息和纵向磁共振（MRI）信息。包括放射学信息（r）、组织病理学信息（h）、个人因素（p）和临床数据（c）。将数据集随机分为训练集、验证集和测试集。从测试集中进一步随机选择了120名患者组成测试队列A（test cohort A）；

②杜克大学数据集（test cohort B）：来自美国杜克大学医学中心的乳腺癌MRI数据集，纳入288名患者。仅包括Pre-NAT阶段的MRI信息；

③福建省立医院数据集（test cohort C）：来自中国福建省立医院的85名患者的数据集，包括Pre-NAT MG信息、Pre-和Post-NAT阶段的MRI信息；

④I-SPY2数据集（test cohort D）：来自在美国多个临床中心进行的I-SPY2研究，纳入508名患者的数据集，包括Pre-，Mid-，Post-NAT阶段的MRI信息。

图1 内部数据集处理流程图

图2 外部数据集处理流程图

(2)模型的开发（见图3）：

①包括两个独立训练的模型：iMGrhpc（基于Pre-NAT MG和rphc数据）和iMRrhpc（基于纵向MRI和rphc数据），这两个模型都包含两个模块：一个模块用于跨模态知识学习，仅使用成像特征预测rphc信息；另一个模块使用整合的rphc和影像特征进行响应预测；

②使用深度神经网络（DNN）从影像数据中提取特征，通过多层感知机（MLP）处理rphc特征，并整合到模型中；

③为了处理纵向数据，模型嵌入了特定于NAT阶段（Pre-NAT、Mid-NAT和Post-NAT）的时间信息；

④实现跨模态知识挖掘策略，以增强模型对影像特征的提取能力，并提高影像模态的贡献；

⑤通过优化权重集成iMGrhpc和iMRrhpc模型的预测，以提供最佳的多模态融合性能。

图3 模型开发示意图

(3)评估模型性能：

①用接收者操作特征曲线（ROC）衡量模型区分pCR和非pCR能力的整体性能；

②用精确召回曲线（PRC）评估模型在正类别不平衡情况下的表现；

③采用决策曲线分析（DCA），通过比较不同决策阈值下的预期结果来评估模型的净效益，并考虑了患者和医生的偏好；

④通过集成梯度分析（IG）识别对模型预测结果影响最大的关键特征；

⑤使用消融分析（AS）评估跨模态知识预测器和时间嵌入组件对模型的影响。

研究结果与结论

(1)MRP系统在预测pCR方面表现出与乳腺放射科医生相当的鲁棒性，并在Pre-NAT阶段的预测中优于人类，ΔAUROC在内部和外部数据集上分别提高了14% （图4） 和10% （图5） ；

图4 在内部测试集A上基线模型和MRP模型以及6名放射科专家在NAT不同阶段的表现

图5 在外部测试集B上基线模型与iMRrhpc模型以及两个放射科专家在Pre-NAT阶段的表现

(2)MRP系统使用IG进行模态贡献分析，发现与pCR预测最显著相关的特征与组织病理学和放射学因素以及图像输入有关 （图6） ；

图6 模态贡献分析

(3)MRP系统在不同亚组中进行分析，以确定模型在任何评估类别中的性能，并探索哪些群体可能从模型中获得更大的益处；

(4)MRP系统在Pre-/Mid-NAT阶段预测非pCR患者，以便及时调整NAT方案，同时在Post-NAT阶段识别pCR患者，考虑减少手术的可能性；

(5)MRP系统通过整合跨模态知识挖掘和时间信息嵌入策略，处理缺失模态数据，并减少不同NAT阶段的影响。该系统设计模仿现实世界中医生对NAT反应的评估。

研究启发

(1)研究者可以探索更多种类的多模态数据（如数字病理切片、超声等）在乳腺癌治疗反应预测中的应用，以提高模型的准确性和泛化能力；

(2)未来可开展前瞻性临床试验来验证MRP模型的临床效果，特别是在不同人群和医疗环境中的适用性；

(3)进行经济学评估，分析引入MRP模型可能带来的成本效益，为医疗决策提供更多维度的支持；

(4)研究如何使MRP模型能够适应新的治疗策略和不断变化的临床实践，保持模型的时效性和相关性。

这些启发不仅有助于推动乳腺癌治疗预测模型的发展，也为其他癌症类型和疾病领域的研究提供了新的思路和方法。

文献来源：

Gao,Y. , Ventura-diaz,S. , Wang,X. , He,M. , Xu,Z. , Weir,A. , Zhou,H. , Zhang,T. , Van duijnhoven,F.H. ,& Han , L.(2024).An explainable longitudinal multi-modal fusion model for predicting neoadjuvant therapy response in women with breast cancer.Nature Communications,15(1),. https://doi.org/10.1038/s41467-024-53450-8

原文链接：

https://www.nature.com/articles/s41467-024-53450-8

分享者简介

魏梦姣

本硕就读于山东大学齐鲁医学院—临床医学5+3一体化专业（研究方向为甲状腺乳腺疾病的临床及基础研究）；博士在读于重庆大学智能肿瘤学教育部医药基础研究创新中心（研究方向为乳腺肿瘤学）。曾参与省重点研发项目，目前已发表文章2篇，以第一作者身份发表文章1篇。

编辑|曾海蓉李劲

版权声明：本文为“乐问号”作者或机构在乐问医学上传并发布，仅代表该作者或机构观点，不代表乐问医学的观点或立场，不能作为个体诊疗依据，如有不适，请结合自身情况寻求医生的针对性治疗。
链接：http://www.lewenyixue.com/2024/12/03/%E5%89%8D%E6%B2%BF%E5%88%86%E4%BA%AB%20%7C%20%E5%9F%BA%E4%BA%8E%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%8A%80%E6%9C%AF%E7%9A%84%E5%A4%9A%E6%A8%A1%E6%80%81%E5%93%8D/

THE END

选择性抑制肿瘤！复旦大学发文：发现肝内胆管癌治疗新药

<<上一篇

STTT | 北协和赵宏课题组揭示结肠癌肝转移新机制：TRPS1基因突变的关键作用

下一篇>>