撰文： Even

IF=69.5

推荐度： ⭐⭐⭐⭐⭐

亮点：

1 、 FastGlioma 能够在手术过程中快速、无创地对肿瘤边界进行高分辨率检测

2 、模型在不同人群和医疗环境中能适应各种分型、分子遗传特征的胶质瘤亚型

3 、模拟临床干预试验证明了 FastGlioma 作为手术辅助手段的可行性和安全性

近日，密歇根大学 Todd Hollon 课题组在 Nature 上发表题为 : Foundation models for fast, label-free detection ofglioma infiltration 的研究性论文。作者提出了 FastGlioma ，一种快速 (<10s) 和准确检测新鲜手术组织中胶质瘤浸润的视觉基础模型。

胶质瘤治疗的一个关键挑战是在手术中检测肿瘤浸润，以实现安全的最大切除。不幸的是，大多数胶质瘤患者术后仍存在可安全切除残余肿瘤，导致早期复发和生存率降低。

在这里，作者提出了 FastGlioma ，一种快速和准确检测手术组织中胶质瘤浸润的视觉基础模型。 FastGlioma 在快速、无标记的光学显微镜下使用大规模自我监督 ( 约 400 万张图像 ) 进行预训练，并进行微调以输出一个标准化的评分，该评分表明肿瘤浸润程度。

在一项前瞻性、多中心、国际弥漫性胶质瘤患者检测队列 (n = 220) 中， FastGlioma 能够检测并量化肿瘤浸润程度。在一项前瞻性研究中， FastGlioma 在手术期间检测肿瘤浸润方面的表现优于图像引导和荧光引导辅助手段。根据世界卫生组织的定义， FastGlioma 在不同的患者人口统计、医疗中心和弥漫性胶质瘤分子亚型中表现仍然优异。

FastGlioma 在其他成人和儿童脑肿瘤诊断中显示出通用性，表明该基础模型有可能被用作指导脑肿瘤手术的通用辅助工具。这些发现代表了医学基础模型的变革潜力，可以释放人工智能在癌症患者护理中的作用

1 、 FastGlioma 工作流

图 1. FastGlioma 工作流

作者提出了一种名为 FastGlioma 的创新性大脑肿瘤诊断工作流程，将刺激 Raman 成像 (SRH) 技术与深度学习模型相结合。在手术切除过程中，通过采集肿瘤边缘组织并使用 SRH 进行快速光学成像，可实现无创、高分辨率的组织信息采集。研究者基于 3000 多名患者的大型 SRH 图像数据集，采用两阶段自监督学习方法训练出一个性能优异的视觉 transformer 模型，能够在全分辨率 (90.2% 准确率 ) 或快速低分辨率 (88.0% 准确率 ) 模式下，对包括低级别及恶性胶质瘤在内的多类大脑肿瘤进行快速诊断。

该工作流程可无缝集成到手术切除过程中，为临床提供术中肿瘤边界检测的重要支持，为精准的手术导航和术后辅助治疗决策提供依据。这种创新的融合了先进成像和人工智能技术的诊断方法，为提高大脑肿瘤手术的安全性和疗效开辟了新的可能。

2 、前瞻性临床试验结果

图 2. 前瞻性临床试验结果

作者在一个涵盖美国和欧洲三家三级医疗中心的多中心前瞻性队列中，对 FastGlioma 模型的泛化性进行了全面评估，共纳入 220 名弥漫性胶质瘤患者，获得 1426 个 SRH 图像样本。结果显示， FastGlioma 在区分四级胶质瘤侵袭程度方面达到了 92.1±0.9% 的平均 AUROC ，且模型输出的侵袭评分与实际评分相关。重要的是，通过视觉预训练，该模型能够在 10 倍成像速度的低分辨率模式下保持出色的诊断性能。

模型性能在不同人群特征和医疗中心中保持稳定，且能适应不同 WHO 分型、分子遗传特征和治疗效应的胶质瘤亚型。相比基于细胞密度 / 分割的方法， FastGlioma 在低细胞密度区域的表现更优。这一大规模多中心前瞻性验证充分证明了 FastGlioma 模型在临床应用中的出色泛化性和诊断能力。

3 、可解释的快速胶质瘤预测结果

图 3.可解释的快速胶质瘤预测结果

作者开发了一种称为 "Few-shot Visualization" 的可解释性可视化策略，用于直观地展示 FastGlioma 模型检测到的肿瘤侵袭区域。该方法利用模型的自监督训练特性，仅需少量临床医生选择的参考图像样本，就可以生成肿瘤侵袭热图，突出显示肿瘤浸润的区域。这种基于基础模型的可解释性框架具有良好的灵活性，可以随时调整参考样本，而无需重新训练模型。

在多中心临床验证中， Few-shot Visualization 展现了出色的泛化性能，能够可靠地识别不同程度侵袭和分子亚型的胶质瘤样本中的肿瘤浸润区域。令人惊喜的是， FastGlioma 还展现了 " 零样本泛化 " 的医学基础模型特性，能够准确检测非胶质瘤肿瘤，如转移性脑肿瘤、中枢神经系统淋巴瘤、胚胎瘤和脑膜瘤等。

这种融合先进可视化技术的人工智能诊断方法，不仅可以辅助临床医生更好地理解模型的预测依据，也有望推广到其他类型的人类肿瘤诊断，为医学人工智能应用的可靠性和可信度提供有力支撑。

4 、模拟临床试验结果

图 4.细胞间相互作用和多克隆到单克隆的进化模型

作者最后评估了 FastGlioma 作为手术辅助手段的可行性和安全性，将其与目前标准临床手术辅助手段 (MRI 导航和 5-ALA 荧光导航 ) 进行了前瞻性对比，共纳入 129 名弥漫性胶质瘤患者， 624 个手术标本。结果显示， FastGlioma 在识别肿瘤浸润区域方面明显优于对照组， AUROC 分别达到 98.1% 、 76.3%(FLAIR) 、 71.8%( 对比增强 ) 和 89.0%(5-ALA) 。尤其是在 FLAIR 阳性区域， FastGlioma 能够准确区分肿瘤浸润和脑水肿， AUROC 高达 98.7% 。

更重要的是，在 FastGlioma 组，只有 3.8% 的患者存在高风险的肿瘤遗漏 ( 即手术后残留可切除的肿瘤 ) ，而在对照组则高达 24.0% 。这意味着若仅依赖当前标准手术辅助手段，患者存在 6.3 倍的风险出现这种高危情况。

FastGlioma 结合 SRH 实时无标记光学成像，克服了现有辅助手段如荧光不足、放射学特征非特异性、脑位移等固有局限性，能够为弥漫性胶质瘤手术提供更精准和有效的支持。这一模拟干预试验充分证明了 FastGlioma 作为手术辅助手段的可行性和安全性。 FastGlioma 优于标准图像引导和荧光引导术中肿瘤浸润检测的方法。 FastGlioma 可以推广到其他儿科和成人脑肿瘤诊断，显示其作为指导脑肿瘤手术的通用医学基础模型的潜力。

作者介绍

Todd Hollon ，密歇根医学院神经外科机器学习实验室（ MLiNS ）首席研究员。 Hollon 的临床兴趣包括颅底和恶性脑肿瘤的诊断和治疗，包括垂体瘤、脑膜瘤和胶质瘤。 Hollon 博士致力于提供全面的肿瘤学护理，提高患者的整体生活质量。他的研究包括利用计算机科学和人工智能来改善脑肿瘤患者的诊断和治疗。目前，他的工作重点是使用先进的术中成像方法来提高肿瘤诊断和肿瘤边缘检测的速度和准确性。

参考文献

Kondepudi A, Pekmezci M,Hou X, et al. Foundation models for fast, label-free detection of gliomainfiltration. Nature . Published online November 13, 2024.doi:10.1038/s41586-024-08169-3