预测子宫内膜癌（endometrial cancer, EC）远处复发风险对个性化辅助治疗至关重要，传统的病理和分子检测方法尽管准确，但成本高昂，限制了其广泛应用。5月24日Nature Medicine的报道“Prediction of recurrence risk in endometrial cancer with multimodal deep learning”，介绍了一种名为HECTOR（基于组织病理学的子宫内膜癌量身定制的预后风险模型）的多模态深度学习模型，旨在通过使用苏木精-伊红染色（Hematoxylin and Eosin, H&E）全片图像和肿瘤分期数据，预测子宫内膜癌患者的复发风险。
HECTOR模型在包括PORTEC-1/-2/-3随机试验在内的八个子宫内膜癌队列（共2072名患者）中进行了开发和验证。HECTOR在内部测试集（n=353）和两个外部测试集（n=160和n=151）中分别表现出0.789、0.828和0.815的C指数（C-index），显著优于当前的标准方法。Kaplan-Meier分析显示，HECTOR模型能够将患者分为不同的风险组，低、中、高风险组的10年远处无复发率分别为97.0%、77.7%和58.1%。
在临床上，EC是高收入国家最常见的妇科恶性肿瘤，且发病率正在上升。尽管大多数局限性疾病的女性通过手术可以治愈，10-20%的患者会发展为远处复发，且通常无法治愈。辅助化疗虽可降低此风险，但伴随毒性。因此，现行指南建议基于临床病理风险因素和分子分类结果进行辅助治疗。然而，结合多种因素的复杂性、高度观察者间变异性以及分子检测的高成本和长周期，给临床实践带来了巨大挑战。
深度学习（DL）模型，尤其是使用数字化H&E染色肿瘤切片的模型，展示了巨大的潜力，能够超过标准病理学评估。HECTOR模型通过自监督学习和多模态三臂架构，融合了H&E染色全片图像的预测分子分类和手术评估的解剖分期，成功提高了预测的准确性。该模型在五倍交叉验证中的平均C指数为0.795，显著优于当前基于H&E图像和解剖分期的标准模型。
该研究还通过多元分析展示了HECTOR模型在预测辅助化疗获益方面的优势。尤其在PORTEC-3随机试验中，HECTOR高风险组接受辅助化疗的患者相比仅接受放疗的患者，远处无复发率显著提高。
HECTOR模型不仅在预测子宫内膜癌远处复发风险方面表现优异，还在辅助治疗获益的预测方面展现出巨大潜力。该模型的临床应用有望实现个性化治疗，提高患者预后，同时降低诊断成本和周期，推动精准医疗的发展。
Highlights
多模态深度学习模型HECTOR的开发和验证
HECTOR模型（基于组织病理学的子宫内膜癌量身定制的预后风险模型）是通过结合苏木精-伊红染色（Hematoxylin and Eosin, H&E）全片图像和肿瘤分期数据开发的。这一多模态（multimodal）深度学习（deep learning, DL）模型能够有效预测子宫内膜癌（endometrial cancer, EC）患者的远处复发风险。
在八个EC队列（包括PORTEC-1/-2/-3随机试验）中的2072名患者中进行了开发和验证，表现出优异的预测性能。
HECTOR流程图（Credit: Nature Medicine）
模型性能优于当前金标准
HECTOR模型在内部测试集（n=353）和两个外部测试集（n=160和n=151）中分别表现出0.789、0.828和0.815的C指数（C-index），显著优于当前结合病理和分子检测方法的标准。
Kaplan-Meier分析显示，HECTOR模型能够将患者准确分为低、中、高风险组，10年远处无复发率分别为97.0%、77.7%和58.1%。
HECTOR的测试效果（Credit: Nature Medicine）
结合病理和分子数据的多模态架构
HECTOR模型的多模态三臂架构（three-arm architecture）融合了H&E染色全片图像的预测分子分类（image-based molecular classification）和手术评估的解剖分期（anatomical stage）。
自监督学习（self-supervised learning）和注意力机制（attention mechanism）的使用提升了模型的表现，特别是在预测不同风险组患者的预后方面。
预测辅助化疗获益
HECTOR模型不仅能够预测远处复发风险，还能够有效预测辅助化疗（adjuvant chemotherapy）的获益。在PORTEC-3随机试验中，HECTOR高风险组患者接受辅助化疗后，远处无复发率显著提高。
这一点尤为重要，因为辅助化疗虽可降低复发风险，但伴随毒性，因此能够准确识别获益患者对临床治疗决策具有重要意义。
模型的临床应用前景
HECTOR模型使用的是临床常规诊断中广泛获得的两种输入：H&E染色肿瘤切片和高水平的临床肿瘤分期信息。这使得模型在临床实际应用中具备广泛的可行性和成本效益。
模型的成功验证有望实现子宫内膜癌患者的个性化预后评估和治疗决策，提高临床疗效并降低医疗成本。
深入的生物学解释和模型解释性
通过模型解释性（model explainability）和风险评分关联分析，研究揭示了多种与预后相关的生物学特征。例如，HECTOR低风险组与免疫细胞浸润（immune cell infiltrate）相关，而高风险组则表现出L1细胞黏附分子（L1CAM）和紧密连接蛋白（claudin-6, CLDN6）的上调。
这些发现不仅有助于理解子宫内膜癌的生物学机制，还可能为未来的靶向治疗提供新的思路。
HECTOR模型的设计为未来的扩展提供了可能性，例如整合连续的数字化H&E染色子宫切片、常规的免疫组织化学（immunohistochemistry, IHC）染色切片、术前影像数据（preoperative radiology images）等。
此外，模型的多模态架构也可应用于其他癌症类型的研究，提高这些领域的预后评估和治疗决策能力。
Strategies
数据收集和预处理
数据来源：研究收集了八个子宫内膜癌（Endometrial Cancer, EC）队列的数据，包括PORTEC-1、PORTEC-2和PORTEC-3随机试验。总共包含2072名患者的数据。
数据类型：包括苏木精-伊红染色（Hematoxylin and Eosin, H&E）全片图像（Whole-Slide Images, WSIs）和详细的临床病理数据（clinicopathological data），如肿瘤分期（tumor stage）、分子分类（molecular classification）等。
数据预处理：H&E染色图像经过数字化处理，生成高分辨率的WSIs。临床病理数据则被标准化和结构化以便后续分析。
模型设计和架构
HECTOR模型的总体架构：HECTOR是一个多模态深度学习模型，结合了H&E染色全片图像和解剖分期（anatomical stage）数据。模型架构包括两个主要步骤：自监督学习（Self-Supervised Learning）：利用视觉转换器（Vision Transformer）进行病理图像的局部特征学习。图像被分割成180μm大小的patch，然后进行特征提取。
多模态三臂架构（Multimodal Three-Arm Architecture）：融合H&E图像、图像预测的分子分类（image-based molecular classification）和解剖分期（anatomical stage）信息。使用注意力机制（attention mechanism）进行特征融合和风险预测。
模型训练和验证
训练数据集：从八个子宫内膜癌队列中选取1408名患者的数据进行模型训练，采用五折交叉验证（Five-Fold Cross-Validation）方法。
验证数据集：内部测试集（n=353）和两个外部测试集（n=160和n=151）用于验证模型性能。
训练方法：采用多任务学习（Multitask Learning）方法，目标包括预测远处复发风险和分子分类。使用负对数似然损失函数（Negative Log-Likelihood Loss）进行优化。
模型性能评估
评估指标：使用一致性指数（C-index）评估模型性能，分析Kaplan-Meier曲线以比较不同风险组的远处无复发率（Distant Recurrence-Free Probabilities）。
实验结果：HECTOR模型在内部测试集和外部测试集中的C指数分别为0.789、0.828和0.815，显著优于当前的临床标准方法。
辅助化疗获益预测
评估HECTOR模型在预测辅助化疗（Adjuvant Chemotherapy）获益方面的效果。使用PORTEC-3随机试验数据（n=442），其中包含225名接受化疗的患者，这些数据未用于模型训练。Kaplan-Meier曲线显示，HECTOR高风险组接受辅助化疗的患者相比仅接受放疗的患者，远处无复发率显著提高。
模型解释性和生物学关联
解释性分析：使用归一化积分梯度法（Normalized Integrated Gradient, IG）评估H&E图像、图像预测分子分类和解剖分期对模型预测的贡献。
生物学特征关联：分析发现HECTOR低风险组与免疫细胞浸润（Immune Cell Infiltrate）相关，而高风险组表现出L1细胞黏附分子（L1CAM）和紧密连接蛋白（Claudin-6, CLDN6）的上调。
Behind the Scenes
HECTOR模型的优势
准确性：HECTOR模型通过多模态深度学习技术，结合了病理图像和临床数据，能够更准确地预测子宫内膜癌患者的远处复发风险。相较于传统的病理和分子检测方法，HECTOR模型的预测性能更为优异，表现出更高的C指数和更精准的风险分组能力。这意味着HECTOR模型可以帮助临床医生更好地识别出具有高风险的患者，及时采取有效的治疗措施，从而提高患者的预后和生存率。
成本效益性：相较于传统的病理和分子检测方法，HECTOR模型具有更高的成本效益性。传统的检测方法往往需要昂贵的实验设备和复杂的操作流程，并且需要长时间才能得出结果。而HECTOR模型利用数字化病理图像和临床数据，通过深度学习算法进行分析，能够在较短的时间内快速、准确地预测患者的远处复发风险，降低了诊断和治疗的成本。
可解释性：HECTOR模型具有较高的可解释性，能够解释其预测结果的依据和推理过程。通过模型解释性分析，可以清晰地了解H&E图像、分子分类和解剖分期在预测中的作用和贡献。这种可解释性有助于临床医生理解模型的预测结果，并为临床决策提供科学依据。与黑匣子式的传统机器学习模型不同，HECTOR模型的可解释性使其更易于被临床医生接受和应用。
临床应用前景
个性化治疗决策：HECTOR模型能够根据患者的病理图像和临床数据准确预测子宫内膜癌患者的远处复发风险。这为临床医生提供了重要的参考信息，有助于个性化制定治疗方案。通过将患者分为低、中、高风险组，医生可以根据患者的具体情况调整手术范围、选择是否需要辅助化疗以及确定适当的药物和剂量，从而最大程度地提高治疗效果。
辅助化疗获益预测：在辅助化疗方面，HECTOR模型不仅能够预测患者的远处复发风险，还能够有效预测患者是否能从辅助化疗中获益。通过在临床试验数据中验证模型的预测效果，发现高风险组接受辅助化疗后远处无复发率显著提高。这意味着HECTOR模型可以帮助临床医生更准确地识别出需要辅助化疗的患者，避免对于不会获益的患者进行不必要的治疗。
临床试验设计：HECTOR模型不仅在临床实践中有着重要的应用价值，在临床试验设计中也具有潜在的应用前景。模型可以作为临床试验的重要工具，用于预测患者的远处复发风险，并根据预测结果分配治疗方案。这有助于更准确地评估新治疗策略的疗效和安全性，加快新药开发和临床转化的进程。
临床实践中的挑战和限制
模型的泛化能力：HECTOR模型在开发和验证阶段表现出了良好的性能，但在将其应用于不同医疗中心或不同人群时，其泛化能力是一个重要的问题。由于医疗中心之间的数据分布可能存在差异，模型在不同数据集上的性能可能会有所下降。因此，需要进一步研究和验证HECTOR模型的泛化能力，以确保其在不同环境中的可靠性和稳定性。
数据获取和质量：HECTOR模型的性能受到数据质量和数量的影响。在实际临床应用中，获取高质量和丰富多样的数据是一个挑战。首先，需要收集大量的病理图像和临床数据，并对其进行标准化和结构化处理。其次，需要确保数据的质量和准确性，避免数据中的噪声和偏差对模型性能的影响。
隐私保护：在利用病理图像和临床数据进行模型训练和应用时，隐私保护是一个重要的考虑因素。由于这些数据涉及患者的个人信息和医疗记录，必须采取有效的隐私保护措施，以确保数据安全和患者隐私的保护。因此，在开发和应用HECTOR模型时，需要遵循相关的隐私法规和伦理标准，采取适当的数据安全措施，如数据加密、匿名化和访问控制，以保护患者的隐私权。
原文链接
Volinsky-Fremond S, Horeweg N, Andani S, Barkey Wolf J, Lafarge MW, de Kroon CD, Ørtoft G, Høgdall E, Dijkstra J, Jobsen JJ, Lutgens LCHW, Powell ME, Mileshkin LR, Mackay H, Leary A, Katsaros D, Nijman HW, de Boer SM, Nout RA, de Bruyn M, Church D, Smit VTHBM, Creutzberg CL, Koelzer VH, Bosse T. Prediction of recurrence risk in endometrial cancer with multimodal deep learning. Nat Med. 2024 May 24. doi: 10.1038/s41591-024-02993-w. Epub ahead of print. PMID: 38789645.
https://www.nature.com/articles/s41591-024-02993-w