北大三院团队构建可解释多模态深度学习模型用于结直肠癌预后评估

北京大学第三医院周鑫、付卫团队联合新南威尔士大学在 Advanced Science 发表研究，构建融合 H&E 病理图像与临床信息的多模态深度学习模型，用于结直肠癌术后生存风险预测。研究纳入北京大学第三医院、澳大利亚 MCO 和 TCGA 三个队列共 3381 例患者，模型输入为 H&E 全视野切片及年龄、性别、AJCC 分期三项临床变量，用病理基础模型 UNI2 提取图像特征，经注意力多实例学习聚合切片特征，再由交叉注意力模块融合病理与临床信息生成风险评分。