基于多组学信息融合的乳腺疾病人工智能诊断预测模型的开发和构建研究

基于目标人群的临床信息、多时序影像学及光学检查[包括 B 超、彩色多普勒、弹性成像、钼靶、磁共振、胸部 CT、3D 光学分子成像（DOT）、拉曼光谱、多模态显微成像（明场、荧光、偏光）等]、呼出气体、血液、唾液、大小便、病灶新鲜组织等标本类型，开发基于临床信息、超等单一组学或多组学融合的人工智能模型。我们将进一步验证和对比不同模型在未来罹患乳腺疾病风险预测、乳腺病灶良恶性鉴别、乳腺病灶组织学类型鉴别、乳腺癌分子亚型预测、腋窝淋巴结状态预测、乳腺病灶术中快速智能诊断、乳腺癌患者新辅助疗效预测、乳腺癌术后辅助治疗疗效预测、乳腺癌术后复发预测、乳腺疾病预后预测等方面的综合表现。

子课题 1：基于多模态影像、3D 光学分子成像及血清代谢组学的乳腺病灶多组学融合深度学习无创数字活检技术的开发研究 在回顾性及前瞻性的研究队列中开发基于临床信息、多模态超声影像（B 超、彩色多普勒、弹性成像）、钼靶、3D 光学分子成像（DOT）及血清代谢组学等单一组学或多组学融合的人工智能模型，并验证其在乳腺病灶良恶性预测和组织学类型鉴别上的综合表现。 并期待通过构建多模态、多组学信息融合的深度学习模型实现在组织学类型（良性、原位癌、浸润性癌、浸润伴原位）预测任务上达到甚至超过首次穿刺活检的病理学专家水平，从而开发出具有临床适用性的智能化无创数字活检技术，取代传统的有创活检，减少患者的医疗成本，医保成本，改变当前的临床诊疗模式，实现临床诊疗实践的极大改善。

子课题 2：胸部 CT 对比及联合钼靶用于乳腺及腋窝淋巴结状态评估的研究 近期报道显示，基于深度学习的胸部 CT，在评估乳腺肿瘤的良恶性风险上具有较好的表现。同时考虑到 MG 图像的重叠，对病灶的多灶性评估受限，以及 MG 在评估腋窝 ALN 转移状态上受体位的限制不能拍摄到深部的腋窝淋巴结；结合胸部 CT 在乳腺立体成像，以及腋窝成像方面的优势，我们提出如下假说：即相对于传统 MG，基于胸部 CT 的深度学习，能够更精准的进行 BI-RADS 分类，钙化及多灶性评估，更精准的进行 ALN 状态评估，优化 ALN 处理流程，减少不必要的腋窝淋巴结 FNA/CNB 和 SLNB；另外，胸部 CT 联合钼靶的多模态深度学习模型将进一步提高良恶性及组织学类型预测的准确性，从而进一步优化 BI-RADS 分类，优化活检方式选择及减少不必要的活检。 综上所述，本研究旨在基于回顾性及前瞻性队列数据评估胸部 CT 对比及联合钼靶用于乳腺及腋窝淋巴结状态评估的表现并构建相应的临床适用的深度学习模型。

子课题 3：基于不规律间隔时间的多时序多节点影像进行乳腺病灶良恶性、病理类型及腋窝淋巴结状态预测 临床上很多 MG1-3 类，甚至 4 类患者选择密切随访，而非积极的活检手术。因此存在很多的带瘤生存的患者。在临床上常遇到的一个情况是，同一个患者在就诊时，除此次就诊所检查的 MG 外，在前期已经分别于不同时间节点做过 1 次或多次 MG 检查。如何有效整合利用多节点的影像检查信息，为患者提供更精确有效的恶性风险预测，是患者和医生的诉求。 本研究旨在开发可以利用不规律随访间隔的多时序影像检查的模块化深度学习模型，该模型更加符合真实的临床应用场景，对于有效整合利用既往的医疗资源，实现更精确的诊疗具有重要的临床和经济学价值。 另外，除 MG+临床信息外，临床上同一患者可能尚有多时序节点的 US，CT，MR 等影像资料可以被利用。因此本研究旨在进一步的实现多模态、多组学、多时序资料有机整合利用。

子课题 4：基于单时序单节点及不规律间隔时间的多时序多节点影像进行乳腺病灶良恶性及病理类型未来发生风险预测 本研究旨在基于单时序单节点及不规律间隔时间的多时序多节点影像构建多模态、多组学深度学习模型，实现对患者未来 1、2、3 年内良恶性风险、组织学类型也腋窝淋巴结状态的准确预测，以及未来影像学 BI-RADS 分类动态变化的预测。本研究旨在准确预测未来潜在的疾病发生风险，从而筛选高危人群，指导不同风险患者的随访间隔建议。高危的建议较短的随访间隔，低危的则建议稍长一点的复查间隔，从而实现个性化随访建议及医疗资源的更合理分配。 另外，开发的可以利用不规律随访间隔的多时序影像检查的多模态深度学习模型，更加符合真实的临床应用场景，对于有效整合利用既往的医疗资源，实现更精确的诊疗具有重要的临床和经济学价值。 另外，除 MG+临床信息外，临床上同一患者可能尚有多时序节点的 US，CT，MR 等影像资料可以被利用。因此本研究旨在进一步的实现多模态、多组学、多时序资料有机整合利用。

子课题 5：基于多组学融合的深度学习模型用于乳腺癌新辅助疗效预测 在回顾性及前瞻性的研究队列中开发基于临床信息、多时序影像学及光学检查[包括 B 超、彩色多普勒、弹性成像、钼靶、磁共振、胸部 CT、3D 光学分子成像（DOT）]及血清代谢组学等单一组学，或多组学融合的人工智能模型，并验证其在乳腺癌新辅助疗效预测的综合表现。

子课题 6：基于多模态显微成像与谱像融合的乳腺癌术中快速智能诊断 基于乳腺病灶术中新鲜组织的拉曼光谱及多模态显微成像（包括明场、偏光和荧光显微成像）构建多模态深度学习诊断模型，实现同步采集、图像处理及数据融合。进一步开发数字诊断系统实现术中快速智能诊断，并和传统的术中冰冻病理的表现进行对比评估。

子课题 7：基于多模态多组学信息融合的深度学习系统用于预测乳腺疾病术后复发和预后分层 基于多模态多组学信息融合构建模块化深度学习系统，用于预测乳腺疾病术后复发风险，包括良性疾病术后和乳腺癌术后复发风险；另外，对患者人群进行预后分层，从而挑选出术后复发风险较高的患者人群，进而加强术后随访和诊疗。