开云优惠体育网页版入口

专利名称：一种基于多源异构数据的阿尔茨海默症可解释、个体可视化及群体可视化方法

专利类型：发明专利

专利申请号：CN202410775752.9

专利申请（专利权）人：山东未来网络研究院(紫金山实验室工业互联网创新应用基地)
权利人地址：山东省济南市市中区山东大学国家大学开云优惠体育网页版入口园7号楼14层

专利发明（设计）人：徐山,涂燕晖,程海博,相佳瑞

专利摘要：本发明提供了一种基于多源异构数据的阿尔茨海默症可解释、个体可视化及群体可视化方法，属于可解释性人工智能技术领域。首先使用其他时空点上的脑子块数据训练出卷积神经网络；冻结该卷积神经网络的权重和结构；将当前场景的少量脑子块数据送入已冻结权重和结构的卷积神经网络，使用三维图像解释模块分别定量得到大脑子块预测结果为认知正：桶⒍群Ｄ⑹备飨袼氐姆缦罩，按风险值大小倒序排列；分别选取认知正常类和阿尔兹海默症类的像素的风险值，与预测者的表格型数据拼接成一行数据作为一个样本送入堆叠模型进行训练和测试。本发明采用基于特征的迁移学习结构，能够同时处理多源异构样本数据的预测和解释。

主权利要求：
1.一种基于多源异构数据的阿尔茨海默症可解释方法，其特征在于，包括：基于大脑子块建立并训练卷积神经网络模型，挖掘用于区分认知正常类和阿尔兹海默症类的高特异性语义，冻结已训练出的卷积神经网络模型的结构和权重，封存已学习到的能区分认知正常类和阿尔兹海默症类的通用知识，保证通用知识不改变；
将当前场景的大脑子块数据送入已冻结权重和结构的卷积神经网络，进行前向计算，获得相应的通用知识；
使用三维图像解释模块分别定量得到大脑子块预测结果为认知正：桶⒍群Ｄ⑹备飨袼氐姆缦罩担
将风险值按大小倒序排列，分别取当前场景的大脑子块数据预测结果为认知正常类和阿尔兹海默症类的前 个高风险值以及预测者当前的表格型数据作为样本特征送入堆叠模型，并训练该堆叠模型；
采集求测者的大脑子块数据并将其送入已训练的卷积神经网络，量化出基于三维图像的群体和个体的体像素贡献值，采集求测者的表格型数据以及卷积神经网络得到的高风险特征送入堆叠模型，量化出基于表格型数据的个体和群体的特征贡献值；
表格型数据包括年龄、教育水平、社会经济地位、简易精神状态检查、临床痴呆评定分数、脑总容量以及白质体积；
堆叠模型分三层，第一层为4个学习器，第二层为3个学习器，第三层为1个学习器；其中，第一层学习器1和学习器2的预测结果作为学习器5的输入，学习器2和学习器3的预测结果作为学习器6的输入，学习器3和学习器4的预测结果作为学习器7的输入；第二层学习器
5、学习器6和学习器7的预测结果作为学习器8的输入；学习器8的预测结果为堆叠模型最后的预测结果；
所述学习器1为lightGNM算法，学习器2为AdaBoosting算法，学习器3为随机森林算法，学习器4为XGBoost算法，学习器5为NaiveBayes算法，学习器6为决策树算法，学习器7为KNN算法，学习器8为逻辑回归算法；
堆叠模型使用KernelSHAP算法量化出个体和群体的重要性。
2.根据权利要求1所述的基于多源异构数据的阿尔茨海默症可解释方法，其特征在于，卷积神经网络模型依次包括输入层、五个Block层和输出层，第一Block层、第二Block层、第三Block层、第四Block层包括依次包括3D卷积层、3D最大池化层、3D标准化层、LeakyRelu层、Dropout层，第五Block层依次包括flatten层、全连接层、LeakyRelu层、全连接层，其中
3D卷积层的超参数通过遗传算法确定。
3.根据权利要求2所述的基于多源异构数据的阿尔茨海默症可解释方法，其特征在于，三维图像解释模块具体如下：获取第三Block层的LeakyRelu层输出的特征图集 ；
将大脑子块经过已训练的卷积神经网络模型处理，获取其未通过softmax函数之前的数值 ， 表示分类为认知正常的数值； 表示分类为阿尔兹海默症的数值；
将特征图 所有像素点级别的权重取平均值得到特征图集中的特征图 的重要性 ；
将线性化后的特征图集 加权求和并激活得到预测类别为 的激活后的特征图；
使用三线性插值将 上采样到三维脑子块的尺寸，得到大脑子块风险特征图。
4.一种基于多源异构数据的阿尔茨海默症个体可视化方法，其特征在于，包括：使用权利要求1?3任一所述方法的三维图像解释模块获取个体大脑子块各像素的风险值；
将个体所有大脑子块根据像素级别取风险均值；
计算个体全脑像素级别的风险值并对病灶分割得到个体全脑风险可视化图。
5.一种基于多源异构数据的阿尔茨海默症群体可视化方法，其特征在于，包括：使用权利要求1?3任一所述方法的三维图像解释模块获取群体大脑子块各像素的风险值；
将群体中每个个体的所有大脑子块根据像素级别取风险均值；
获取群体中每个个体通过使用权利要求1?3任一所述方法的卷积神经网络模型预测结果和真实结果；
计算群体每个像素点的像素级别的马修相关系数 ，获得全脑像素的马修相关系数，根据系数大小获取群体三维全脑的关键点，并可视化；
所述马修相关系数公式如下：
，
其中， 表示预测结果为阿尔兹海默症患者，预测结果与真实结果一致； 表示预测结果为阿尔兹海默症患者，预测结果与真实结果相反； 表示预测结果为认知正常，预测结果与真实结果一致； 表示预测结果为认知正常，预测结果与真实结果相反。
6.一种基于多源异构数据的阿尔茨海默症可解释装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1?3任一所述的基于多源异构数据的阿尔茨海默症可解释方法。 说明书 : 一种基于多源异构数据的阿尔茨海默症可解释、个体可视化
及群体可视化方法技术领域[0001] 本发明涉及一种基于多源异构数据的阿尔茨海默症可解释、个体可视化及群体可视化方法，属于可解释性人工智能技术领域。背景技术[0002] 当前主要使用的是临床手段完成阿尔茨海默症的筛查。主要筛查方法包括：脑脊液检查、脑电图检查、头颅CT检查、头颅磁共振检查以及生物标志物等检查。这些临床方法久经理论和实践验证，在病理可解释方面具有优势。然而诊断阿尔茨海默症的临床方法存在如下问题：（1）该疾病诊断困难。医生主观决策准确度与其专业技术和经验阅历相关，即便有丰富经验的专家，诊断准确性也普遍低于其他疾病。（2）不具备规避阿尔茨海默症的干预时间。临床方法一旦筛查出病人为阿尔茨海默症患者，这将成为既定事实，对素有不治之症之称的阿尔茨海默症来说，预防比治疗的意义更大。所以，开发出一种预测准确性高、具备阿尔茨海默症早期预警功能且解释性强的数据驱动决策算法势在必行。[0003] 随着深度学习算法以及（GraphicsProcessingUnit，图形处理器）GPU的不断迭代升级，使用脑部（MagneticResonanceImaging，磁共振成像）MRI完成阿尔茨海默症早期预警的开发已经成为现实。鉴于潜在阿尔茨海默症的隐匿性和复杂性，通常需要多张MRI图像才能表征出潜在的三维病灶，所以三维深度学习算法更适用于阿尔茨海默症的早期预警模型开发。文献NeuroimageClin(AutomatedclassificationofAlzheimer'sdiseaseandmildcognitiveimpairmentusingasingleMRIanddeepneuralnetworks)使用端到端的三维卷积神经网络完成阿尔茨海默症的早期预警。该发明将沿用上述文献的三维卷积提取空间特征的策略，但使用脑部子块作为样本以扩增样本数量并提高脑部病灶可视化的分辨率。[0004] 另外注意到，涉及图像分类、检测以及分割的深度学习算法，广泛使用迁移算法。基于不同国家、人种以及年代的MRI数据开发的阿尔茨海默症预警模型存在差异性和通用性，迁移算法实质是将已有模型的特征或（和）模型参数作为新场景下待开发模型的初始特征或（和）模型参数，然后使用新场景下少量样本训练得到新的预警模型。这样既保证场景之间的通用性又能体现出场景的差异性，提高了新模型的泛化能力。文献FrontBioengBiotechnol(Alzheimer'sDiseaseDetectionThroughWhole?Brain3D?CNNMRI)使用了基于特征的迁移算法用于(Computer?AidedDiagnosisofDementia,计算机辅助诊断的老年痴呆)CADDementia竞赛，该文献先在（Alzheimer’sDiseaseNeuroimagingInitiative，阿尔茨海默症神经影像学倡议）ADNI数据集开发出阿尔茨海默症预警的深度学习算法，然后使用逻辑回归替代该深度学习算法的输出层，并冻结逻辑回归之前所有层的权重，最后使用CADDementia竞赛的训练集作为输入，用来训练逻辑回归。该发明将沿用基于特征的迁移学习思想，但会在筛选出的脑部高风险特征上额外增加年龄、（Mini?MentalStateExamination，简易精神状态检查）MMSE等特征信息，以实现多源异构数据能在一个模型中用于模型的开发。这种将图像、音频、表格型数据以及文本数据等用于单个模型开发的模式，通常成为模型的融合。由于该发明额外增加多个表格型数据，常规的逻辑回归算法对新增特征的复杂信息的提取能力较弱，如果使用集成算法取代逻辑回归将会使模型具有更强的泛化能力。文献Sensors(Basel)(DiagnosisofAlzheimer'sDiseasewithEnsembleLearningClassifierand3DConvolutionalNeuralNetwork)使用（bagging，装袋）集成算法将多个分类器的加权和作为阿尔茨海默症的最终预测结果。该发明将使用堆叠集成算法，该集成算法比bagging算法预测性能更高，具体来说，就是将逻辑回归、随机森林以及（eXtremeGradientBoosting，极致梯度提升）XGBoost等算法组和成超级算法，以实现整体预测性能超越局部的目的。该发明将使用堆叠集成算法完成扩增后的特征向量的二分类，最终实现阿尔兹海默症的早期预警。[0005] 长期以来，用于疾病诊断的深度学习模型很难在临床上应用，尽管预测准确性高，但缺乏医生能够看懂且信任的预测结果解释性。上述文献开发的早期预警模型注重预测性能，但没有量化出导致个体发生阿尔茨海默症的三维像素级别的风险贡献，也没有定性给出海尔默兹症症患者容易发生病变的双侧颞叶、海马体、胼胝体、顶叶和额叶等区域。文献InCVPR(LearningDeepFeaturesforDiscriminativeLocalization)提出一种可以在二维输入图像上可视化出与预测结果相对应的区域，然而该方法只适用于无全连接层的简单网络且需要重新训练得到可视化图，这限制了高性能神经网络的开发，对于训练成本昂贵的深度神经网络并不友好。发明内容[0006] 本发明目的是提供了一种基于多源异构数据的阿尔茨海默症可解释、个体可视化及群体可视化方法，该模型采用基于特征的迁移学习结构，能够同时处理多源异构样本数据的预测和解释。[0007] 本发明为实现上述目的，通过以下技术方案实现：[0008] 基于大脑子块建立并训练卷积神经网络模型，挖掘用于区分认知正常类和阿尔兹海默症类的高特异性语义，冻结已训练出的卷积神经网络模型的结构和权重，封存已学习到的能区分认知正常类和阿尔兹海默症类的通用知识，保证通用知识不改变；[0009] 将当前场景的大脑子块数据送入已冻结权重和结构的卷积神经网络，进行前向计算，获得相应的通用知识；[0010] 使用三维图像解释模块分别定量得到大脑子块预测结果为认知正：桶⒍群Ｄ⑹备飨袼氐姆缦罩担籟0011] 将风险值按大小倒序排列，根据帕累托法则，分别取当前场景的大脑子块数据预测结果为认知正常类和阿尔兹海默症类的前 个高风险值以及预测者的表格型数据作为样本特征送入堆叠模型，并训练该堆叠模型；[0012] 采集求测者的大脑子块数据并将其送入已训练的卷积神经网络，量化出基于三维图像的群体和个体的体像素贡献值。采集求测者的表格型数据以及卷积神经网络得到的高风险特征送入堆叠模型，量化出基于表格型数据的个体和群体的特征贡献值。[0013] 优选的，所述卷积神经网络模型依次包括输入层、五个Block层和输出层，第一Block层、第二Block层、第三Block层、第四Block层包括依次包括3D卷积层、3D最大池化层、3D标准化层、LeakyRelu层、Dropout层，第五Block层依次包括flatten层、全连接层、LeakyRelu层、全连接层，其中3D卷积层的超参数通过遗传算法确定。[0014] 优选的，所述三维图像解释模块具体如下：[0015] 获取第三Block层的LeakyRelu层输出的特征图集 ；[0016] 将大脑子块经过已训练的卷积神经网络模型处理，获取其未通过softmax函数之前的数值 ， 表示分类为认知正常的数值； 表示分类为阿尔兹海默症的数值；[0017] 将特征图 所有像素点级别的权重取平均值得到特征图集中的特征图 的重要性 ；[0018] 将线性化后的特征图集 加权求和并激活得到预测类别为 的激活后的特征图；[0019] 使用三线性插值将 上采样到三维脑子块的尺寸，得到大脑子块风险特征图。[0020] 优选的，所述表格型数据包括年龄、教育水平、社会经济地位、简易精神状态检查、临床痴呆评定分数、脑总容量以及白质体积。[0021] 优选的，堆叠模型分三层，第一层为4个学习器，第二层为3个学习器，第三层为1个学习器；其中，第一层学习器1和学习器2的预测结果作为学习器5的输入，学习器2和学习器3的预测结果作为学习器6的输入，学习器3和学习器4的预测结果作为学习器7的输入；第二层学习器5、学习器6和学习器7的预测结果作为学习器8的输入；学习器8的预测结果为堆叠模型最后的预测结果。[0022] 优选的，所述学习器1为lightGNM算法，学习器2为AdaBoosting算法，学习器3为随机森林算法，学习器4为XGBoost算法，学习器5为NaiveBayes算法，学习器6为决策树算法，学习器7为KNN算法，学习器8为逻辑回归算法。[0023] 优选的，堆叠模型使用KernelSHAP算法量化出个体和群体的重要性。[0024] 一种基于多源异构数据的阿尔茨海默症个体可视化方法，包括：[0025] 使用所述的三维图像解释模块获取个体大脑子块各像素的风险值；[0026] 将个体所有大脑子块根据像素级别取风险均值；[0027] 计算个体全脑像素级别的风险值并对病灶分割得到个体全脑风险可视化图。[0028] 一种基于多源异构数据的阿尔茨海默症群体可视化方法，包括：[0029] 使用所述的三维图像解释模块获取群体大脑子块各像素的风险值；[0030] 将群体中每个个体的所有大脑子块根据像素级别取风险均值；[0031] 获取群体中每个个体通过使用所述的卷积神经网络模型预测结果和真实结果；[0032] 计算群体每个像素点的像素级别的马修相关系数 ，获得出全脑像素的马修相关系数，根据系数大小获取群体三维全脑的关键点，并可视化；[0033] 所述马修相关系数公式如下：[0034] ，[0035] 其中， 表示预测结果为阿尔兹海默症患者，预测结果与真实结果一致； 表示预测结果为阿尔兹海默症患者，预测结果与真实结果相反； 表示预测结果为认知正常，预测结果与真实结果一致； 表示预测结果为认知正常，预测结果与真实结果相反。[0036] 本发明的优点在于：本发明提供了一种适应于任何复杂的三维卷积神经网络且无需再训练的三维图像解释方法完成该发明的阿尔茨海默症早期预警的三维图像的病变区域可视化。由该图像解释方法可得到个体和群体的脑部高风险点和关键点，将个体的脑部高风险点与潜在患者年龄、脑体容量等组合成表格型数据送入堆叠集成算法完成最终的阿尔茨海默症早期预警。对于表格型数据，该发明使用（KernelSHapleyAdditiveexPlanations，带核的沙普利可加性解释算法）KernelSHAP量化出表格型数据的个体和群体的特征贡献。附图说明[0037] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。[0038] 图1为本申请实施例提供的一种基于多源异构数据的阿尔茨海默症可解释方法的结构示意图。[0039] 图2为本申请实施例提供的用于确定卷积神经网络超参数的遗传算法流程图。[0040] 图3为本申请实施例提供的预测结果为阿尔兹海默症的个体的全脑三维风险及病灶分割的可视化图。[0041] 图4为本申请实施例提供的群体的全脑像素级别的重要性可视化图。[0042] 图5为本申请实施例提供的用于堆叠集成的学习器部署方案图。具体实施方式[0043] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0044] 实施例1[0045] 如图1所示，一种基于多源异构数据的阿尔茨海默症可解释、个体可视化及群体可视化方法，包括卷积神经网络模块、三维图像解释模块以及迁移学习模块，共两个训练阶段：[0046] 第一阶段：该发明基于脑子块开发出卷积神经网络，该网络有具有足够的深度，可以挖掘出用于区分认知正常类和阿尔兹海默症类的高特异性语义。在第一阶段内使用的数据集通常是数据量庞大、数据通用性强、在理论和应用中备受检验的高质量数据，基于该类型数据训练出的卷积神经网络具有深度高、过拟合风险低、模型泛化能力强的优点。训练完毕后，冻结已训练出的卷积神经网络的结构和权重，封存已学习到的能区分认知正常类和阿尔兹海默症类的通用知识，保证通用知识不改变。[0047] 第二阶段：再训练一个堆叠模型用于当前场景下认知正常类和阿尔兹海默症类的识别。用于开发堆叠模型的训练数据和测试数据来自当前业务场景，数据典型特点是样本量。眯⊙玖渴菘⒊錾疃妊澳Ｐ褪票鼗岬贾履Ｐ透咂，很难挖掘到区分认知正常类和阿尔兹海默症类的通用知识。而在第一阶段已经训练出保存通用知识的卷积神经网络，只要将当前业务的训练集样本送入该卷积神经网络即可获得相应的通用知识。在这里，该发明使用了新型的三维图形解释算法，可以挖掘出当前业务样本的像素点级别的风险值。分别取该样本预测结果为认知正常类和阿尔兹海默症类的前20%个高风险值以及预测这的年龄、脑体容量、教育水平等作为特征送入堆叠模型，并训练该堆叠模型，则该堆叠模型不仅学习到通用知识又学习到当前场景的独有知识。堆叠模型的样本数据为表格型数据，该发明使用KernelSHAP算法量化个体和群体特征的贡献值。至此，该发明完成基于多源异构数据（图像数据和表格数据）的可解释的深度学习模型的开发。[0048] 具体包括：[0049] S1：基于大脑子块建立并训练卷积神经网络模型，挖掘用于区分认知正常类和阿尔兹海默症类的高特异性语义，冻结已训练出的卷积神经网络模型的结构和权重，封存已学习到的能区分认知正常类和阿尔兹海默症类的通用知识，保证通用知识不改变。[0050] S2：将当前场景的大脑子块数据送入已冻结权重和结构的卷积神经网络，进行前向计算，获得相应的通用知识。[0051] S3：使用三维图像解释模块分别定量得到大脑子块预测结果为认知正：桶⒍群Ｄ⑹备飨袼氐姆缦罩。[0052] S4：将按风险值大小倒序排列，根据帕累托法则，分别取当前场景的大脑子块数据预测结果为认知正常类和阿尔兹海默症类的前20%个高风险值以及预测者的表格型数据作为样本特征送入堆叠模型，并训练该堆叠模型。[0053] S5：采集求测者的大脑子块数据并将其送入已训练的卷积神经网络，量化出基于三维图像的群体和个体的体像素贡献值。采集求测者的表格型数据以及卷积神经网络得到的高风险特征送入堆叠模型，量化出基于表格型数据的个体和群体的特征贡献值。[0054] 作为上述步骤的细化，所述大脑三维成像的分辨率越高，潜在病灶的信息被表达的更详细准确。若将全脑影像作为一个样本，这将大幅增加单个样本训练成本，且易造成模型过拟合，通常做法是对大脑三维图像进行压缩（下采样），但压缩后的三维脑图很可能丢掉关键像素点信息，预测准确性被削弱。本发明采取随机抽取大脑子块的方式完成卷积神经网络模块的开发。[0055] 其优点为：（1）不需对三维图像压缩，病灶信息不丢失，预测准确性不会被削弱。（2）将个人全脑三维图，随机抽取若干个子块脑图，相当于扩充了样本个数，削弱了模拟的过拟合风险，增强了模型泛化能力。（3）降低了样本训练和测试的时间和成本，能够实时为开发人员和用户提供高分辨率的病灶结构可视化图。[0056] 具体的，本实施例中卷积神经网络模型训练样本构建过程如下：将全脑MRI预处理成长为 、宽为 和高为 像素的三维脑图，使用 表示该脑图。从该脑图中随机选择一个像素点作为子块的中心点，重构出大小为 的子块，若子块超出三维脑图范围，则舍弃该子块，重复上述步骤，直到抽取 个子块为止。若有 个人的三维脑图，则共产生 个子块，样本量扩大 倍。[0057] 表1给出该卷积神经网络模块的结构。该卷积神经网络为端到端结构，其前向计算顺序为输入层→Block1→Block2→Block3→Block4→Block5→输出层。每一个Blocki(i=1,2,3,4)中前向计算顺序为3D卷积层→3D最大池化层→3D标准化层→LeakyRelu层→Dropout层。Blocki(i=5)中前向计算顺序为flatten层→全连接层→LeakyRelu层→全连接层。该发明设定3D标准化层的eps=1e?05，momentum=0.1，affine=Ture。参数“eps”作用是防止标准化后的数值为无穷；参数“momentum”作用是帮助加速收敛；参数“affine”等于“True”的作用是将输出调整回激活函数的非线性区域内。该发明设定LeakyRelu层的参数“Negativeslope=0.01”。“Negativeslope”的作用是设定负数的斜率为0.01，这样有助于增强模型学习负响应的能力。在“输入/输出的大小”列， 表示通道数为 ，长、宽、高均为 ； 表示 向上取整数；其余依此类推。[0058] 表1中粗斜体超参数C1、C2、C3、C4、N1和N2通过遗传算法确定。所述遗传算法如图2所示。[0059] 表1卷积神经网络模块的结构[0060][0061][0062][0063][0064][0065] 作为上述步骤的细化，完成卷积神经网络模块的训练及优化后，医生可以单独使用该卷积神经网络预测出预测者是否为阿尔兹海默症患者。以往研究更专注于预测性能的提高，然而预测结果的解释性更加重要。对于图像数据其解释的重要性体现为：（1）预测结果正确，且图像解释性不存在偏置。医生可以依据三维图像病灶区域以及量化的体像素风险值，制定临床干预方案。（2）预测结果正确，但图像解释性存在偏置。开发人员需重新校验训练数据以及模型是否存在偏置，并重新开发模型。（3）预测结果错误。开发人员和医生能够通过图像解释给出合理的解释。该发明设计的三维图像解释模块可以定量计算出体像素级别的风险值并能够定性分割出病灶结构。[0066] 具体的，本实施例中三维图像解释模块具体处理过程如下：[0067] S3?1：通常越靠近输出端的三维特征图集具有更高的语义，基于该特征图集合生成像素级别的可分类可视化图更准确，该发明使用倒数第二个特征图集（表1Block3的LeakyRelu层的输出），其大小为 。[0068] S3?2：一个大脑子块样本输入到已训练的卷积神经网络并进行前向计算，在未通过softmax函数之前的数值记为 ， 对应分类为认知正常的数值； 对应分类为阿尔兹海默症的数值。[0069] S3?3：倒数第二特征图集中的特征图为 ，每个特征图的大小均为 。则第 个特征图的重要性为 ：[0070] ；[0071] 其中， 表示 相对于特征图 的体像素点 的梯度，该梯度通过链式法则反向传播计算得出； 表示将特征图 所有像素点级别的权重取平均值，该平均值为特征图 的重要性。[0072] S3?4：对倒数第二特征图集加权求和并激活得：[0073] ；[0074] 其中 表示将线性化后的特征图集加权求和为一个未激活的特征图；Relu函数从体像素级别激活未激活特征图； 表示预测类别为 的激活后的特征图。使用Relu函数激活的特征图其值为非零，且强度越大则预测类的概率越大，因此可以轻易从 的数值及可视化图上区分出风险大的区域。[0075] S3?5：使用（TrilinearInterpolation，三线性插值）TI将 上采样到三维脑子块的尺寸。[0076] ；[0077] 的尺寸为 ，使用python3及第三方库seaborn库即可实现大脑子块的可视化。为了得到某个预测者的全脑三维可视化图，该发明先创建大小为 的全脑风险特征图，初始值为空，然后将预测者的 个大脑子块对应的 数值填充到全脑的相应位置，若全脑某个像素点有多个数值来填充，则取均值后填充；对于未分配到数值的像素点，则在全脑已填充数值的基础上，通过三线插值法完成填充。[0078] 作为上述步骤的细化，本发明还包括迁移学习模块，其实质是将在其他时空点学习到知识，应用当前场景的预测。该发明迁移学习的过程为：[0079] （1）首先使用其他时空点上的脑子块数据训练出卷积神经网络。[0080] （2）冻结该卷积神经网络的权重和结构，保存从其他时空点上学到的认知正常类和阿尔兹海默症类的知识。[0081] （3）将当前场景的少量脑子块数据送入已冻结权重和结构的卷积神经网络，进行前向计算，得到倒数第二特征图集以及 ，并使用三维图像解释模块分别定量得到大脑子块预测结果为认知正：桶⒍群Ｄ⑹备飨袼氐姆缦罩，并按风险值大小倒序排列。[0082] （4）分别选取认知正常类和阿尔兹海默症类的前20%个像素的风险值；将选择的高风险值与预测者的表格型数据拼接成一行数据(仍为表格型数据)，作为一个样本送入堆叠模型进行训练和测试。[0083] 该发明使用的预测者的表格型数据的特征与开源数据集(https://www.kaggle.com/datasets/shashwatwork/dementia?prediction?dataset)保持一致，具体包括Age(年龄)、EDUC(教育水平)、SES(社会经济地位)、MMSE(简易精神状态检查)、CDR(临床痴呆评定分数)、TIV(脑总容量)以及WBV(白质体积)。文献MendeleyData(Datafor:MACHINELEARNINGINMEDICINE:CLASSIFICATIONANDPREDICTIONOFDEMENTIABYSUPPORTVECTORMACHINES(SVM))只使用上述7个表格型数据特征，准确性达到68.75%。该发明继续使用这7个特征，并额外增加从脑部提取的认知正常类以及阿尔兹海默症类的前20%个高风险特征，然后使用泛化能力更强的堆叠模型来学习组建后的表格数据信息。堆叠模型共分三层，第一层为学习器1 4，第二层为学习器5 7，第三层为学习器8；学~ ~习器1 2的预测结果作为学习器5的输入；学习器2 3的预测结果作为学习器6的输入；学习~ ~器3 4的预测结果作为学习器7的输入；学习器5 7的预测结果作为学习器8的输入；学习器8~ ~的预测结果为迁移学习模型最后的预测结果。对于表格型数据已经有成熟的解释方法，该发明使用KernelSHAP算法量化个体和群体的特征贡献值。[0084] 需要说明的是：[0085] （1）该发明先在ADNI数据集上训练出随机块的卷积神经网络，将该神经网络与堆叠算法组合成基于特征的迁移学习方法，然后使用CADDementia数据集只训练该堆叠算法。该发明可将不同时空下学习得到的知识用于当前场景的预测，既能保证对潜在阿尔兹海默症共性的识别能力，又能兼顾当前场景下导致潜在阿尔兹海默症发生的病灶特点。[0086] （2）该发明将多源异构数据（三维脑图像以及表格型）作为输入，并巧妙地通过特征向量拼接的方式实现了模型的融合，大幅提高模型的预测性能。[0087] （3）该发明对多源异构数据进行解释。对于三维脑图，使用三维图像解释方法量化出个体和群体的体像素级别的危险性，并采用弱监督算法对立体的病变组织进行分割。对于表格型数据，使用KernelSHAP算法量化出群体和个体的特征贡献值。[0088] 实施例2[0089] 一种基于多源异构数据的阿尔茨海默症个体可视化方法，包括：[0090] S1：基于大脑子块建立并训练卷积神经网络模型，挖掘用于区分认知正常类和阿尔兹海默症类的高特异性语义，冻结已训练出的卷积神经网络模型的结构和权重，封存已学习到的能区分认知正常类和阿尔兹海默症类的通用知识，保证通用知识不改变。[0091] S2：将当前场景的大脑子块数据送入已冻结权重和结构的卷积神经网络，进行前向计算，获得相应的通用知识。[0092] S3：使用三维图像解释模块分别定量得到个体大脑子块预测结果为认知正：桶⒍群Ｄ⑹备飨袼氐姆缦罩。[0093] S4：将个体所有大脑子块根据像素级别取风险均值。[0094] S5：计算个体全脑像素级别的风险值并对病灶分割得到个体全脑风险可视化图。[0095] 实施例3[0096] 一种基于多源异构数据的阿尔茨海默症群体可视化方法，包括：[0097] S1：基于大脑子块建立并训练卷积神经网络模型，挖掘用于区分认知正常类和阿尔兹海默症类的高特异性语义，冻结已训练出的卷积神经网络模型的结构和权重，封存已学习到的能区分认知正常类和阿尔兹海默症类的通用知识，保证通用知识不改变。[0098] S2：将当前场景的大脑子块数据送入已冻结权重和结构的卷积神经网络，进行前向计算，获得相应的通用知识。[0099] S3：使用三维图像解释模块分别定量得到群体大脑子块预测结果为认知正：桶⒍群Ｄ⑹备飨袼氐姆缦罩。[0100] S4：将群体中每个个体的所有大脑子块根据像素级别取风险均值。[0101] S5：获取群体中每个个体通过使用所述的卷积神经网络模型预测结果和真实结果；[0102] S6：计算群体每个像素点的像素级别的马修相关系数 ，计算出全脑像素的马修相关系数，根据系数大小获取群体三维全脑的关键点，并可视化。[0103] 考虑到会出现TP*TN*FP*FN=0的情况，MCC增加取值为?1的情况，所述马修相关系数公式如下：[0104] ，[0105] 其中， 表示预测结果为阿尔兹海默症患者，预测结果与真实结果一致； 表示预测结果为阿尔兹海默症患者，预测结果与真实结果相反； 表示预测结果为认知正常，预测结果与真实结果一致； 表示预测结果为认知正常，预测结果与真实结果相反。[0106] 总共有 个潜在患者的全脑数据，随机从每个全脑中抽取 个大脑子块，总共有个样本和对应的预测类别。对于全脑三维中每个像素点，都可计算出对应TP，FP，TN和FP，将其带入MCC公式即可求出该像素的MCC值，计算出全脑像素的MCC值，即可确定每个像素点的重要性。[0107] 实施例4[0108] 基于ADNI数据集对本申请进行进一步阐述。[0109] （Alzheimer’sDiseaseNeuroimagingInitiative，阿尔茨海默症神经影像学倡议）ADNI数据集是一个全球公开的数据集，它的主要目标包括：[0110] （1）早期检测：通过神经影像学手段，在患者出现明显临床症状之前，识别出AD的早期迹象，从而有助于早期干预和治疗。[0111] （2）跟踪疾病进展：通过对患者进行定期的神经影像学检查，记录疾病在大脑中的发展变化，为研究人员提供有关AD进展的详细信息。[0112] 该发明基于ADNI数据集开发出卷积神经网络。人员的入组标准为：[0113] 年龄≥50周岁且诊断为认知正常或为阿尔兹海默症的人员；使用磁场强度为1.5特斯拉的磁共振成像设备来执行T1加权扫描的三维脑图的人员；三维脑图扫描时间距诊断为认知正常或为或为阿尔兹海默症的时间为1年 2年。~[0114] 人员的排除标准为：阿尔茨海默病伴混合性痴呆、非阿尔茨海默病痴呆、严重创伤性脑损伤史、严重抑郁症、中风和脑肿瘤，以及突发的重大系统性疾病的患者。[0115] 按照入组和排除标准，共筛选出500名符合要求的脑全图，即 ，其中女性265人，男性235人。500人中有125人为阿尔兹海默症，375人认知正常。每个全脑图经过预处理后，其大小为 ，即 。该发明从每个全脑中随机抽取1000个脑子块，即 ，每个脑子块大小为 ， ，则脑子块样本总数为500,000个。将这500,000个样本，按照4:1分为训练集和测试集。在训练集基础上使用带有五折交叉验证的遗传算法完成表1中超参数的优化，遗传算法流程详见图2。在遗传算法中，设定种群规模为100，变异概率为0.1，交叉概率为0.1，遗传演化代数为5000代，最终确定出卷积神经网络的超参数为C1=150、C2=120、C3=100、C4=100、N1=500和N2=200。[0116] 使用三维图像解释方法在ADNI测试集上，将某个预测结果为阿尔兹海默症的患者的全部脑子图的解释性进行融合，构建出该患者预测为阿尔兹海默症类的全脑风险可视化图及病灶区域分割图（图3）。图3中的1?1，2?1和3?1指定的区域分别表示该潜在患者的轴向、冠状和矢状面的大脑切片。以“2?1”为例，2表示行，1表示列。1?2，2?2和3?2分别为这三个大脑切片对应的体像素级别风险高低的可视化，颜色越深说明风险越高（边缘非大脑部分除外）。1?3，2?3和3?3分别为这三个大脑切片对应的风险区域的分割。很容易看出该导致该患者发生阿尔茨海默症的高风险区域包括双侧不对称的颞叶和右侧海马体、扣带皮层、胼胝体、部分顶叶和额叶。当然病灶是三维的不规则结构，图3只是通过大脑三个不同平面的切片展示了病灶的位置以及风险高低。另外，该卷积神经网络的输出为softmax的二元输出，即输出结果还包括认知正常类，按照上述可视化步骤，还可以得到认知正常类的全脑像素级别的非风险数值以及正常区域的分割。[0117] 基于ADNI的全部数据，使用三维图像解释模块并基于MCC指标，可以进一步得到群体的全脑像素级别的重要性（图4）。图4的左图为所有个体全脑图在轴向上的MCC可视化结果，当然该轴向上包括多个切片，白色的区域对应MCC的值较大，反应出该区域对区分认知正常类和阿尔茨海默症类更有效；图4的中间图以及右图分别为所有个体全脑图在轴向上以及矢状面上的MCC可视化结果。[0118] 为了进一步提高卷积神经网络的泛化能力，该发明使用ADNI的全部数据以及已确定的超参数重新完成卷积神经网络的训练，该已训练的卷积神经网络将用于新业务场景下的迁移学习之用。[0119] 该发明已经获取中国某三甲医院的50个潜在患者的全脑数据以及脑体容量、年龄、教育水平、脑外伤以及MMSE等表格型数据。人员入组和排除标准，脑全图采集时间与诊断时间间隔，以及全脑、脑子块大小以及预处理方式与ADNI数据集完全相同。总共获取50*1000=50000个脑子块本。将这50000个子块按照4:1拆分成训练集和测试集。该训练集用于训练堆叠模型，为了确定出堆叠模型中各学习器的部署，该发明使用穷举法，最终确定出预测性能最高的部署方案（图5）。[0120] 为了进一步验证该发明的可解释深度学习的性能，该发明分别设计出如下基准模型（学习器）。基准模型1：将堆叠集成部分换成lightGBM，其余部分与该发明的可解释深度学习模型相同；基准模型2：将堆叠集成部分换成逻辑回归，其余部分与该发明的可解释深度学习模型相同；基准模型3：在已训练的卷积神经网络基础上，允许权重变化，即使用某三甲医院的训练集数据在已训练卷积神经网络上进行微调。基准模型4：不使用迁移学习思想，即不使用在ADNI上训练的卷积神经网络做知识迁移，只使用三甲医院自身的数据集开发可解释深度学习模型。各模型在某三甲医院测试集上的性能见表2。[0121] 表2该发明的可解释深度学习模型与基准模型的性能比较[0122][0123] 很显然，该发明的可解释深度学习模型的预测性能最高，泛化能力最强。[0124] 由该发明的模型的性能高于基准模型1可知，堆叠集成的性能超越局部学习器lightGBM的性能。由基准模型1的性能高于基准模型2可知，lightGBM的区分类别差异性能力高于逻辑回归。由该发明的模型的性能高于基准模型3可知，该发明使用基于特征的迁移学习思路可以与年龄、脑体容量等表格数据联合，实现性能的进一步提升；而基于参数的微调并未使用表格数据，其性能偏低。由该发明的模型的性能高于基准模型4可知，使用迁移学习可以大幅提高模型的预测性能，不使用迁移学习无法在小样本上获得较好的预测性能。[0125] 对于堆叠模型，我们可使用KernelSHAP算法量化出个体和群体的重要性。[0126] 经计算重要性较高的特征为(简易精神状态检查)MMSE，年龄等。在此，该发明给出三甲医院某个患者预测结果为阿尔兹海默症对应的特征贡献值表。[0127] 表3某患者预测结果为阿尔兹海默症对应的特征贡献值[0128][0129] h1,i1,j1为高风险值1所在全脑的体像素位置；h8,i8,j8为高风险值8所在全脑的体像素位置。[0130] 实施例5[0131] 本公开实施例还提供一种基于多源异构数据的阿尔茨海默症可解释装置，包括处理器（processor）和存储器（memory）。可选地，该装置还可以包括通信接口（CommunicationInterface）和总线。其中，处理器、通信接口、存储器可以通过总线完成相互间的通信。通信接口可以用于信息传输。处理器可以调用存储器中的逻辑指令，以执行上述实施例的基于多源异构数据的阿尔茨海默症可解释方法。[0132] 此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。[0133] 存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中基于多源异构数据的阿尔茨海默症可解释方法。[0134] 存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器。[0135] 最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

专利地区：山东

专利申请日期：2024-06-17

专利公开日期：2024-11-29

专利公告号：CN118553434B