开云优惠体育网页版入口

专利名称：一种多模态融合血透数据分析方法

专利类型：发明专利

专利申请号：CN202410866260.0

专利申请（专利权）人：广元市中心医院
权利人地址：四川省广元市利州区井巷子16号

专利发明（设计）人：牛小梅,张贵,权礼军,杨小华,白芙蓉,刘莉,梁智豪,谭靖,侯淼,张菊,王波

专利摘要：本发明涉及血液透析技术领域，具体公开了一种多模态融合血透数据分析方法，包括数据采集、肾功能评估、特征提取、多模态融合、模型训练与测试和结果解释与应用。本方案采集患者的多模态数据，提取多模态特征，建立Attention?DNN模型预测患者接受血透治疗后的并发症发生概率，全面评估患者的病情和治疗效果，有助于在预测到并发症风险时及时调整血透治疗的参数；结合注意力机制和DNN模型，动态调整模型关注，重点关注不同的输入数据，使模型在处理序列数据和多模态数据时更加灵活和有效，提高模型对输入数据的理解能力和表征能力，更好地解决患者并发症情况的预测，适应不同患者的个体差异，实现个性化的预测和管理。

主权利要求：
1.一种多模态融合血透数据分析方法，其特征在于：该方法包括以下步骤：步骤S1：数据采集，收集患者不同来源的血透数据，划分为数值数据、图像数据和文本数据，对三种类型的数据分别进行预处理，并整合在数据集中；
步骤S2：肾功能评估，分析文本数据，评估患者的肾功能状况和血透治疗的需要程度；
步骤S3：特征提。邮凳、图像数据和文本数据中提取数值特征、图像特征和文本特征；
步骤S4：多模态融合，建立Attention?DNN模型，将三种特征分别输入至Attention?DNN模型中，预测患者接受血透治疗后的并发症发生概率，输出预测结果；
步骤S5：模型训练与测试，若患者接受血透治疗后产生了并发症，将并发症发生情况添加至文本数据中，更新数据集，将更新后的数据集划分为训练集和测试集，使用训练集训练并调整Attention?DNN模型的参数，使用测试集测试并评估Attention?DNN模型的预测性能；
步骤S6：结果解释与应用，根据预测结果为患者提供个性化的健康管理建议，指导患者的治疗和生活方式；
在步骤S3中，所述特征提。ㄒ韵虏街：
步骤S31：文本特征提。ㄒ韵虏街：
步骤S311：词汇表构建，将文本数据中出现的所有单词进行索引，并为每个单词分配一个唯一的整数标识符；
步骤S312：文本序列转换，根据词汇表的索引将文本数据中的单词转换为整数序列；
步骤S313：词嵌入，加载预训练的Word2Vec模型，输入文本数据，根据词汇表中的索引找到对应的预训练词嵌入向量，如果单词存在于词汇表中，则将其对应的词嵌入向量添加到词嵌入向量序列中；如果单词不存在于词汇表中，则将其表示为全零向量；
步骤S32：数值特征提。唇ㄊ迪蛄啃蛄，将数值数据中每个维度作为数值向量序列中的一个元素，每个维度的具体数值为元素值；
步骤S33：图像特征提。褂没叶裙采卣竺枋鐾枷袷葜邢袼刂涞幕叶裙叵岛涂占涔叵，包括以下步骤：步骤S331：定义像素对，选择水平方向上相邻的像素对，距离为1；
步骤S332：计算共生矩阵，遍历图像数据中的每个像素，计算相邻的像素对在水平方向和距离为1时的出现次数，构建灰度共生矩阵；
步骤S333：归一化，对计算得到的灰度共生矩阵进行归一化处理，消除灰度级别变化的影响；
步骤S334：对比度计算，计算灰度共生矩阵的对比度特征，区分图像数据中的病变区域；
步骤S335：向量转换，将提取的对比度特征转换为图像向量序列，图像向量序列中的每个元素为一个特征维度；
在步骤S4中，所述多模态融合，包括以下步骤：
步骤S41：模型设计，建立Attention?DNN模型，预测血透治疗的并发症发生概率，DNN模型包括输入层、三层隐藏层、注意力层和输出层；
步骤S42：输入层设置，初始输入文本特征，将文本特征传递给隐藏层；
步骤S43：隐藏层设置，第一隐藏层接收文本特征，输出第一隐藏状态，结合数值特征输入至第二隐藏层中，输出第二隐藏状态，结合图像特征输入至第三隐藏层中，输出融合特征；
步骤S44：注意力层设置，融合特征输入至注意力层中，计算并调整注意力权重，将调整后的融合特征传递给输出层；
步骤S45：输出层设置，使用sigmoid激活函数将调整后的融合特征转换为概率值，输出预测结果。 说明书 : 一种多模态融合血透数据分析方法技术领域[0001] 本发明涉及血液透析技术领域，具体是指一种多模态融合血透数据分析方法。背景技术[0002] 血液透析是一种用于治疗慢性肾衰竭等肾脏疾病的方法，患者在接受血透治疗后常常会产生血压低、肌肉抽筋、恶心及呕吐等一系列并发症，及时监测并处理并发症有助于患者的状态恢复，指导医生制定更加个性化的治疗方案。一般在血透治疗时难以精确设置血透治疗参数，不同患者的生理状况、疾病状态、血透治疗过程中的反应等存在较大差异，同样的治疗参数在不同患者身上可能会产生不同的效果和风险；血透治疗涉及到多个生理系统的互相影响，且患者的生理状态和治疗需求在不同时间点可能会发生变化，难以预测血透治疗中患者的并发症发生风险。发明内容[0003] 针对上述情况，为克服现有技术的缺陷，本发明提供了一种多模态融合血透数据分析方法，针对一般在血透治疗时难以精确设置血透治疗参数，不同患者的生理状况、疾病状态、血透治疗过程中的反应等存在较大差异，同样的治疗参数在不同患者身上可能会产生不同的效果和风险的问题，本方案采集患者的多模态数据，提取多模态特征，建立Attention?DNN模型预测患者接受血透治疗后的并发症发生概率，全面评估患者的病情和治疗效果，有助于在预测到并发症风险时及时调整血透治疗的参数；针对血透治疗涉及到多个生理系统的互相影响，且患者的生理状态和治疗需求在不同时间点可能会发生变化，难以预测血透治疗中患者的并发症发生风险的问题，本方案结合注意力机制和DNN模型，动态调整模型关注，重点关注不同的输入数据，使模型在处理序列数据和多模态数据时更加灵活和有效，提高模型对输入数据的理解能力和表征能力，更好地解决患者并发症情况的预测，适应不同患者的个体差异，实现个性化的预测和管理。[0004] 本发明采用的技术方案如下：本发明提供的一种多模态融合血透数据分析方法，该方法包括以下步骤：[0005] 步骤S1：数据采集，收集患者不同来源的血透数据，划分为数值数据、图像数据和文本数据，对三种类型的数据分别进行预处理，并整合在数据集中；[0006] 步骤S2：肾功能评估，分析文本数据，评估患者的肾功能状况和血透治疗的需要程度；[0007] 步骤S3：特征提。邮凳、图像数据和文本数据中提取数值特征、图像特征和文本特征；[0008] 步骤S4：多模态融合，建立Attention?DNN模型，将三种特征分别输入至Attention?DNN模型中，预测患者接受血透治疗后的并发症发生概率，输出预测结果；[0009] 步骤S5：模型训练与测试，若患者接受血透治疗后产生了并发症，将并发症发生情况添加至文本数据中，更新数据集，将更新后的数据集划分为训练集和测试集，使用训练集训练并调整Attention?DNN模型的参数，使用测试集测试并评估Attention?DNN模型的预测性能；[0010] 步骤S6：结果解释与应用，根据预测结果为患者提供个性化的健康管理建议，指导患者的治疗和生活方式。[0011] 进一步地，在步骤S3中，特征提。咛宀街枞缦：[0012] 步骤S31：文本特征提。ㄒ韵虏街：[0013] 步骤S311：词汇表构建，将文本数据中出现的所有单词进行索引，并为每个单词分配一个唯一的整数标识符；[0014] 步骤S312：文本序列转换，根据词汇表的索引将文本数据中的单词转换为整数序列；[0015] 步骤S313：词嵌入，加载预训练的Word2Vec模型，输入文本数据，根据词汇表中的索引找到对应的预训练词嵌入向量，如果单词存在于词汇表中，则将其对应的词嵌入向量添加到词嵌入向量序列中；如果单词不存在于词汇表中，则将其表示为全零向量；[0016] 步骤S32：数值特征提。唇ㄊ迪蛄啃蛄，将数值数据中每个维度作为数值向量序列中的一个元素，每个维度的具体数值为元素值；[0017] 步骤S33：图像特征提。褂没叶裙采卣竺枋鐾枷袷葜邢袼刂涞幕叶裙叵岛涂占涔叵，包括以下步骤：[0018] 步骤S331：定义像素对，选择水平方向上相邻的像素对，距离为1；[0019] 步骤S332：计算共生矩阵，遍历图像数据中的每个像素，计算相邻的像素对在水平方向和特定距离下的出现次数，构建灰度共生矩阵；[0020] 步骤S333：归一化，对计算得到的灰度共生矩阵进行归一化处理，消除灰度级别变化的影响；[0021] 步骤S334：对比度计算，计算灰度共生矩阵的对比度特征，区分图像数据中的病变区域，所用公式如下：[0022] ；[0023] 式中， 表示灰度值， 表示像素对， 表示归一化的灰度共生矩阵中像素对 的概率， 表示对比度；[0024] 步骤S335：向量转换，将提取的对比度特征转换为图像向量序列，图像向量序列中的每个元素为一个特征维度。[0025] 进一步地，在步骤S4中，多模态融合，具体步骤如下：[0026] 步骤S41：模型设计，建立Attention?DNN模型，预测血透治疗的并发症发生概率，DNN模型包括输入层、三层隐藏层、注意力层和输出层；[0027] 步骤S42：输入层设置，初始输入文本特征，将文本特征传递给隐藏层；[0028] 步骤S43：隐藏层设置，第一隐藏层接收文本特征，输出第一隐藏状态，结合数值特征输入至第二隐藏层中，输出第二隐藏状态，结合图像特征输入至第三隐藏层中，输出融合特征；[0029] 步骤S44：注意力层设置，融合特征输入至注意力层中，计算并调整注意力权重，将调整后的融合特征传递给输出层；[0030] 步骤S45：输出层设置，使用sigmoid激活函数将调整后的融合特征转换为概率值，输出预测结果。[0031] 进一步地，在步骤S5中，模型训练与测试，具体步骤如下：[0032] 步骤S51：并发症记录，记录患者在接受血透治疗后的并发症发生情况，包括低血压、心律失常、肌肉痉挛；[0033] 步骤S52：患者反馈记录，包括患者对血透治疗过程中的感觉、不适、疼痛；[0034] 步骤S53：数据集更新，将并发症记录和反馈记录添加到文本数据中，并更新数据集，从更新后的数据集中随机选择60%的数据作为训练集，40%的数据作为测试集；[0035] 步骤S54：模型训练，将训练集输入至Attention?DNN模型中，使用交叉熵损失函数计算Attention?DNN模型的损失，使用随机梯度下降算法优化Attention?DNN模型的参数，所用公式如下：[0036] ；[0037] 式中，表示交叉熵损失函数，表示真实标签，表示模型的预测概率， 表示训练集中的样本数量， 表示第个样本的真实标签， 表示第个样本的预测概率；[0038] ；[0039] 式中，表示迭代轮次， 表示第 轮迭代的模型参数，表示学习率， 表示损失函数 对参数 的梯度；[0040] 步骤S55：模型测试，将测试集输入至Attention?DNN模型中，结合患者的并发症发生情况评估Attention?DNN模型的预测性能。[0041] 采用上述方案本发明取得的有益效果如下：[0042] （1）针对一般在血透治疗时难以精确设置血透治疗参数，不同患者的生理状况、疾病状态、血透治疗过程中的反应等存在较大差异，同样的治疗参数在不同患者身上可能会产生不同的效果和风险的问题，本方案采集患者的多模态数据，提取多模态特征，建立Attention?DNN模型预测患者接受血透治疗后的并发症发生概率，全面评估患者的病情和治疗效果，有助于在预测到并发症风险时及时调整血透治疗的参数。[0043] （2）针对血透治疗涉及到多个生理系统的互相影响，且患者的生理状态和治疗需求在不同时间点可能会发生变化，难以预测血透治疗中患者的并发症发生风险的问题，本方案结合注意力机制和DNN模型，动态调整模型关注，重点关注不同的输入数据，使模型在处理序列数据和多模态数据时更加灵活和有效，提高模型对输入数据的理解能力和表征能力，更好地解决患者并发症情况的预测，适应不同患者的个体差异，实现个性化的预测和管理。附图说明[0044] 图1为本发明提出的一种多模态融合血透数据分析方法的流程示意图；[0045] 图2为本发明提出的Attention?DNN模型的结构示意图。[0046] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。具体实施方式[0047] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0048] 实施例一，参阅图1和图2，本发明提供的一种多模态融合血透数据分析方法，该方法包括以下步骤：[0049] 步骤S1：数据采集，收集患者不同来源的血透数据，划分为数值数据、图像数据和文本数据，对三种类型的数据分别进行预处理，并整合在数据集中；[0050] 步骤S2：肾功能评估，分析文本数据，评估患者的肾功能状况和血透治疗的需要程度；[0051] 步骤S3：特征提。邮凳、图像数据和文本数据中提取数值特征、图像特征和文本特征；[0052] 步骤S4：多模态融合，建立Attention?DNN模型，将三种特征分别输入至Attention?DNN模型中，预测患者接受血透治疗后的并发症发生概率，输出预测结果；[0053] 步骤S5：模型训练与测试，若患者接受血透治疗后产生了并发症，将并发症发生情况添加至文本数据中，更新数据集，将更新后的数据集划分为训练集和测试集，使用训练集训练并调整Attention?DNN模型的参数，使用测试集测试并评估Attention?DNN模型的预测性能；[0054] 步骤S6：结果解释与应用，根据预测结果为患者提供个性化的健康管理建议，指导患者的治疗和生活方式。[0055] 实施例二，参阅图1，该实施例基于上述实施例，在步骤S1中，收集患者不同来源的血透数据，具体采取查询电子病历、监测血透治疗的相关参数、拍摄并发症相关医学图像的方式，血透数据包括以下方面：[0056] 临床资料：包括患者的个人信息、原发病症、用药情况、生活方式和营养状况；[0057] 生理参数：血透前后的生理参数，包括血压、心率、体温、呼吸频率；[0058] 血液生化指标：血透前后的生化指标，包括血红蛋白、血细胞比容、血钙、血磷、血钾、血尿素氮、肌酐、碱性磷酸酶；[0059] 血透治疗参数：血透过程中的治疗参数，包括透析液的成分、透析时间、透析速率；[0060] 超滤量和尿量：血透过程中的超滤量和尿量，评估水分平衡和血透效果。[0061] 透析装置数据：透析器的参数记录，包括工作状态、压力、流量；[0062] 影像学资料：X射线、超声等影像学检查结果，用于评估血透相关的解剖结构和病变情况。[0063] 其中，临床资料属于文本数据，生理参数、血液生化指标、血透治疗参数、超滤量和尿量、透析装置数据属于数值数据，影像学资料属于图像数据。[0064] 实施例三，参阅图1，该实施例基于上述实施例，在步骤S1中，对三种类型的数据分别进行预处理，具体如下：[0065] 文本数据预处理，使用词级分词将文本数据分割成单词序列；去除常见的停用词；对文本数据进行填充，使其具有相同的长度。[0066] 数值数据预处理，检查数值数据中是否存在缺失值，删除包含缺失值的样本；对数值数据进行标准化处理，使其具有相似的尺度和范围。[0067] 图像数据预处理，将图像调整为相同大。繁Ｊ淙肽Ｐ偷耐枷袷菥哂邢嗤某叽纾欢酝枷袷萁斜曜蓟，使其具有相似的均值和方差；采用数据增强技术，增加数据的多样性。[0068] 实施例四，参阅图1，该实施例基于上述实施例，在步骤S2中，肾功能评估具体为：分析原发病症了解患者肾功能损害的原发病因，确定患者的肾脏疾病分期，评估肾功能受损的严重程度；分析与肾脏疾病相关药物的用药情况，评估药物的剂量和频率，确定是否需要调整用药；分析患者的个人信息、生活方式和营养状况，确定患者血透治疗的需要程度。[0069] 在血透治疗前，确认患者是否同时患有导致肾功能损害的高血压、糖尿病及其他慢性疾。辉谘钢瘟坪，评估并管理患者贫血、骨矿质疏松和其他并发症的发生情况。[0070] 实施例五，参阅图1，该实施例基于上述实施例，在步骤S3中，特征提。咛宀街枞缦：[0071] 步骤S31：文本特征提。ㄒ韵虏街：[0072] 步骤S311：词汇表构建，将文本数据中出现的所有单词进行索引，并为每个单词分配一个唯一的整数标识符；[0073] 步骤S312：文本序列转换，根据词汇表的索引将文本数据中的单词转换为整数序列；[0074] 步骤S313：词嵌入，加载预训练的Word2Vec模型，输入文本数据，根据词汇表中的索引找到对应的预训练词嵌入向量，如果单词存在于词汇表中，则将其对应的词嵌入向量添加到词嵌入向量序列中；如果单词不存在于词汇表中，则将其表示为全零向量；[0075] 步骤S32：数值特征提。唇ㄊ迪蛄啃蛄，将数值数据中每个维度作为数值向量序列中的一个元素，每个维度的具体数值为元素值；[0076] 步骤S33：图像特征提。褂没叶裙采卣竺枋鐾枷袷葜邢袼刂涞幕叶裙叵岛涂占涔叵，包括以下步骤：[0077] 步骤S331：定义像素对，选择水平方向上相邻的像素对，距离为1；[0078] 步骤S332：计算共生矩阵，遍历图像数据中的每个像素，计算相邻的像素对在水平方向和特定距离下的出现次数，构建灰度共生矩阵；[0079] 步骤S333：归一化，对计算得到的灰度共生矩阵进行归一化处理，消除灰度级别变化的影响；[0080] 步骤S334：对比度计算，计算灰度共生矩阵的对比度特征，区分图像数据中的病变区域，所用公式如下：[0081] ；[0082] 式中， 表示灰度值， 表示像素对， 表示归一化的灰度共生矩阵中像素对 的概率， 表示对比度；[0083] 步骤S335：向量转换，将提取的对比度特征转换为图像向量序列，图像向量序列中的每个元素为一个特征维度。[0084] 实施例六，参阅图1和图2，该实施例基于上述实施例，在步骤S4中，多模态融合，具体步骤如下：[0085] 步骤S41：模型设计，建立Attention?DNN模型，预测血透治疗的并发症发生概率，DNN模型包括输入层、三层隐藏层、注意力层和输出层；[0086] 步骤S42：输入层设置，初始输入文本特征，将文本特征传递给隐藏层；[0087] 步骤S43：隐藏层设置，第一隐藏层接收文本特征，输出第一隐藏状态，结合数值特征输入至第二隐藏层中，输出第二隐藏状态，结合图像特征输入至第三隐藏层中，输出融合特征；[0088] 步骤S44：注意力层设置，融合特征输入至注意力层中，计算并调整注意力权重，将调整后的融合特征传递给输出层；[0089] 步骤S45：输出层设置，使用sigmoid激活函数将调整后的融合特征转换为概率值，输出预测结果。[0090] 实施例七，参阅图1和图2，该实施例基于上述实施例，本实施例中，Attention?DNN模型输入的文本特征维度为20，输入层的神经元数量为20；三层隐藏层的神经元数分别为128、64、32，使用ReLU激活函数输出每一层的隐藏状态；注意力层使用自注意力机制，计算融合特征的相关性得到注意力权重，采用softmax函数进行归一化处理。[0091] 实施例八，参阅图1和图2，该实施例基于上述实施例，在步骤S5中，模型训练与测试，具体步骤如下：[0092] 步骤S51：并发症记录，记录患者在接受血透治疗后的并发症发生情况，包括低血压、心律失常、肌肉痉挛；[0093] 步骤S52：患者反馈记录，包括患者对血透治疗过程中的感觉、不适、疼痛；[0094] 步骤S53：数据集更新，将并发症记录和反馈记录添加到文本数据中，并更新数据集，从更新后的数据集中随机选择60%的数据作为训练集，40%的数据作为测试集；[0095] 步骤S54：模型训练，将训练集输入至Attention?DNN模型中，使用交叉熵损失函数计算Attention?DNN模型的损失，使用随机梯度下降算法优化Attention?DNN模型的参数，所用公式如下：[0096] ；[0097] 式中，表示交叉熵损失函数，表示真实标签，表示模型的预测概率， 表示训练集中的样本数量， 表示第个样本的真实标签， 表示第个样本的预测概率；[0098] ；[0099] 式中，表示迭代轮次， 表示第 轮迭代的模型参数，表示学习率， 表示损失函数 对参数 的梯度；[0100] 步骤S55：模型测试，将测试集输入至Attention?DNN模型中，结合患者的并发症发生情况评估Attention?DNN模型的预测性能。[0101] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。[0102] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。[0103] 以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

专利地区：四川

专利申请日期：2024-07-01

专利公开日期：2024-09-03

专利公告号：CN118398217B