开云优惠体育网页版入口

专利名称：一种基于语义分割的现场赤足足迹提取与分析方法

专利类型：发明专利

专利申请号：CN202410323240.9

专利申请（专利权）人：安徽大学
权利人地址：安徽省合肥市蜀山区九龙路111号安徽大学磬苑校区

专利发明（设计）人：张艳,严毅,汪思彤,吴红英,姚胡根,王年

专利摘要：本发明公开了一种基于语义分割的现场赤足足迹提取与分析系统，包括以下步骤：获取待提取的现场赤足足迹图像，图像中存在标尺；将采集到的图像送入处理器中进行处理；利用系统中图像分割功能对带标尺的赤足足迹图像进行分割，得到赤足足迹分割结果；利用系统中的分析功能初步推测出足迹拥有者的鞋码、身高、性别、体重等生理特征；最终将赤足提取的结果图像和特征分析结果在显示窗口中打印出来。本发明涉及图像处理领域，该种基于语义分割的现场赤足足迹提取与分析系统可自动提取现场足迹并给出初步分析，尤其针对存在阴影、图像：瓤凸垡蛩赜跋烊斯ぷ慵Ｌ崛〉那榭，提高对足迹图像提取的效率和准确性。

主权利要求：
1.一种基于语义分割的现场赤足足迹提取与分析方法，其特征在于：包括以下步骤：S1：获取待提取的现场赤足足迹图像，图像中存在标尺；
S2：将采集到的图像送入CPU处理器进行对图像的处理；
S3利用系统中图像分割功能对带标尺的赤足足迹图像进行分割，得到赤足足迹分割结果；
S4：利用系统中的分析功能初步推测出足迹拥有者的鞋码、身高、性别、体重等生理特征；
S5：最终将赤足提取的结果图像和特征分析结果在显示窗口中打印出来；
其中，步骤S3中所述分割功能所用的语义分割网络训练包括以下步骤：第一步，对训练图像进行采集：在模拟现场环境的地板上行走留下灰尘足迹，在足迹旁边放置标尺，以拍照的方式进行现场赤足图像获。曰袢〉耐枷窠腥斯け曜，得到图像对应的训练标签，标注对象为标尺和赤足；
第二步，最优网络训练：将获得的至少1000张赤足数据集划分为训练集、验证集和测试集；进行训练前对训练集进行数据增广，并对所有图像形状填充为正方形，在将其大小缩放到256×256；将增广和预处理后的训练集对分割网络进行训练，使用划分好的验证集和测试集对网络进行验证和测试来评估网络的性能；
在对分割网络进行训练的具体步骤如下：
(1)、构造提取足迹特征的骨干网络：骨干网络采用Unet网络，Unet网络结构为编码器?解码器结构，编码器结构由5个阶段组成，对输入原图进行下采样，获取不同尺度的特征图，提取分割目标的高级语义信息，其中第0阶段对原图进行升维，将原图映射多维特征图，输
3×256×256 64×256×256
入为{Xin∈R }，经过卷积层后到了{X1∈R }；后4个阶段，特征图都会经过池化层、卷积层、BN层和ReLU激活函数，得到4种不同尺度的特征图，最后一个阶段输出的特征
1024×16×16
为{X5∈R }；解码器结构对编码器生成的高级特征图进行上采样，并通过跳跃连接方式融合编码器中相应特征层的特征信息，将特征映射回原始图像大。煞治4个阶段，
256×256×256
最后一个阶段输出特征为{Y∈R }，即为骨干网络输出特征；
(2)、构造区域关系提取模块：提取的区域关系为输入图像区域和骨干网络编码器中特
3×H×W
征图区域之间的关联信息；分别对原图{Xin∈R }和特征图 进行卷积和空间变换操作，其中C为特征通道数，H和W分别代表原图的高和宽，H1和W1分别代表特征
256×H×W
的高和宽；先对原图和特征进行卷积，将其通道数转换为256，得到{Xin∈R }和对 以固定步长s进行分块，对每个补丁块在空间维度上进行展平，接着按顺序在第0维度上对补丁块进行拼接，得到 对Fi以相同的操作得到 将 和Xi对应通道上的二维张量进行矩阵相乘，得到 FR表示输入图像区域和骨干网络编码器中特征图区域之间的关系；网络训练时会由Xin对应的groundtruth生成的 对其进行监督，表示groundtruth经过池化后与其自身之间的区域关系；
(3)、构造区域关系调制模块：将提取到的区域关系对骨干网络提取的特征进行空间调
256×H×W
制，对赤足整体特征进行增强；对骨干网络输出特征{Y∈R }进行卷积和空间变换操1
作，经过卷积进行下采样后得到 将FR和Y对应通道上的二维张量进
2 3 256×H×W 3 1
行矩阵相乘，得到 对Y 进行逆空间变换得到{Y∈R }，将Y与Y
256×H×W
进行逐元素相加，得到增强后的特征{Yen∈R }，最终通过分割头将特征映射为预测掩码图，得出分割结果。
2.根据权利要求1所述的一种基于语义分割的现场赤足足迹提取与分析方法，其特征在于：在步骤S3中，图像分割功能是将待提取的赤足足迹图像输入训练好的语义分割网络模型中，利用网络模型对图像进行分割得出赤足足迹的掩码，从而得出分割结果。
3.根据权利要求1所述的一种基于语义分割的现场赤足足迹提取与分析方法，其特征在于：在步骤S4中，分析功能系统通过分割出的足迹初步推测出足迹拥有者的鞋码、身高、性别、体重生理特征；步骤S3中分割出赤足的同时也会分割出标尺的掩码，计算出赤足各部位与标尺的像素距离，利用标尺像素距离和真实距离之间的比例尺来计算出赤足的真实距离，通过脚长、脚宽等数据换算出足迹拥有者的鞋码，初步估计出身高，体重和性别生理信息。
4.根据权利要求1所述的一种基于语义分割的现场赤足足迹提取与分析方法，其特征在于：在第二步中按照7:1:2的比例将数据划分为训练集、验证集和测试集，训练集进行数据增广的方法包括旋转、和上下翻转，旋转角度分别为90度、180度和270度。 说明书 : 一种基于语义分割的现场赤足足迹提取与分析方法技术领域[0001] 本发明涉及足迹图像分析领域，具体为一种基于语义分割的现场赤足足迹提取与分析方法。背景技术[0002] 在刑侦领域足迹是最为常见的线索之一，对于案件的侦破有着重要的意义。其中赤足足迹是现场足迹的一种主要类型。专家可以通过分析现场采集到的赤足足迹图像得出足迹遗留人员身高、体重等相关生理特征信息。[0003] 分析赤足的前提是将赤足从赤足图像中提取出来，防止复杂的背景信息对足迹的分析产生影响。传统的赤足足迹提取方法是在足迹图像上人工描画赤足轮廓提取足迹，手动标记赤足关键点，测量出赤足长度与宽度，推算人员鞋码、身高等信息。相比采用基于深度学习的语义分割方法对赤足图像进行分割来自动提取赤足轮廓，专家手动描画轮廓工作量大且耗时，提取的轮廓易受人为主观因素影响。并且在现场采集环境中，由于现场地面凹凸不平，足迹表面光照不均匀，采集的足迹图像上会呈现阴影，对人工辨别轮廓会有很大的影响。因此从现场赤足图像自动提取足迹对足迹的分析和比对有着重要的作用。发明内容[0004] (一)解决的技术问题[0005] 针对现有技术的不足，本发明提供了一种基于语义分割的现场赤足足迹提取与分析方法，自动提取现场足迹并给出初步分析，尤其针对存在阴影、图像：瓤凸垡蛩赜跋烊斯ぷ慵Ｌ崛〉那榭，提高对足迹图像提取的效率和准确性。[0006] (二)技术方案[0007] 为实现以上目的，本发明通过以下技术方案予以实现：一种基于语义分割的现场赤足足迹提取与分析方法，包括以下步骤：[0008] S1：获取待提取的现场赤足足迹图像，图像中存在标尺；[0009] S2：将采集到的图像送入CPU处理器进行对图像的处理；[0010] S3利用系统中图像分割功能对带标尺的赤足足迹图像进行分割，得到赤足足迹分割结果；[0011] S4：利用系统中的分析功能初步推测出足迹拥有者的鞋码、身高、性别、体重等生理特征；[0012] S5：最终将赤足提取的结果图像和特征分析结果在显示窗口中打印出来。[0013] 其中，步骤S3中所述分割功能所用的语义分割网络训练包括以下步骤：[0014] 第一步，对训练图像进行采集：在模拟现场环境的地板上行走留下灰尘足迹，在足迹旁边放置标尺，以拍照的方式进行现场赤足图像获。曰袢〉耐枷窠腥斯け曜，得到图像对应的训练标签，标注对象为标尺和赤足；[0015] 第二步，最优网络训练：将获得的至少1000张赤足数据集划分为训练集、验证集和测试集。进行训练前对训练集进行数据增广，并对所有图像形状填充为正方形，在将其大小缩放到256×256，将增广和预处理后的训练集对分割网络进行训练，使用划分好的验证集和测试集对网络进行验证和测试来评估网络的性能。[0016] 分割网络进行训练的具体步骤如下：[0017] (1)、构造提取足迹特征的骨干网络：骨干网络采用Unet网络，Unet网络结构为编码器?解码器结构，编码器结构由5个阶段组成，对输入原图进行下采样，获取不同尺度的特征图，提取分割目标的高级语义信息，其中第0阶段对原图进行升维，将原图映射多维特征3×256×256 64×256×256图，输入为{Xin∈R }，经过卷积层后到了{X1∈R }；后4个阶段，特征图都会经过池化层、卷积层、BN层和ReLU激活函数，得到4种不同尺度的特征图，最后一个阶段输出的1024×16×16特征为{X5∈R }；解码器结构对编码器生成的高级特征图进行上采样，并通过跳跃连接方式融合编码器中相应特征层的特征信息，将特征映射回原始图像大。煞治4个阶256×256×256段，最后一个阶段输出特征为{Y∈R }，即为骨干网络输出特征；[0018] (2)、构造区域关系提取模块：提取的区域关系为输入图像区域和骨干网络编码器3×H×W中特征图区域之间的关联信息；分别对原图{Xin∈R }和特征图 进行卷积和空间变换操作，其中C为特征通道数，H和W分别代表原图的高和宽，H1和W1分别代表256×H×W特征的高和宽；先对原图和特征进行卷积，将其通道数转换为256，得到{Xin∈R }和对 以固定步长s进行分块，对每个补丁块在空间维度上进行展平，接着按顺序在第0维度上对补丁块进行拼接，得到 对Fi以相同的操作得到 将 和Xi对应通道上的二维张量进行矩阵相乘，得到 FR表示输入图像区域和骨干网络编码器中特征图区域之间的关系。网络训练时会由Xin对应的groundtruth生成的 对其进行监督，表示groundtruth经过池化后与其自身之间的区域关系；[0019] (3)、构造区域关系调制模块：将提取到的区域关系对骨干网络提取的特征进行空256×H×W间调制，对赤足整体特征进行增强。对骨干网络输出特征{Y∈R }进行卷积和空间变换1操作，经过卷积进行下采样后得到 将FR和Y 对应通道上的二维张量2 3 256×H×W 3 1进行矩阵相乘，得到 对Y进行逆空间变换得到{Y∈R }，将Y与Y256×H×W进行逐元素相加，得到增强后的特征{Yen∈R }，最终通过分割头将特征映射为预测掩码图，得出分割结果。[0020] 作为优化，在步骤S3中，图像分割功能是将待提取的赤足足迹图像输入训练好的语义分割网络模型中，利用网络模型对图像进行分割得出赤足足迹的掩码，从而得出分割结果。[0021] 作为优化，在步骤S4中，分析功能系统通过分割出的足迹初步推测出足迹拥有者的鞋码、身高、性别、体重等生理特征。步骤S3中分割出赤足的同时也会分割出标尺的掩码，计算出赤足各部位与标尺的像素距离，利用标尺像素距离和真实距离之间的比例尺来计算出赤足的真实距离，通过脚长、脚宽等数据换算出足迹拥有者的鞋码，初步估计出身高，体重和性别等生理信息。[0022] 作为优化，在第二步中按照7:1:2的比例将数据划分为训练集、验证集和测试集，训练集进行数据增广的方法包括旋转、和上下翻转，旋转角度分别为90度、180度和270度。[0023] (三)有益效果[0024] 本发明提供了一种基于语义分割的现场赤足足迹提取与分析方法，具备以下有益效果：[0025] 本发明利用基于深度学习的语义分割方法将赤足足迹提取工作智能化，通过学习图像原图和特征图之间的区域关系，增强骨干网络足迹特征来得到较好的分割结果，减小图像存在阴影、图像：瓤凸垡蛩囟宰慵Ｌ崛〉挠跋。相比于人工描画轮廓提取手动计算分析，不但可以减少人力不需要相关专业知识，而且提取分析的效率更快。随着人工智能的不断发展，社会步入信息化和智能化的时代，该发明可以为刑侦专家减少分析压力，提高效率，对刑事侦察工作有着积极的作用。附图说明[0026] 图1为本发明赤足提取与分析系统的流程图；[0027] 图2为本发明模型训练与测试的框架图；[0028] 图3为本发明区域关系提取与调制模块的框架图。具体实施方式[0029] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0030] 请参阅图1?3，本发明提供一种技术方案：[0031] 如图2所示，模型训练与测试分为以下步骤完成：[0032] 第一步，对训练图像进行采集：在模拟现场环境的地板上行走留下灰尘足迹，在足迹旁边放置标尺，以拍照的方式进行现场赤足图像获。曰袢〉耐枷窠腥斯け曜，得到图像对应的训练标签，标注对象为标尺和赤足。[0033] 第二步，最优网络训练：将获得的至少1000张赤足数据集划分为训练集、验证集和测试集。进行训练前对训练集进行数据增广，并对所有图像形状填充为正方形，在将其大小缩放到256×256。将增广和预处理后的训练集对分割网络进行训练，使用划分好的验证集和测试集对网络进行验证和测试来评估网络的性能。分割网络进行训练的具体步骤如下：[0034] (1)、构造提取足迹特征的骨干网络：骨干网络采用Unet网络，Unet网络结构为编码器?解码器结构，编码器结构由5个阶段组成，对输入原图进行下采样，获取不同尺度的特征图，提取分割目标的高级语义信息，其中第0阶段对原图进行升维，将原图映射多维特征3×256×256 64×256×256图，输入为{Xin∈R }，经过卷积层后到了{X1∈R }；后4个阶段，特征图都会经过池化层、卷积层、BN层和ReLU激活函数，得到4种不同尺度的特征图，最后一个阶段输出的1024×16×16特征为{X5∈R }。解码器结构对编码器生成的高级特征图进行上采样，并通过跳跃连接方式融合编码器中相应特征层的特征信息，将特征映射回原始图像大。煞治4个阶256×256×256段，最后一个阶段输出特征为{Y∈R }，即为骨干网络输出特征。[0035] (2)、构造区域关系提取模块：提取的区域关系为输入图像区域和骨干网络编码器3×H×W中特征图区域之间的关联信息。分别对原图{Xin∈R }和特征图 进行卷积和空间变换操作，其中C为特征通道数，H和W分别代表原图的高和宽，H1和W1分别代表256×H×W特征的高和宽。先对原图和特征进行卷积，将其通道数转换为256，得到{Xin∈R }和对 以固定步长s进行分块，对每个补丁块在空间维度上进行展平，接着按顺序在第0维度上对补丁块进行拼接，得到 对Fi以相同的操作得到 将 和Xi对应通道上的二维张量进行矩阵相乘，得到 FR表示输入图像区域和骨干网络编码器中特征图区域之间的关系。网络训练时会由Xin对应的groundtruth生成的 对其进行监督，表示groundtruth经过池化后与其自身之间的区域关系。[0036] (3)、构造区域关系调制模块：将提取到的区域关系对骨干网络提取的特征进行空256×H×W间调制，对赤足整体特征进行增强。对骨干网络输出特征{Y∈R }进行卷积和空间变换1操作，经过卷积进行下采样后得到 将FR和Y 对应通道上的二维张量2 3 256×H×W 3 1进行矩阵相乘，得到 对Y进行逆空间变换得到{Y∈R }，将Y与Y256×H×W进行逐元素相加，得到增强后的特征{Yen∈R }，最终通过分割头将特征映射为预测掩码图，得出分割结果。[0037] 第三步，赤足图像分割功能：将待提取的赤足足迹图像输入训练好的语义分割网络模型中，利用网络模型对图像进行分割得出赤足足迹的掩码和标尺的掩码，赤足足迹掩码用于分离图像的赤足和背景，提取现场足迹，标尺掩码用于对赤足足迹的分析。[0038] 第四步，赤足足迹分析功能：语义分割网络分割出赤足的同时也会分割出标尺的掩码，计算出赤足各部位与标尺的像素距离，利用标尺像素距离和真实距离之间的比例尺来计算出赤足的真实距离，通过脚长、脚宽等数据换算出足迹拥有者的鞋码，初步估计出身高，体重和性别等生理信息。[0039] 基于上述步骤，如图1所示，一种基于语义分割的现场赤足足迹提取与分析方法，具体操作步骤如下：[0040] S1：获取待提取的现场赤足足迹图像，图像中存在标尺；[0041] S2：将采集到的图像送入CPU处理器进行对图像的处理；[0042] S3利用系统中图像分割功能对带标尺的赤足足迹图像进行分割，得到赤足足迹分割结果；[0043] S4：利用系统中的分析功能初步推测出足迹拥有者的鞋码、身高、性别、体重等生理特征；[0044] S5：最终将赤足提取的结果图像和特征分析结果在显示窗口中打印出来。[0045] 本发明在整个语义分割网络的优化过程，网络逐渐学习到不同赤足对象的多尺度语义特征和全局上下文信息，当模型通过不断的优化找到最佳的网络模型时，整个网络可以视为一名具有丰富足迹提取经验的专家。此时，该模型具备了能够快速分割现场赤足足迹的能力。[0046] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

专利地区：安徽

专利申请日期：2024-03-21

专利公开日期：2024-11-29

专利公告号：CN118196435B