开云优惠体育网页版入口

专利名称：一种基于多生物特征自适应融合的身份识别方法及系统

专利类型：发明专利

专利申请号：CN202210166085.5

专利申请（专利权）人：宜春学院
权利人地址：江西省宜春市学府路576号

专利发明（设计）人：张驰,易小西,王涵,虞贵财,尹发根,张志伟,柳向娥

专利摘要：本发明涉及一种基于多生物特征自适应融合的身份识别方法及系统。所述方法包括：从待识别视频序列中获取一个步态周期内的视频序列得到周期视频；获取待识别人在周期视频中每一帧对应的PAF矩阵得到行走特征矢量图；将行走特征矢量图分别输入第一卷积神经网络和长短时记忆神经网络得到空间特征矩阵和时间特征矩阵；将空间特征矩阵和时间特征矩阵进行特征融合得到待识别人的步态特征矩阵；使用自适应加权HOG特征的人脸识别算法对待识别的人脸图像进行处理得到人脸特征矩阵；采用基于SVM的自适应加权融合算法对人脸、步态特征矩阵和标准图像进行处理得到待识别人的身份识别结果。本发明具有很强的适应性可以提高身份识别的准确度。

主权利要求：
1.一种基于多生物特征自适应融合的身份识别方法，其特征在于，包括：获取待识别视频序列，并从所述待识别视频序列中获取一个步态周期内的视频序列得到周期视频；所述待识别视频序列中包括待识别人；
获取所述待识别人在所述周期视频中每一帧对应的PAF矩阵得到行走特征矢量图；所述PAF矩阵包括四肢的PAF和躯干的PAF；
将所述行走特征矢量图分别输入第一卷积神经网络和长短时记忆神经网络得到空间特征矩阵和时间特征矩阵；
将所述空间特征矩阵和所述时间特征矩阵进行特征融合得到所述待识别人的步态特征矩阵；
获取所述待识别视频序列中待识别人的人脸图像并使用自适应加权HOG特征的人脸识别算法对所述待识别人的人脸图像进行处理得到人脸特征矩阵；
采用基于SVM的自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果；
所述采用基于SVM的自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果，具体包括：将所述步态特征矩阵和所述人脸特征矩阵分别对基图像形成的坐标系进行投影得到步态投影矩阵和人脸投影矩阵；
根据所述步态投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的步态欧氏距离得到步态欧式距离数组；根据所述人脸投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的人脸欧氏距离得到人脸欧式距离数组；
根据所述步态欧式距离数组、所述人脸欧式距离数组、所述步态特征矩阵的拒识率和所述人脸特征矩阵的拒识率计算步态置信度和人脸置信度；
根据所述步态置信度计算步态融合权重，根据所述人脸置信度计算人脸融合权重；
根据所述步态融合权重和所述人脸融合权重得到所述待识别人的身份识别结果。
2.根据权利要求1所述的一种基于多生物特征自适应融合的身份识别方法，其特征在于，所述步态周期的确定方法为：将所述待识别视频序列输入训练好的第二卷积神经网络得到所述待识别人的步态周期。
3.根据权利要求1所述的一种基于多生物特征自适应融合的身份识别方法，其特征在于，在所述采用自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果之前还包括：对所述人脸特征矩阵进行降维处理得到降维后的人脸特征矩阵。
4.根据权利要求1所述的一种基于多生物特征自适应融合的身份识别方法，其特征在于，所述获取所述待识别视频序列中待识别人的人脸图像并使用自适应加权HOG特征的人脸识别算法对所述待识别人的人脸图像进行处理得到人脸特征矩阵，具体包括：获取所述待识别视频序列中所述待识别人的人脸图像；
将所述待识别人的人脸图像划分成大小相同的细胞单元；
根据各细胞单元内像素梯度的方向及幅值计算各细胞单元的梯度直方图；
将所有细胞单元的梯度直方图确定为人脸特征矩阵。
5.一种基于多生物特征自适应融合的身份识别系统，其特征在于，包括：视频序列获取模块，用于获取待识别视频序列，并从所述待识别视频序列中获取一个步态周期内的视频序列得到周期视频；所述待识别视频序列中包括待识别人；
PAF矩阵获取模块，用于获取所述待识别人在所述周期视频中每一帧对应的PAF矩阵得到行走特征矢量图；所述PAF矩阵包括四肢的PAF和躯干的PAF；
时空特征确定模块，用于将所述行走特征矢量图分别输入第一卷积神经网络和长短时记忆神经网络得到空间特征矩阵和时间特征矩阵；
步态特征矩阵确定模块，用于将所述空间特征矩阵和所述时间特征矩阵进行特征融合得到所述待识别人的步态特征矩阵；
人脸特征矩阵确定模块，用于获取所述待识别视频序列中待识别人的人脸图像并使用自适应加权HOG特征的人脸识别算法对所述待识别人的人脸图像进行处理得到人脸特征矩阵；
身份识别模块，用于采用基于SVM的自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果；
所述身份识别模块，具体包括：
投影矩阵确定子模块，用于将所述步态特征矩阵和所述人脸特征矩阵分别对基图像形成的坐标系进行投影得到步态投影矩阵和人脸投影矩阵；
欧式距离数组确定子模块，用于根据所述步态投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的步态欧氏距离得到步态欧式距离数组；根据所述人脸投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的人脸欧氏距离得到人脸欧式距离数组；
置信度确定子模块，用于根据所述步态欧式距离数组、所述人脸欧式距离数组、所述步态特征矩阵的拒识率和所述人脸特征矩阵的拒识率计算步态置信度和人脸置信度；
融合权重确定子模块，用于根据所述步态置信度计算步态融合权重，根据所述人脸置信度计算人脸融合权重；
身份识别子模块，用于根据所述步态融合权重和所述人脸融合权重得到所述待识别人的身份识别结果。
6.根据权利要求5所述的一种基于多生物特征自适应融合的身份识别系统，其特征在于，所述视频序列获取模块包括：步态周期确定子模块，用于将所述待识别视频序列输入训练好的第二卷积神经网络得到所述待识别人的步态周期。
7.根据权利要求5所述的一种基于多生物特征自适应融合的身份识别系统，其特征在于，还包括：降维模块，用于对所述人脸特征矩阵进行降维处理得到降维后的人脸特征矩阵。
8.根据权利要求5所述的一种基于多生物特征自适应融合的身份识别系统，其特征在于，所述人脸特征矩阵确定模块，具体包括：获取子模块，用于获取所述待识别视频序列中所述待识别人的人脸图像；
细胞单元确定子模块，用于将所述待识别人的人脸图像划分成大小相同的细胞单元；
梯度直方图确定子模块，用于根据各细胞单元内像素梯度的方向及幅值计算各细胞单元的梯度直方图；
人脸特征矩阵确定子模块，用于将所有细胞单元的梯度直方图确定为人脸特征矩阵。 说明书 : 一种基于多生物特征自适应融合的身份识别方法及系统技术领域[0001] 本发明涉及身份识别技术领域，特别是涉及一种基于多生物特征自适应融合的身份识别方法及系统。背景技术[0002] 人脸识别和步态识别作为目前受关注和应用较为广泛的生物特征身份识别技术，在应用场合和适用条件上具有相似性，因此有着可融合的前提。且在影响因素上，人脸识别容易受到光照、距离、表情、姿态等因素的影响，而步态识别易受年龄、行走条件、身体状况、心理因素、背包等条件的影响。由于这两种生物特征影响因素在外界环境变化时而互不干扰。因此可知步态和人脸这两种生物特征不但可以从一幅步态视频序列中同时获得，还可应用于相同的场合且具有一定的互补性。因此，将人脸特征和步态特征相结合的多生物特征身份识别已成为计算机视觉和模式识别领域的一个新的研究方向。[0003] 现有技术对于融合步态和人脸的多生物特征身份识别的研究中多是采用正面人脸和侧面步态图像这两种较容易提取相应特征的角度进行识别研究，只有少数采用了对侧面人脸和正面步态或其他某个角度的生物特征图像进行识别，在融合算法上，有数据层、特征层、匹配层和决策层四种融合算法，而以上方法都是在普通情况，背景单一的条件下进行的，使得上述几种身份识别方法在复杂背景下适应性差，识别结果不准确所以需要进行更进一步的研究来提高身份识别方法在复杂背景下适应性，以提高识别的准确度。发明内容[0004] 本发明的目的是提供一种基于多生物特征自适应融合的身份识别方法及系统，在背景复杂的情况下，具有很强的适应性可以提高身份识别的准确度。[0005] 为实现上述目的，本发明提供了如下方案：[0006] 一种基于多生物特征自适应融合的身份识别方法，包括：[0007] 获取待识别视频序列，并从所述待识别视频序列中获取一个步态周期内的视频序列得到周期视频；所述待识别视频序列中包括待识别人；[0008] 获取所述待识别人在所述周期视频中每一帧对应的PAF矩阵得到行走特征矢量图；所述PAF矩阵包括四肢的PAF和躯干的PAF；[0009] 将所述行走特征矢量图分别输入第一卷积神经网络和长短时记忆神经网络得到空间特征矩阵和时间特征矩阵；[0010] 将所述空间特征矩阵和所述时间特征矩阵进行特征融合得到所述待识别人的步态特征矩阵；[0011] 获取所述待识别视频序列中待识别人的人脸图像并使用自适应加权HOG特征的人脸识别算法对所述待识别人的人脸图像进行处理得到人脸特征矩阵；[0012] 采用基于SVM的自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果。[0013] 可选的，所述步态周期的确定方法为：[0014] 将所述待识别视频序列输入训练好的第二卷积神经网络得到所述待识别人的步态周期。[0015] 可选的，在所述采用自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果之前还包括：[0016] 对所述人脸特征矩阵进行降维处理得到降维后的人脸特征矩阵。[0017] 可选的，所述获取所述待识别视频序列中待识别人的人脸图像并使用自适应加权HOG特征的人脸识别算法对所述待识别人的人脸图像进行处理得到人脸特征矩阵，具体包括：[0018] 获取所述待识别视频序列中所述待识别人的人脸图像；[0019] 将所述待识别人的人脸图像划分成大小相同的细胞单元；[0020] 根据各细胞单元内像素梯度的方向及幅值计算各细胞单元的梯度直方图；[0021] 将所有细胞单元的梯度直方图确定为人脸特征矩阵。[0022] 可选的，所述采用基于SVM的自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果，具体包括：[0023] 将所述步态特征矩阵和所述人脸特征矩阵分别对基图像形成的坐标系进行投影得到步态投影矩阵和人脸投影矩阵；[0024] 根据所述步态投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的步态欧氏距离得到步态欧式距离数组；根据所述人脸投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的人脸欧氏距离得到人脸欧式距离数组；[0025] 根据所述步态欧式距离数组、所述人脸欧式距离数组、所述步态特征矩阵的拒识率和所述人脸特征矩阵的拒识率计算步态置信度和人脸置信度；[0026] 根据所述步态置信度计算步态融合权重，根据所述人脸置信度计算人脸融合权重；[0027] 根据所述步态融合权重和所述人脸融合权重得到所述待识别人的身份识别结果。[0028] 一种基于多生物特征自适应融合的身份识别系统，包括：[0029] 视频序列获取模块，用于获取待识别视频序列，并从所述待识别视频序列中获取一个步态周期内的视频序列得到周期视频；所述待识别视频序列中包括待识别人；[0030] PAF矩阵获取模块，用于获取所述待识别人在所述周期视频中每一帧对应的PAF矩阵得到行走特征矢量图；所述PAF矩阵包括四肢的PAF和躯干的PAF；[0031] 时空特征确定模块，用于将所述行走特征矢量图分别输入第一卷积神经网络和长短时记忆神经网络得到空间特征矩阵和时间特征矩阵；[0032] 步态特征矩阵确定模块，用于将所述空间特征矩阵和所述时间特征矩阵进行特征融合得到所述待识别人的步态特征矩阵；[0033] 人脸特征矩阵确定模块，用于获取所述待识别视频序列中待识别人的人脸图像并使用自适应加权HOG特征的人脸识别算法对所述待识别人的人脸图像进行处理得到人脸特征矩阵；[0034] 身份识别模块，用于采用基于SVM的自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果。[0035] 可选的，所述视频序列获取模块包括：[0036] 步态周期确定子模块，用于将所述待识别视频序列输入训练好的第二卷积神经网络得到所述待识别人的步态周期。[0037] 可选的，所述基于多生物特征自适应融合的身份识别系统，还包括：[0038] 降维模块，用于对所述人脸特征矩阵进行降维处理得到降维后的人脸特征矩阵。[0039] 可选的，所述人脸特征矩阵确定模块，具体包括：[0040] 获取子模块，用于获取所述待识别视频序列中所述待识别人的人脸图像；[0041] 细胞单元确定子模块，用于将所述待识别人的人脸图像划分成大小相同的细胞单元；[0042] 梯度直方图确定子模块，用于根据各细胞单元内像素梯度的方向及幅值计算各细胞单元的梯度直方图；[0043] 人脸特征矩阵确定子模块，用于将所有细胞单元的梯度直方图确定为人脸特征矩阵。[0044] 可选的，所述身份识别模块，具体包括：[0045] 投影矩阵确定子模块，用于将所述步态特征矩阵和所述人脸特征矩阵分别对基图像形成的坐标系进行投影得到步态投影矩阵和人脸投影矩阵；[0046] 欧式距离数组确定子模块，用于根据所述步态投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的步态欧氏距离得到步态欧式距离数组；根据所述人脸投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的人脸欧氏距离得到人脸欧式距离数组；[0047] 置信度确定子模块，用于根据所述步态欧式距离数组、所述人脸欧式距离数组、所述步态特征矩阵的拒识率和所述人脸特征矩阵的拒识率计算步态置信度和人脸置信度；[0048] 融合权重确定子模块，用于根据所述步态置信度计算步态融合权重，根据所述人脸置信度计算人脸融合权重；[0049] 身份识别子模块，用于根据所述步态融合权重和所述人脸融合权重得到所述待识别人的身份识别结果。[0050] 根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明从待识别视频序列中获取一个步态周期内的视频序列得到周期视频；获取待识别人在周期视频中每一帧对应的PAF矩阵得到行走特征矢量图；将特征矢量图分别输入第一卷积神经网络和长短时记忆神经网络得到空间特征矩阵和时间特征矩阵；将空间特征矩阵和时间特征矩阵进行特征融合得到待识别人的步态特征矩阵；使用自适应加权HOG特征的人脸识别算法对待识别人的人脸图像进行处理得到人脸特征矩阵；采用基于SVM的自适应加权融合算法对人脸特征矩阵、步态特征矩阵和图像数据库中的标准图像进行处理得到待识别人的身份识别结果，将HOG算法与SVM相结合使得在背景复杂的情况下，具有很强的适应性可以提高身份识别的准确度。附图说明[0051] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0052] 图1为本发明实施例提供的一种基于多生物特征自适应融合的身份识别方法的流程图；[0053] 图2为本发明实施例提供的步态识别流程图；[0054] 图3为人体步态序列中的一个步态周期的关键帧示意图；[0055] 图4为本发明实施例提供的确定步态周期时输出的波形图；[0056] 图5为本发明实施例提供的人体步态周期确定的流程图；[0057] 图6为本发明实施例提供的选择后的PAF图；[0058] 图7为本发明实施例提供的一个步态周期内的特征矢量图；[0059] 图8为本发明实施例提供的视频监控下人脸识别流程图；[0060] 图9为HOG算法示意图；[0061] 图10为多特征融合的基本流程图。具体实施方式[0062] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0063] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。[0064] 本发明实施例提供的基于多生物特征自适应融合的身份识别方法主要研究内容分为以下几部分：(1)研究结合卷积神经网络和长短记忆网络的步态识别方法；(2)研究基于HOG?NMF特征提取算法的人脸识别方法；(3)提取步态和人脸的特征，使用基于决策层的自适应加权融合的方法对提取特征进行融合与识别，基于深度学习的HOG结合SVM的算法进行目标检测，将步态与人脸识别相融合，采用基于决策层的自适应动态加权融合方法使得在背景复杂的情况下，也具有很强的鲁棒性、更高的识别度及更快的识别速度，具体步骤如图1所示，包括：[0065] 步骤101：获取待识别视频序列，并从所述待识别视频序列中获取一个步态周期内的视频序列得到周期视频；所述待识别视频序列中包括待识别人。[0066] 步骤102：获取所述待识别人在所述周期视频中每一帧对应的PAF矩阵得到行走特征矢量图；所述PAF矩阵包括四肢的PAF和躯干的PAF。[0067] 步骤103：将所述行走特征矢量图分别输入第一卷积神经网络和长短时记忆神经网络得到空间特征矩阵和时间特征矩阵。[0068] 步骤104：将所述空间特征矩阵和所述时间特征矩阵进行特征融合得到所述待识别人的步态特征矩阵。[0069] 步骤105：获取所述待识别视频序列中待识别人的人脸图像并使用自适应加权HOG特征的人脸识别算法对所述待识别人的人脸图像进行处理得到人脸特征矩阵。[0070] 步骤106：采用基于SVM的自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果。[0071] 在实际应用中，所述步态周期的确定方法为：[0072] 将所述待识别视频序列输入训练好的第二卷积神经网络得到所述待识别人的步态周期。[0073] 在实际应用中，将所述待识别视频序列输入训练好的第二卷积神经网络得到所述待识别人的步态周期具体包括：[0074] 提取所述待识别视频序列的每一帧图像中的行人区域；[0075] 将所有帧图像中的行人区域裁剪成尺寸相同的图像；[0076] 将所有裁剪后的图像输入训练好的第二卷积神经网络得到步态波形；[0077] 根据步态波形确定步态周期。[0078] 在实际应用中，在所述采用自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果之前还包括：[0079] 对所述人脸特征矩阵进行降维处理得到降维后的人脸特征矩阵。[0080] 在实际应用中，对所述人脸特征矩阵进行降维处理得到降维后的人脸特征矩阵具体包括：[0081] 对所述人脸特征矩阵取绝对值得到绝对值矩阵。[0082] 对所述绝对值矩阵进行秩的NMF分解得到基矩阵和系数矩阵。[0083] 对基矩阵和特征矩阵的每一列向量做归一化处理得到归一化列向量。[0084] 将所有归一化列向量级联得到降维后的人脸特征矩阵矩阵。[0085] 在实际应用中，所述获取所述待识别视频序列中待识别人的人脸图像并使用自适应加权HOG特征的人脸识别算法对所述待识别人的人脸图像进行处理得到人脸特征矩阵，具体包括：[0086] 获取所述待识别视频序列中所述待识别人的人脸图像。[0087] 将所述待识别人的人脸图像划分成大小相同的细胞单元。[0088] 根据各细胞单元内像素梯度的方向及幅值计算各细胞单元的梯度直方图。[0089] 将所有细胞单元的梯度直方图确定为人脸特征矩阵。[0090] 在实际应用中，所述采用基于SVM的自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果，具体包括：[0091] 将所述步态特征矩阵和所述人脸特征矩阵分别对基图像形成的坐标系进行投影得到步态投影矩阵和人脸投影矩阵。[0092] 根据所述步态投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的步态欧氏距离得到步态欧式距离数组；根据所述人脸投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的人脸欧氏距离得到人脸欧式距离数组。[0093] 根据所述步态欧式距离数组、所述人脸欧式距离数组、所述步态特征矩阵的拒识率和所述人脸特征矩阵的拒识率计算步态置信度和人脸置信度。[0094] 根据所述步态置信度计算步态融合权重，根据所述人脸置信度计算人脸融合权重。[0095] 根据所述步态融合权重和所述人脸融合权重得到所述待识别人的身份识别结果。[0096] 本发明实施例还提供了一种与上述方法对应的基于多生物特征自适应融合的身份识别系统，包括：[0097] 视频序列获取模块，用于获取待识别视频序列，并从所述待识别视频序列中获取一个步态周期内的视频序列得到周期视频；所述待识别视频序列中包括待识别人。[0098] PAF矩阵获取模块，用于获取所述待识别人在所述周期视频中每一帧对应的PAF矩阵得到行走特征矢量图；所述PAF矩阵包括四肢的PAF和躯干的PAF。[0099] 时空特征确定模块，用于将所述行走特征矢量图分别输入第一卷积神经网络和长短时记忆神经网络得到空间特征矩阵和时间特征矩阵。[0100] 步态特征矩阵确定模块，用于将所述空间特征矩阵和所述时间特征矩阵进行特征融合得到所述待识别人的步态特征矩阵。[0101] 人脸特征矩阵确定模块，用于获取所述待识别视频序列中待识别人的人脸图像并使用自适应加权HOG特征的人脸识别算法对所述待识别人的人脸图像进行处理得到人脸特征矩阵。[0102] 身份识别模块，用于采用基于SVM的自适应加权融合算法对所述人脸特征矩阵、所述步态特征矩阵和图像数据库中的标准图像进行处理得到所述待识别人的身份识别结果。[0103] 作为一种可选的实施方式，所述视频序列获取模块包括：[0104] 步态周期确定子模块，用于将所述待识别视频序列输入训练好的第二卷积神经网络得到所述待识别人的步态周期。[0105] 作为一种可选的实施方式，基于多生物特征自适应融合的身份识别系统，还包括：[0106] 降维模块，用于对所述人脸特征矩阵进行降维处理得到降维后的人脸特征矩阵。[0107] 作为一种可选的实施方式，所述人脸特征矩阵确定模块，具体包括：[0108] 获取子模块，用于获取所述待识别视频序列中所述待识别人的人脸图像。[0109] 细胞单元确定子模块，用于将所述待识别人的人脸图像划分成大小相同的细胞单元。[0110] 梯度直方图确定子模块，用于根据各细胞单元内像素梯度的方向及幅值计算各细胞单元的梯度直方图。[0111] 人脸特征矩阵确定子模块，用于将所有细胞单元的梯度直方图确定为人脸特征矩阵。[0112] 作为一种可选的实施方式，所述身份识别模块，具体包括：[0113] 投影矩阵确定子模块，用于将所述步态特征矩阵和所述人脸特征矩阵分别对基图像形成的坐标系进行投影得到步态投影矩阵和人脸投影矩阵。[0114] 欧式距离数组确定子模块，用于根据所述步态投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的步态欧氏距离得到步态欧式距离数组；根据所述人脸投影矩阵计算所述待识别视频序列中的图像与图像数据库中的各标准图像的人脸欧氏距离得到人脸欧式距离数组。[0115] 置信度确定子模块，用于根据所述步态欧式距离数组、所述人脸欧式距离数组、所述步态特征矩阵的拒识率和所述人脸特征矩阵的拒识率计算步态置信度和人脸置信度。[0116] 融合权重确定子模块，用于根据所述步态置信度计算步态融合权重，根据所述人脸置信度计算人脸融合权重。[0117] 身份识别子模块，用于根据所述步态融合权重和所述人脸融合权重得到所述待识别人的身份识别结果。[0118] 本发明实施例还提供了更加具体的基于多生物特征自适应融合的身份识别方法：[0119] 步骤一：步态识别[0120] 为提高多视角下的服饰改变和存在携带物等诸多干扰影响下的步态识别准确率，本实施例采用卷积神经网络及长短记忆网络相结合的步态识别方法。该方法既保留了步态空间及实践信息，又避免了冗余信息，有利于步态特征的学习和训练，提高了检测方法的识别率、鲁棒性和实时性。对应流程如图2所示，根据行人视频序列得到步态周期检测，然后得到人体行走特征矢量图，再然后进行特征提取(卷积神经网络进行空间特征提。ざ淌奔且渫缃惺奔涮卣魈崛)，再然后进行步态匹配结果，最后融合输入。具体步骤如下：[0121] 1)步态周期检测[0122] 本实施例用卷积神经网络完成步态周期检测，卷积神经网络算法有出众的特征学习能力，可以自动提取步态轮廓序列的周期特征，相对于传统方法中的单一人工特征，利用此方法可以达到更好的效果和鲁棒性，从而提高后续步态识别在复杂场景下的识别精度。[0123] 步态周期的定义是指一只脚接触到地面至同一只脚再接触到地面所用的时间，其中有4个关键。谝桓鲋∥浇挪⒄沂弊蠼抛急嘎醵，第二个帧为两脚并找时右脚准备迈动，第三个帧为两脚分开时右脚在后，第四个帧为两脚分开时左脚在后。关键帧的提取大大减少了后续步态特征的计算量。如图3所示。[0124] 首先将视频序列做裁剪及调整的标准化处理，其目的是避免人与摄像机之间的距离和角度变化的对轮廓的影响。然后通过处理后的图像序列的顶部和底部像素来提取行人的区域，计算其重心。利用重心、轮廓高度和宽高比将每一帧裁剪成72×96的行人轮廓图形成步态序列。然后将步态序列送入训练好的第二卷积神经网络中，最后将输出的波形如图4所示，进行滤波，得到一个完整的步态周期。具体过程如图5所示。[0125] 对于输入的步态序列{D1,D2,···,Dn}通过标准化后得到D＝{Dnorm1,Dnorm2,···,Dnormn}的标准步态序列，将此序列通过训练好的第二卷积神经网络S进行卷积，B＝S*D得到相对应的输出的分类结果{B1,B2,···,Bn}，其中将步态周期进行了4分类(关键帧)建模，当B1与Bi的分类结果相同且{B2,B3,···,Bi?1}中按顺序包含其他分类结果时即{B1,B2,···,Bi}为一个步态周期。由于视频中帧数从几十帧到上百。鲂枰觳馊颂逶硕囊桓霾教芷谧魑笮卣魈崛。泵扛鋈硕加靡桓霾教芷谛蛄械奶卣髯魑侗，减少特征的多样性，识别率也会提高，其中Dn表示第n个行人轮廓图，Dnormn表示通过标[0126] 准化后的第n个行人轮廓图。[0127] 2)数据选择及PAF提取[0128] 人体部位关联场(partaffinityfield，PAF)，PAF是提供人体各部位的位置和方向信息的矩阵，它们成对出现：对于每一部位在x方向上有一个PAF，记为x?PAF，在y方向上有一个PAF，记为y?PAF。PAF是一个大小为W×H×C的3维矩阵，其中，W形为宽度，H为高度，C为层数。[0129] 本实施例中，宽度和高度均为46，层数为57。前18层为人体18个关键点的位置，第19层为背景，上述19层构成热图。后38层为PAF，其中，奇数层为x方向上的x?PAF，偶数层为y方向的y?PAF，这38层构成了大小为46×46×38的PAF矩阵。[0130] 在步态视频中，由于后续有针对头部的人脸检测，且头部经常不规则地摇动，因此头部的PAF提取变得困难且意义不大。[0131] 本实施例忽略头部的步态特征信息，主要考虑四肢和躯干，如图6所示。从原始PAF中去除的和头部相关PAF，层数则变为24，此时PAF矩阵缩小为46×46×24。[0132] 3)人体行走特征矢量图的形成[0133] 缩减后的PAF每帧图像的矩阵大小为46×46×24，取沿时间轴的视频序列长度为Tc，则行走特征矢量图大小为Tc×46×46×24。如图7所示。[0134] 4)特征提取与步态匹配[0135] 设计空、时网络对行走特征矢量图进行特征学习以及步态匹配。其中第一卷积神经网络将动作特征矩阵Mp经过第一卷积神经网络分支的4次卷积和池化后，在Flatten层转换为一维动作特征矢量。长短记忆神经网络分支将运动约束矩阵Mq经过两层长短时记忆网络后在Flatten层转换为一维运动约束向量；最后，将两路一维向量合并后，得到步态匹配输出序列。[0136] ①输入层：输入的矩阵大小为Tc×46×46×24。[0137] ②第一卷积神经网络(空间特征提取)：将行走特征矢量图输入第一卷积神经网络得到空间特征矩阵，对输入进行卷积计算，并调整批量归一化和线性整流函数的位置。然后进行一次卷积操作以调整输入的通道尺寸，同时在3×3卷积层进行了两次降维，则输出的空间特征形状为Tc×12×12×512。[0138] ③长短记忆神经网络(时间特征提取)：将行走特征矢量图输入长短时记忆神经网络得到时间特征矩阵，将第1个全连接的输出重塑为单层单向长短期记忆神经网络的输入形式，设此网络的训练集样本数量为n，隐藏层节点数为512，则其结构为(n，Tc，512)，最后空间和时间特征矩阵融合得到步态特征矩阵也就是步态匹配序列，输出为步态匹配序列(n，512)。[0139] 步骤二：人脸识别[0140] 一个完整的基于监控视频的人脸识别系统可分为：人脸检测、特征提取和分类识别三大模块，流程图如图8所示，首先进行视频捕捉，其次进行人脸检测，判断是否存在人脸，若不存在再返回人脸检测步骤，若存在则依次进行特征提取、降维并选择最优特征和分类识别得到人脸特征。[0141] 本实施例通过对HOG特征和人脸局部特征对识别的贡献率不同的研究分析提出一种有很好的鲁棒性的自适应加权HOG特征的人脸识别算法。[0142] HOG算法的主要目的是对图像进行梯度计算，统计图像的梯度方向和梯度大小。它提取的边缘和梯度特征能够很好的抓住局部形状的特点，并且因为对图像做了Gamma校正和cell方式进行归一化处理，对几何和光学变化都有很好的不变性，变换或旋转对于足够小的区域影响很小。因此HOG算法是对表情变化、光照、场景变化等线性变换具有良好的鲁棒性。[0143] 1、HOG算法提取人脸特征的过程如下：[0144] 1)把捕捉到的整张人脸图像看成一个特征采集窗口。[0145] 2)在此采集窗口内设置一个滑动区域块block，并把block划分为若干大小统一的细胞单元cell，如图9(a)所示。[0146] 3)在细胞单元内根据各像素梯度的方向及幅值计算当前cell的梯度直方图，进而联合所有cell的梯度直方图作为当前block的梯度直方图，为了降为了进一步降低光照、背景、表情、姿态等的影响，需要将直方图做归一化处理。本实施例采用L2?norm归一化处理。[0147] 4)然后把block沿着当前窗口的水平和竖直方向按着一定的步进平移，如图9(b)所示，每平移一定的距离即统计当前block的梯度直方图，最后级联所有block的梯度直方图作为最终的人脸特征。[0148] 对一个尺度大小为80×120的人脸图像进行HOG特征提取步骤具体如下：[0149] ①设置滑动区域块block的大小为20×20。[0150] ②每个block均匀划分为16个cell单元，每个cell尺寸大小为5×5。设cell内任意像素点(x,y)的灰度值为H(x,y)，计算其水平梯度Hx(x,y)和垂直梯度Hy(x,y)则像素点(x,y)的梯度幅值I(x,y)和梯度方向 分别为[0151] 和[0152] ③将每个cell单元梯度方向均等划分为10个有符号的方向，每个方向为大小则为18°，每个cell单元直方图维度大小为10维。[0153] ④随后级联当前block区块内16个cell的梯度直方图，得到160维的直方图特表示当前block区块的梯度直方图特征，同时进行归一化处理。[0154] ⑤然后将block区块按水平和垂直方向步进值均为20在人脸图像上进行滑动，重复上述步骤得到滑动区块的梯度直方图，最后级联所有区块的梯度直方图作为最终人脸的梯度直方图特征。最终梯度直方图维度大小为4×6×160＝3840维。[0155] 2、特征提取降维处理[0156] HOG特征提取的维数较大，例如典型的120×80解析度的图像形成的特征向量为3840维，本实施例采用非负矩阵分解(Non?negativeMatrixFactorizationNMF)对其进行降维处理，形成HOG?NMF特征序列以满足系统实时性的要求。NMF是在一定代价函数约束下的最优化过程，是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法，可通过迭代运算求其近似解，其具体流程如下：[0157] 1)设F是长为l的HOG特征向量(降维前的人脸特征矩阵)，将其取绝对值并将其转换为m×n的矩阵G，其中l＝m×n且m＞n。[0158] 2)对矩阵G根据公式G＝ZYT进行秩r的NMF分解，r＜＜m，式中Z和Y分别是m×r和n×r的非负的基矩阵和系数矩阵。[0159] 3)对Z和Y矩阵每一个列向量hi做归一化处理，即hi＝hi/||hi||。[0160] 4)最后，将所有的归一化列向量hi级联成HOG?NMF特征即最终的人脸特征。[0161] 本实施例以120×80解析度为例，经HOG提取特征时输出3840维，即l＝3840，取m＝480,n＝8,r＝2，经NMF降维后，特征的长度变为986，特征维数减少了75％。通过低秩分解得到的基矩阵和系数矩阵蕴含了原始矩阵的主要特征，所以HOG?NMF特征很好地继承HOG的优良特性，同时大大提高了后续融合算法的实时性。[0162] 步骤三：身份识别[0163] 多生物特征的信息融合方法可以主要分为数据层融合、特征层融合、匹配层融合和决策层融合四种，图10为多特征在不同层次上进行融合的过程，本实施例采用基于决策层的自适应加权融合方法。通过在决策层上将每个生物特征的距离匹配值进行自适应分配权值以获得最优的联合匹配分数，可以达到最好的信息融合效果。[0164] 决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。这种方法是首先对各个源数据进行处理，分别得出判断和识别的结果，融合中心将这些结果按照一定的准则和每个数据源决策的可信度进行协调，以取得最优的决策结果。决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统，进行分析、推理、识别和判决。此种融合实时性好，并且有一定的容错能力。[0165] 决策级融合是一种高层次融合，它首先将不同的特征进行独立处理获得识别结果，然后将得到的多个识别结果采用融合算法进行综合，最终得到最后的结果。决策层次的融合具有灵活性高、抗干扰能力强、处理代价低、对传感器依赖少等优点。[0166] 基于SVM(支持向量机)算法是目前智能融合分类方法中运用最好的方法之一，根据有限的样本信息构造一个具有最好推广能力的模型，即在模型复杂和学习能力之间寻求最佳权衡，它特有的许多优势同时体现在线性和非线性分类问题中。[0167] 本实施例在SVM算法基础上，为了提高决策层的融合算法的鲁棒性，利用不同模态的特征层的判别结果(距离信息)辅助引导决策层融合，引入拒识率进行置信度的权重判定，形成一种自适应的加权融合算法，从而得出识别结果。[0168] 决策层融合算法步骤：[0169] 1)将步骤一得到的步态特征和步骤二得到的人脸特征的一维特征列向量c对基图像(首先读入人脸和步态的训练图像数据库，得到训练图像矩阵V＝(V1，V2....Vn)，n为训练库中图像数量，列向量Vi代表一张训练图像。通过NMF变换公式V＝AH得到一个新的矩阵，H为投影系数矩阵，A矩阵里的每一列为一副基图像)所形成的坐标系上进行投影r＝c·A，得到投影矩阵r(人脸投影矩阵和步态投影矩阵)，然后根据投影矩阵求出待识别图像与所有n幅的已有训练图像(自己输入到创建的训练库中的图像或视频，或者是已有的成品库)的欧氏距离(人脸欧氏距离和步态欧氏距离)，将所有已有训练图像的欧氏距离确定为欧式距离数组(步态欧式距离数组和人脸欧式距离数组)。其中，步态欧式距离数组记为Ob＝{Ob1,Ob2···Obn}，人脸欧式距离数组记为Of＝{Of1,Of2···Ofn}。然后利用线性归一化方法将得到的步态距离匹配值数组和人脸距离匹配值数组分别按公式 进行归一化处理得到归一化后的步态距离匹配值数组和归一化后的人脸距离匹配值数组，式中：ro为欧式距离数组，rnorm为线性归一化后的欧式距离数组。由此得到归一化后的步态欧式距离数组rb＝{rb1,rb2,···,rbn}和归一化后的人脸欧式距离数组rf＝{rf1,rf2,···,rfn}，通过线性归一化方法可以将欧式距离数组映射到[0，1]区间中去，且不会改变原始匹配数据的分布形式。[0170] 2)归一化后的步态距离匹配值数组和归一化后的人脸距离匹配值数组后，可作为后续计算置信度的参数之一。但如何分配每个数组中的子函数所占的权重以达到最好的融合效果是整个决策层融合好坏的核心问题。因此，本实施例将拒识率引入决策层算法的运算。拒识率(falserejectionrate，FRR)在系统识别中是衡量系统分类性能的一个重要参数。尤其在多模态识别过程中，各个模态之间的分类性能差异会降低系统的识别精度。因此，将拒识率纳入置信度的计算，可以提高信息融合提取分类的能力及增强系统的鲁棒性。本实施例根据归一化特征距离信息(是步态和人脸两种的归一化后的欧式距离数组)以及拒识率，分别计算每个模态(步态和人脸)的置信度为：[0171] 其中，rb,f分别为归一化后的欧式距离数组；n为归一化后的欧式距离数组中数值的总个数；FRRb,f分别为模态的拒识率，当计算步态置信度时，公式中就应用归一化后的步态欧式距离数组和步态特征的拒识率，当计算人脸置信度时，公式中就应用归一化后的人脸欧式距离数组和人脸特征的拒识率。由置信度公式可知，每个模态的置信度是由归一化后的欧式距离数组和分类器的性能参数共同决定的。由此，可分别计算每个模态在决策层融合的权重wb,f为： 其中，0≤wb,f≤1，m为识别模态数量，本实施例是步态和人脸两种，则m＝2，且 通过指数关系将置信度转化为步态和人脸的权重因子，以此来强化高置信度和高权重因子之间的关系，得到的融合系统对噪声的鲁棒性更强。模态权重值反映了两种模态的子分类结果在决策中所处的地位，因此会直接影响到最终决策的质量和效果。权重因子越高，对应模态的分类能力越强，对于最终决策的影响程度就越大。这样可以很好的发挥两种识别模式的优势互补，提高整个系统的识别率和抗干扰性。[0172] 3)最后，在决策融合时，利用权重因子作为子决策的权重根据公式得出最终的身份识别结果T，其中 式中， 表示组态识别系数，Tb,f分别为模态的识别结果；Oi为目标类别(目标类别分为采集的步态和人脸两种)。本实施例所提出的基于特征信息和拒识率引导的决策融合方法，由于归一化特征距离(归一化后的欧式距离数组)来自不同模态，其匹配距离所包含的信息不同，所以此特征距离是非标准化的，是动态变化的。本方法的优点在于通过提取不同模态归一化特征距离在分布上的有效信息，同时加上不同模态系统的拒识率，得到该模态的置信度。将这个置信度通过数学映射得出对应的权重因子，根据不同的权重进行决策级的融合，是一种动态的、自适应的加权融合识别算法。[0173] 本发明有以下技术效果：[0174] 1、本发明在背景复杂的情况下，具有很强的鲁棒性。[0175] 2、基于大多数研究未考虑服饰改变、携带物品等干扰因素造成的识别率降低问题，本发明只是对普通行人行走下的识别，对此提出了一种融合卷积神经网络与长短记忆网络的方法，既可以提取出目标的动态和静态特征又可以降低服饰改变、携带物品等干扰因素的影响。[0176] 3、本发明在SVM算法基础上，为了提高决策层的融合算法的鲁棒性，利用不同模态的特征层的判别结果(距离信息)辅助引导决策层融合，引入拒识率进行置信度的权重判定，形成一种自适应的加权融合算法，从而得出识别结果。此方法很好的发挥两种识别模式的在不同角度、不同场景下的优势互补，提高整个系统的识别率、抗干扰性及适用范围。在实际应用中，可以在少量增加系统成本和用户负担的情况下，有效地改善身份识别系统的性能。[0177] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。[0178] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

专利地区：江西

专利申请日期：2022-02-23

专利公开日期：2024-11-19

专利公告号：CN114519899B