开云优惠体育网页版入口

专利名称：一种基于轻量级网络模型的指静脉识别方法

专利类型：发明专利

专利申请号：CN202210416878.8

专利申请（专利权）人：哈尔滨工业大学(威海)
权利人地址：山东省威海市环翠区文化西路2号

专利发明（设计）人：柴婷婷,李家辉,徐永东,张兆心,刘奇松,钟亦奇

专利摘要：本发明提供一种基于轻量级网络模型的指静脉识别方法，针对不同的指静脉数据库采用不同的ROI区域提取方法，其采用的是轻量级指静脉识别网络模型，该轻量级指静脉识别网络模型裁剪了预训练的MobileNetV2的前七个瓶颈层，其后接着的是一个Dropout层(Dropout1)、一个卷积层(Conv)、一个归一化层(BNorm)、一个ELU层(ELU)、一个Dropout层(Dropout2)和一个全连接层(FC)，以指静脉ROI图像为训练样本，采用端到端的方式对网络进行训练，对预训练MobileNetV2模型的部分结构进行微调，对辅助层进行从头训练。该方法简化了手指静脉识别流程，图片预处理过程仅需要对采集到的样本进行ROI（感兴趣区）提。荒Ｐ筒问可，降低计算机计算代价，从而提升识别速度以及减少训练成本更加节能环保。

主权利要求：
1.一种基于轻量级网络模型的指静脉识别方法，其特征是，针对不同的指静脉数据库采用不同的ROI区域提取方法，FVUSM数据库提供的分割后的ROI图像直接作为输入数据，HKPU、SDUMLA和UTFVP数据库的ROI区域的提取方法包括以下步骤：S1、利用两个掩码区分手指区域和背景区域，将手指区域像素值赋值为1，背景区域像素值赋值为0，进而得到一个黑白的二值化图像；
S2、根据二值化图像在原图上绘制出最大外接矩形框，其中最大外接矩形框的高度值为W，宽度值为L；
S3、确定ROI区域的上下边界进而确定ROI区域的高度，其中ROI区域的上边界值为b2，ROI区域的下边界值为b1，ROI区域的高度值为S，确定上下边界公式组为：①b1＝W/4
②b2＝W?49
③S＝b2?b1
S4、利用宽度设置为50像素，高度与区域R1相同的滑动窗口从区域R1的最右侧逐列向左移动，并在该过程中计算滑动窗口内所有像素点的灰度值之和，记作Sumg，再确定近端指关节位置P1和远端指关节位置P2，d1等于P1和P2之间的距离，d2等于P1与ROI区域左边界的距离，确定指关节公式组：⑤P1＝argmax(Sumg)floor(2×3/L)≤P1≤L?49
⑥P2＝argmax(Sumg1≤P2≤L/4
S5、确定ROI区域的左右边界进而确定宽度，其中ROI区域的左边界值为g1，ROI区域的右边界值为g2，确定左右边界公式组：S6、根据上下左右的边界位置从R1区域分割出ROI图像；
所述指静脉识别方法采用的是轻量级指静脉识别网络模型，该轻量级指静脉识别网络模型裁剪了预训练的MobileNetV2的前七个瓶颈层，其后接着的是一个Dropout层Dropout1、一个卷积层Conv、一个归一化层BNorm、一个ELU层ELU、一个Dropout层Dropout2和一个全连接层FC，以指静脉ROI图像为训练样本，采用端到端的方式对网络进行训练，对预训练MobileNetV2模型的部分结构进行微调，对辅助层进行从头训练。
2.根据权利要求1所述的一种基于轻量级网络模型的指静脉识别方法，其特征在于：训练和测试前将ROI区域图像的大小调整为64*192像素，其中64和192分别代表ROI区域的高度和宽度。
3.根据权利要求2所述的一种基于轻量级网络模型的指静脉识别方法，其特征在于：
SDUMLA数据库中的原始图像有三个颜色通道，FVUSM、HKPU和UTFVP数据库图像只有一个颜色通道，输入前通过复制该一个颜色通通道像素值给其他通道进而转换为三通道图像。
4.根据权利要求3所述的一种基于轻量级网络模型的指静脉识别方法，其特征在于，轻量级指静脉识别网络模型详细信息如下：(1)、输入层输入高×宽×通道数的尺寸为224×224×3的指静脉图像，在原图像上提取出大小为64×192的ROI图像，每三个ROI图像通过自我填充拼接成大小为224×224的正方形输入图像，对于单通道图像，输入前通过复制该通道像素值给其他通道进而转换为三通道图像；
(2)、来自预先训练的MobileNetV2模型的网络将输入的图像转换成7×7×160大。渲械6个瓶颈层的参数n设置为1；
(3)、在辅助块中，Dropout1和Dropout2的dropout率分别设置为0.2和0.1，Conv有512个大小为7×7×160的卷积滤波器，BNorm的批量大小设置为16，辅助块最后的输出大小为1×1×512；
(4)、FC有C个大小为1×1×512的卷积滤波器，输出大小为1×1×C；其中C表示指静脉的类别数量，交叉熵函数作为反向传播的损失函数。
5.根据权利要求4所述的一种基于轻量级网络模型的指静脉识别方法，其特征在于，轻量级指静脉识别网络模型的训练策略如下：轻量级指静脉识别网络模型基于HKPU、SDUMLA、FV?USM和UTFVP四个数据库进行训练，其中学习率设置为1e?2，学习的批量大小设置为16，反向传播的损失函数为交叉熵函数(CrossEntropy)；每个个体的每个手指都被视为一个类，如果数据库有分好的训练集和测试集，则训练集样本将用于培训，而测试集样本将用于测试，对于没有划分训练集和测试集的数据库每个类将被平均分为两部分；对于具有奇数图像的指静脉类，将多出的一幅图像放入训练集中。 说明书 : 一种基于轻量级网络模型的指静脉识别方法技术领域[0001] 本发明涉及指静脉识别技术领域，特别是涉及一种基于轻量级网络模型的指静脉识别方法。背景技术[0002] 随着信息技术的发展以及硬件制造工艺的精密化，人们越来越注重对私有信息的保护，过去人们多采用数字密码、指纹、智能卡等来进行访问控制和私有信息保护。由于其易破解、易仿造，生物特征识别技术得到了广泛关注，它具有稳定性、唯一性、普遍性，难以仿造和破解。其中手指静脉用于自动个人识别系统已有十多年的历史。它的规：涂狗腔钐骞セ鞯奶匦允蛊涫屎嫌诟髦稚桃岛驼府应用。[0003] 以往基于深度学习的方法设计的网络架构层次深，参数量大，训练成本高昂且容易引起设备内存不足和处理速度慢。同时神经网络小型化是整个领域的发展趋势，在保证深度模型精度的同时，体量更小。发明内容[0004] 本发明针对现有的精度较高的深度学习模型大多参数量庞大，训练成本高，且容易引起设备内存不足和处理速度慢的技术问题，提供一种基于轻量级网络模型的指静脉识别方法，该方法简化了手指静脉识别流程，图片预处理过程仅需要对采集到的样本进行ROI(感兴趣区)提。荒Ｐ筒问可，降低计算机计算代价，从而提升识别速度以及减少训练成本更加节能环保。[0005] 为此，本发明的技术方案是，一种基于轻量级网络模型的指静脉识别方法，针对不同的指静脉数据库采用不同的ROI区域提取方法，FVUSM数据库提供的分割后的ROI图像直接作为输入数据，HKPU、SDUMLA和UTFVP数据库的ROI区域的提取方法包括以下步骤：[0006] S1、利用两个掩码区分手指区域和背景区域，将手指区域像素值赋值为1，背景区域像素值赋值为0，进而得到一个黑白的二值化图像；[0007] S2、根据二值化图像在原图上绘制出最大外接矩形框，其中最大外接矩形框的高度值为W，宽度值为L；[0008] S3、确定ROI区域的上下边界进而确定ROI区域的高度，其中ROI区域的上边界值为b2，ROI区域的下边界值为b1，ROI区域的高度值为S，确定上下边界公式组为：[0009] ①b1＝W/4[0010] ②b2＝W?49[0011] ③S＝b2?b1[0012] S4、利用宽度设置为50像素，高度与区域R1相同的滑动窗口从区域R1的最右侧逐列向左移动，并在该过程中计算滑动窗口内所有像素点的灰度值之和，记作Sumg，再确定近端指关节位置P1和远端指关节位置P2，d1等于P1和P2之间的距离，d2等于P1与ROI区域左边界的距离，确定指关节公式组：[0013] ④[0014] ⑤P1＝argmax(Sumg)floor(2×3/L)≤P1≤L?49[0015] ⑥P2＝argmax(Sumg)1≤P2≤L/4[0016] S5、确定ROI区域的左右边界进而确定宽度，其中ROI区域的左边界值为g1，ROI区域的右边界值为g2，确定左右边界公式组：[0017] ⑦[0018] ⑧[0019] S6、根据上下左右的边界位置从R1区域分割出ROI图像；[0020] 该指静脉识别方法，其采用的是轻量级指静脉识别网络模型，该轻量级指静脉识别网络模型裁剪了预训练的MobileNetV2的前七个瓶颈层，其后接着的是一个Dropout层(Dropout1)、一个卷积层(Conv)、一个归一化层(BNorm)、一个ELU层(ELU)、一个Dropout层(Dropout2)和一个全连接层(FC)，以指静脉ROI图像为训练样本，采用端到端的方式对网络进行训练，对预训练MobileNetV2模型的部分结构进行微调，对辅助层进行从头训练。[0021] 进一步地，训练和测试前将ROI区域图像的大小调整为64*192像素，其中64和192分别代表ROI区域的高度和宽度。[0022] 进一步地，SDUMLA数据库中的原始图像有三个颜色通道，而FVUSM、HKPU和UTFVP数据库图像只有一个颜色通道，输入前通过复制该一个颜色通通道像素值给其他通道进而转换为三通道图像。[0023] 进一步地，轻量级指静脉识别网络模型详细信息如下：[0024] (1)、输入层输入高×宽×通道数的尺寸为224×224×3的指静脉图像，在原图像上提取出大小为64×192的ROI图像，每三个ROI图像通过自我填充拼接成大小为224×224的正方形输入图像，对于单通道图像，输入前通过复制该通道像素值给其他通道进而转换为三通道图像；[0025] (2)、来自预先训练的MobileNetV2模型的网络将输入的图像转换成7×7×160大。渲械6个瓶颈层的参数n设置为1；[0026] (3)、在辅助块中，Dropout1和Dropout2的dropout率分别设置为0.2和0.1，Conv有512个大小为7×7×160的卷积滤波器，BNorm的批量大小设置为16，辅助块最后的输出大小为1×1×512；[0027] (4)、FC有C个大小为1×1×512的卷积滤波器，输出大小为1×1×C；其中C表示指静脉的类别数量，交叉熵函数作为反向传播的损失函数。[0028] 进一步地，轻量级指静脉识别网络模型的训练策略如下：[0029] 轻量级指静脉识别网络模型基于HKPU、SDUMLA、FV?USM和UTFVP四个数据库进行训练，其中学习率设置为1e?2，学习的批量大小设置为16，反向传播的损失函数为交叉熵函数(CrossEntropy)；每个个体的每个手指都被视为一个类，如果数据库有分好的训练集和测试集，则训练集样本将用于培训，而测试集样本将用于测试，对于没有划分训练集和测试集的数据库每个类将被平均分为两部分；对于具有奇数图像的指静脉类，将多出的一幅图像放入训练集中。[0030] 本发明的有益效果是，该方法简化了手指静脉识别流程，图片预处理过程仅需要对采集到的样本进行ROI(感兴趣区)提。匀诤狭硕嘀諶OI提取方法，使得ROI在不同数据库上的提取过程更加稳定有效；设计了基于轻量级网络的手指静脉识别模型(LFVRN)，截取预训练的MobileNetV2的部分结构并做微调，在其后是精心设计的专用的辅助层并从头训练该辅助层。网络整体参数量仅有490万(传统网络VGG16有13600万，ResNet50有2438万)，具有训练时间短耗能少、处理速度快、识别精度高等优点，模型参数量少，降低计算机计算代价，从而提升识别速度以及减少训练成本更加节能环保。附图说明[0031] 图1是本发明实施的手指静脉ROI区域提取流程图；[0032] 图2是原始手指静脉图像和对应的ROI图像；[0033] 图3是各模型在ImageNet和CIFAR10上的分类精确度；[0034] 图4是LFVRN(轻量级指静脉识别网络)的网络结构。具体实施方式[0035] 下面结合实施例对本发明做进一步描述。[0036] 如图1?2所示，一种基于轻量级网络模型的指静脉识别方法，为了简化ROI区域(ROI—Regionofinterest感兴趣区)的提取步骤，并使方法易于重现，本发明针对不同的指静脉数据库采用不同的ROI区域提取方法，FVUSM数据库提供的分割后的ROI图像直接作为输入数据，HKPU、SDUMLA和UTFVP数据库的ROI区域的提取方法包括以下步骤：[0037] S1、利用两个掩码区分手指区域和背景区域，将手指区域像素值赋值为1，背景区域像素值赋值为0，进而得到一个黑白的二值化图像；[0038] S2、根据二值化图像在原图上绘制出最大外接矩形框，其中最大外接矩形框的高度值为W，宽度值为L；[0039] S3、确定ROI区域的上下边界进而确定ROI区域的高度，其中ROI区域的上边界值为b2，ROI区域的下边界值为b1，ROI区域的高度值为S，确定上下边界公式组a为：[0040] ①b1＝W/4[0041] ②b2＝W?49[0042] ③S＝b2?b1[0043] S4、利用宽度设置为50像素，高度与区域R1相同的滑动窗口从区域R1的最右侧逐列向左移动，并在该过程中计算滑动窗口内所有像素点的灰度值之和，记作，再确定近端指关节位置P1和远端指关节位置P2，d1等于P1和P2之间的距离，d2等于P1与ROI区域左边界的距离，确定指关节公式组b：[0044] ④[0045] ⑤P1＝argmax(Sumg)floor(2×3/L)≤P1≤L?49[0046] ⑥P2＝argmax(Sumg)1≤P2≤L/4[0047] S5、确定ROI区域的左右边界进而确定宽度，其中ROI区域的左边界值为g1，ROI区域的右边界值为g2，确定左右边界公式组c：[0048] ⑦[0049] ⑧[0050] S6、根据上下左右的边界位置从R1区域分割出ROI图像。[0051] 本发明自融合了多种ROI提取方法，使得ROI在不同数据库上的提取过程更加稳定有效。[0052] 本实施例中，训练和测试前将ROI区域图像的大小调整为64*192像素，其中64和192分别代表ROI区域的高度和宽度。[0053] SDUMLA数据库中的原始图像有三个颜色通道，而FVUSM、HKPU和UTFVP数据库图像只有一个颜色通道，输入前通过复制该一个颜色通通道像素值给其他通道进而转换为三通道图像。[0054] 本发明采用的是轻量级指静脉识别网络模型，鉴于精确度是手指静脉识别的主要关注点，轻量级指静脉识别网络模型将具有良好分类能力的轻量级预训练网络为骨干网络。图3中显示了各轻量级网络在ImageNet和CIFAR10上的分类精度。第一和第二好的结果分别用粗体和下划线突出显示。其中MobileNetV2在两个数据库上的分类性能分别为次优和最优。[0055] 如图4所示，本发明设计的网络(LFVRN，LightweightFinger?veinRecognitionNetwork轻量级指静脉识别网络)裁剪了预训练的MobileNetV2的前七个瓶颈层，其后接着的是一个Dropout层(Dropout1)、一个卷积层(Conv)、一个归一化层(BNorm)、一个ELU层(ELU)、一个Dropout层(Dropout2)和一个全连接层(FC)。以指静脉ROI图像为训练样本，采用端到端的方式对网络进行训练，对预训练MobileNetV2模型的部分结构进行微调，对辅助层进行从头训练。轻量级指静脉识别网络模型详细信息如下：[0056] (1)、输入层输入高×宽×通道数的尺寸为224×224×3的指静脉图像，在原图像上提取出大小为64×192的ROI图像，每三个ROI图像通过自我填充拼接成大小为224×224的正方形输入图像，对于单通道图像，输入前通过复制该通道像素值给其他通道进而转换为三通道图像；[0057] (2)、来自预先训练的MobileNetV2模型的网络将输入的图像转换成7×7×160大。渲械6个瓶颈层的参数n设置为1；[0058] (3)、在辅助块中，Dropout1和Dropout2的dropout率分别设置为0.2和0.1，Conv有512个大小为7×7×160的卷积滤波器，BNorm的批量大小设置为16，辅助块最后的输出大小为1×1×512；[0059] (4)、FC有C个大小为1×1×512的卷积滤波器，输出大小为1×1×C；其中C表示指静脉的类别数量，交叉熵函数作为反向传播的损失函数。[0060] 本实施例中，轻量级指静脉识别网络模型的训练策略如下：[0061] 轻量级指静脉识别网络模型基于HKPU、SDUMLA、FV?USM和UTFVP四个数据库进行训练，其中学习率设置为1e?2，学习的批量大小设置为16，反向传播的损失函数为交叉熵函数(CrossEntropy)；每个个体的每个手指都被视为一个类，如果数据库有分好的训练集和测试集，则训练集样本将用于培训，而测试集样本将用于测试，对于没有划分训练集和测试集的数据库每个类将被平均分为两部分；对于具有奇数图像的指静脉类，将多出的一幅图像放入训练集中。[0062] 基于轻量级网络的手指静脉识别模型(LFVRN)，截取预训练的MobileNetV2的部分结构并做微调，在其后是精心设计的专用的辅助层并从头训练该辅助层。网络整体参数量仅有490万(传统网络VGG16有13600万，ResNet50有2438万)，具有训练时间短耗能少、处理速度快、识别精度高等优点，在配置为Intel(R)Core(TM)i7?9700KCPU@3.60GHz,16GBRAM和NVIDIARTX2060SUPER8GBGPU卡的系统下平均识别时间为10.27ms，在HKPU、SDUMLA、FV?USM和UTFVP四个数据库上的正确识别精度分别可达96.98％、97.75％、98.58％和98.61％，验证等错率分别仅有1.90％、1.42％、0.61％和0.83％。[0063] 惟以上所述者，仅为本发明的具体实施例而已，当不能以此限定本发明实施的范围，故其等同组件的置换，或依本发明专利保护范围所作的等同变化与修改，皆应仍属本发明权利要求书涵盖之范畴。

专利地区：山东

专利申请日期：2022-04-20

专利公开日期：2024-11-22

专利公告号：CN114821040B