开云优惠体育网页版入口

专利名称：一种模型压缩的电力图像识别轻量化应用方法

专利类型：发明专利

专利申请号：CN202410635833.9

专利申请（专利权）人：广西电网有限责任公司防城港供电局
权利人地址：广西壮族自治区防城港市港口区金花茶大道60号

专利发明（设计）人：发明人:陈曦,吴能成,胡卫军,吕欣,陈瑶集,陈冠先,苏泽旺

专利摘要：本发明公开了一种模型压缩的电力图像识别轻量化应用方法，涉及模型压缩技术领域，包括以下步骤：步骤S1、获取电力图像识别模型，并通过通道稀疏化方法对电力图像识别模型中的通道进行限制和调整，使得部分通道的系数估计接近零或变。佣迪侄酝绮问南∈杌，步骤S2、对于每个通道，将每个通道的输出向量与输入特征图对应通道之间的差异进行计算，以获得通道的重构误差，并基于重构误差获取最小化重构误差。本发明将神经网络每一层的浮点数权重分布范围,按照后层输入误差最小化的方向去映射到整数范围内，从而既能节省计算资源，又能保证模型性能，并且通过通道稀疏化、剪枝和参数量化等方法，减少了模型中的参数数量和计算复杂度。

主权利要求：
1.一种模型压缩的电力图像识别轻量化应用方法，其特征在于，包括以下步骤：步骤S1、获取基于神经网络模型构建的电力图像识别模型，并通过通道稀疏化方法对电力图像识别模型中的通道进行限制和调整，使得部分通道的系数估计接近零或变。佣迪侄酝绮问南∈杌
步骤S2、对于每个通道，将每个通道的输出向量与输入特征图对应通道之间的差异进行计算，以获得通道的重构误差，并基于重构误差获取最小化重构误差；
步骤S3、通过最优通道选择方法对重构通道的权重进行约束，使参数值约束为零，从而寻找具有代表性的通道，且将剩余通道移除，以获得第一轻量化电力图像识别模型；
步骤S4、从前到后遍历第一轻量化电力图像识别模型，找出每一层卷积层之后所对应的BN层，若没有对应的BN层则不对该卷积层剪枝，并不对输出通道剪枝；
步骤S5、若有对应的BN层，则对所有BN层中的γ参数进行全局排序，根据剪枝比率计算γ参数的剪枝阈值，计算各BN层γ参数的最大值的最小值，将最小值设定为剪枝阈值的上限，超过该剪枝阈值则将该BN层进行剪枝；
步骤S6、从前到后遍历剪枝信息表，对于不受限的卷积层与BN层的组合，根据剪枝信息表中的剪枝掩码和剪枝阈值计算，确定要剪去的卷积核，且将输入通道的剪枝掩码与本层剪枝掩码对应的卷积核进行剪枝；
步骤S7、根据各层剪枝后的剩余通道数重新定义网络模型，将剪枝后的新模型参数保存，以获得第二轻量化电力图像识别模型；
步骤S8、对第二轻量化电力图像识别模型的参数量进行轻量化，以获取最终的轻量化电力图像识别模型。
2.根据权利要求1所述的一种模型压缩的电力图像识别轻量化应用方法，其特征在于：所述通道稀疏化方法，包括以下步骤：
步骤A1、描述电力图像识别模型的回归关系，电力图像识别模型的回归关系如下：Y≈β0+β1X1+β2X2+...+βpXp其中，Y表示学习关系，β表示对不同变量或者预测因子X的系数估计，β0,β2,…,βp表示β，p表示变量的总数量；
步骤A2、使得残差平方和最。胁钇椒胶腿缦：其中，β0表示第一个变量的系数估计，yi表示学习关系Y中第i个变量，βj表示第j个变量的系数估计，xij表示预测因子X中的第i行第j列的值，n表示上界，指的是偏序集中大于或等于它的子集中一切元素的元素；
步骤A3、通过LASSO回归函数使残差平方和最。琇ASSO回归函数如下：其中，λ表示正则化参数，xij表示预测因子X中的第i行第j列的值，βj表示第j个变量的系数估计，β0表示第一个变量的系数估计，p表示变量的总数量。
3.根据权利要求1所述的一种模型压缩的电力图像识别轻量化应用方法，其特征在于：所述步骤S2中，对于每个通道，将每个通道的输出向量与输入特征图对应通道之间的差异进行计算，以获得通道的重构误差，并基于重构误差获取最小化重构误差，用公式表达如下：其中，||·||F表示Frobenius范化，Xi表示输入volumesX的第i个通道的n×ckhkw切片矩阵，且i＝1,...,c，Wi表示W的第i个通道分割而来的n×ckhkw的滤波器权重，β表示长度为c的通道选择的矢量系数，βi表示对第i个通道的批量标记，W表示卷积滤波器，||·||0表示0范数。
4.根据权利要求1所述的一种模型压缩的电力图像识别轻量化应用方法，其特征在于：所述步骤S3中，通过最优通道选择方法对重构通道的权重进行约束，使参数值约束为零，从而寻找具有代表性的通道，且将剩余通道移除，以获得第一轻量化电力图像识别模型，包括以下步骤：步骤S301、对通道进行选择，具体公式如下：
其中，λ表示惩罚系数， 表示增加的限制；
步骤S302、当W被固定，在通道选择中解决β，具体公式如下：T
其中，Zi＝XiW大小是N×n，如果βi＝0，则忽略第i个通道，||·||0表示0范数，表示最优解通道选择值；
步骤S303、当β被固定，利用通道选择最小化重构误差，具体公式如下：其中，X′＝[β1X1β2X2LβiXiLβcXc]大小为n×ckhkw，W′表示W的n×ckhkw重塑，W′＝[W1W2…Wi…Wc]。
5.根据权利要求1所述的一种模型压缩的电力图像识别轻量化应用方法，其特征在于：所述步骤S8中、对第二轻量化电力图像识别模型的参数量进行轻量化，以获取最终的轻量化电力图像识别模型，包括以下步骤：步骤S801、逐层量化参数；
步骤S802、用量化运算符替代原运算符；
步骤S803、转换为可移植模型。
6.根据权利要求5所述的一种模型压缩的电力图像识别轻量化应用方法，其特征在于：所述步骤S801中，逐层量化参数，包括以下步骤：步骤S8011、建立第二轻量化电力图像识别模型的参数量的真实值r和代替值q的映射关系，q到r之间的映射关系自如下：r＝S(q?Z)
其中，S和Z表示常数；
步骤S8012、进行映射关系推理，将q到r之间的映射关系进行第一变形：以上为真实值r和代替值q的映射关系第一变形公式；
根据矩阵乘法的定义，将q到r之间的映射关系进行第二变形：将上述公式写成如下式：
其中，M为乘数，r代表真实值，q代表代替值。
其中，乘数M如下：
其中，M是唯一的非整数，且依赖于S1、S2、S3的常数；
将上述公式写成如下式：
?n
M＝2 M0
其中，M0∈[0.5,1)，n表示非负整数；
3
步骤S8013、不使用2N次减法和展开成16位整数乘法，而使用部署公式进行运算，部署公式如下：2
其中，a2和ai只需要n次计算，所以一共需要2n 加法，其余的计算成本都集中在公式中核心整数矩阵乘法累积；
步骤S8014、修改量化矩阵，融合偏置矩阵和激活矩阵，具体公式如下：其中，q1表示权重矩阵，q2表示激活矩阵，权重和激活值类型均为unit8；
步骤S8015、将bias转化为int32位，具体公式如下：int32+＝unit8*unit8
其中，量化的偏置加数是int32累加到加数当中，偏置矩阵被量化为int32数据类型；
步骤S8016、使用0作为量化的Zbias，量化尺度Sbias与加数相同，表示输入权重矩阵的尺度与输入激活矩阵的尺度，具体公式如下：Sbias＝S1S2,Zbias＝0。
7.根据权利要求1所述的一种模型压缩的电力图像识别轻量化应用方法，其特征在于：所述遍历剪枝信息表包括剪枝掩码、剪枝阈值、卷积层与BN层的对应关系和输入通道的剪枝掩码。
8.根据权利要求1所述的一种模型压缩的电力图像识别轻量化应用方法，其特征在于：所述步骤S5中，若有对应的BN层，则对所有BN层中的γ参数进行全局排序，根据剪枝比率计算γ参数的剪枝阈值，计算各BN层γ参数的最大值的最小值，将最小值设定为剪枝阈值的上限，超过该剪枝阈值则将该BN层进行剪枝，包括以下步骤：步骤S501、对于找到的每个BN层，首先将其所有参数进行全局排序，得到参数值的有序列表；
步骤S502、根据给定的剪枝比率，计算参数的剪枝阈值，假设剪枝比率为r，则可以将参数值的有序列表按照剪枝比率r进行分割，取最大的(1?r)比例的参数作为剪枝阈值；
步骤S503、计算所有BN层参数的最大值和最小值；
步骤S504、将最小值设定为剪枝阈值的上限，从而确保即使BN层的参数分布进行集中，并不超过预定的剪枝阈值；
步骤S505、遍历每个BN层，如果该BN层的任何参数超过了上述计算得到的剪枝阈值，则将该BN层进行剪枝操作。
9.根据权利要求1所述的一种模型压缩的电力图像识别轻量化应用方法，其特征在于：所述步骤S6中，从前到后遍历剪枝信息表，对于不受限的卷积层与BN层的组合，根据剪枝信息表中的剪枝掩码和剪枝阈值计算，确定要剪去的卷积核，且将输入通道的剪枝掩码与本层剪枝掩码对应的卷积核进行剪枝，包括以下步骤：步骤S601、遍历剪枝信息表中的每个卷积层与BN层的组合，判断是否需要进行剪枝，如果该层的剪枝掩码全部为1，则跳过该层，否则继续执行下一步；
步骤S602、根据剪枝掩码和剪枝阈值计算要剪去的卷积核数量，按照参数重要性进行排序，并根据剪枝比率和最小值确定剪枝阈值，并将超过该阈值的卷积核标记为要剪枝的卷积核；
步骤S603、将输入通道的剪枝掩码与本层剪枝掩码对应的卷积核进行剪枝，输入通道的剪枝掩码用于表示需要被剪枝的输入通道，本层剪枝掩码用于指示需要被剪枝的卷积核，将两者进行对应，得到需要剪枝的卷积核和输入通道；
步骤S604、将剪枝操作应用到当前卷积层和BN层中，得到剪枝后的新层，新层中，剪去的卷积核和输入通道将被移除，剩余的卷积核和输入通道将重新组合形成新的卷积层和BN层；
步骤S605、对于下一层，重新计算输入通道的数量，且与当前层的输出通道数相同；
步骤S606、重复执行步骤S601?步骤S605，直到遍历完所有需要剪枝的卷积层和BN层，以得到经过剪枝后的新模型。 说明书 : 一种模型压缩的电力图像识别轻量化应用方法技术领域[0001] 本发明涉及模型压缩技术领域，具体为一种模型压缩的电力图像识别轻量化应用方法。背景技术[0002] 由于设备的存储、CPU、能量和带宽的限制，现有的神经网络模型不能很好的适应无人机边缘端设备，有效的深度学习方法对于在分散式、嵌入式等设备上应用人工智能可以产生显著影响，通过对LeNet，AlexNet，VGGNet的数据规：透〉闶怂愎婺＝辛送臣，发现神经网络参数主要集中在全连接层，但是模型中卷积层的浮点运算数量占整个网络的92％，通过对模型进行分析，可以实现在几乎不损失准确率的情况下，模型大小为原来1/9，浮点计算量为原来的1/3，在剔除掉一些权重以后，仍可以正常工作，但却节省75％的参数量和50％的计算量，对于像嵌入式这种存储空间以兆字节计算的设备来说，压缩模型就显得更为重要。发明内容[0003] 本发明的目的在于提供一种模型压缩的电力图像识别轻量化应用方法，以解决上述背景技术中提出的问题。[0004] 为实现上述目的，本发明提供如下技术方案：一种模型压缩的电力图像识别轻量化应用方法，包括以下步骤：[0005] 步骤S1、获取基于神经网络模型构建的电力图像识别模型，并通过通道稀疏化方法对电力图像识别模型中的通道进行限制和调整，使得部分通道的系数估计接近零或变。佣迪侄酝绮问南∈杌籟0006] 步骤S2、对于每个通道，将每个通道的输出向量与输入特征图对应通道之间的差异进行计算，以获得通道的重构误差，并基于重构误差获取最小化重构误差；[0007] 步骤S3、通过最优通道选择方法对重构通道的权重进行约束，使参数值约束为零，从而寻找具有代表性的通道，且将剩余通道移除，以获得第一轻量化电力图像识别模型；[0008] 步骤S4、从前到后遍历第一轻量化电力图像识别模型，找出每一层卷积层之后所对应的BN层，若没有对应的BN层则不对该卷积层剪枝，并不对输出通道剪枝；[0009] 步骤S5、若有对应的BN层，则对所有BN层中的γ参数进行全局排序，根据剪枝比率计算γ参数的剪枝阈值，计算各BN层γ参数的最大值的最小值，将最小值设定为剪枝阈值的上限，超过该剪枝阈值则将该BN层进行剪枝；[0010] 步骤S6、从前到后遍历剪枝信息表，对于不受限的卷积层与BN层的组合，根据剪枝信息表中的剪枝掩码和剪枝阈值计算，确定要剪去的卷积核，且将输入通道的剪枝掩码与本层剪枝掩码对应的卷积核进行剪枝；[0011] 步骤S7、根据各层剪枝后的剩余通道数重新定义网络模型，将剪枝后的新模型参数保存，以获得第二轻量化电力图像识别模型；[0012] 步骤S8、对第二轻量化电力图像识别模型的参数量进行轻量化，以获取最终的轻量化电力图像识别模型。[0013] 优选的，所述通道稀疏化方法，包括以下步骤：[0014] 步骤A1、描述电力图像识别模型的回归关系，电力图像识别模型的回归关系如下：[0015] Y≈β0+β1X1+β2X2+...+βpXp[0016] 其中，Y表示学习关系，β表示对不同变量或者预测因子X的系数估计，β0,β2,…,βp表示β，p表示变量的总数量；[0017] 步骤A2、使得残差平方和最。胁钇椒胶腿缦：[0018][0019] 其中，β0表示第一个变量的系数估计，yi表示学习关系Y中第i个变量，βj表示第j个变量的系数估计，xij表示预测因子X中的第i行第j列的值，n表示上界，指的是偏序集中大于或等于它的子集中一切元素的元素；[0020] 步骤A3、通过LASSO回归函数使残差平方和最。琇ASSO回归函数如下：[0021][0022] 其中，λ表示正则化参数，xij表示预测因子X中的第i行第j列的值，βj表示第j个变量的系数估计，β0表示第一个变量的系数估计，p表示变量的总数量。[0023] 优选的，所述步骤S2中，对于每个通道，将每个通道的输出向量与输入特征图对应通道之间的差异进行计算，以获得通道的重构误差，并基于重构误差获取最小化重构误差，用公式表达如下：[0024] c′(0≤c′≤c)[0025][0026] subjectto||β||0≤c′[0027] 其中，||·||F表示Frobenius范化，Xi表示输入volumesX的第i个通道的n×ckhkw切片矩阵，且i＝1,...,c，Wi表示W的第i个通道分割而来的n×ckhkw的滤波器权重，β表示长度为c的通道选择的矢量系数，βi表示对第i个通道的批量标记，W表示卷积滤波器，||·||0表示0范数。[0028] 优选的，所述步骤S3中，通过最优通道选择方法对重构通道的权重进行约束，使参数值约束为零，从而寻找具有代表性的通道，且将剩余通道移除，以获得第一轻量化电力图像识别模型，包括以下步骤：[0029] 步骤S301、对通道进行选择，具体公式如下：[0030][0031][0032] 其中，λ表示惩罚系数， 表示增加的限制；[0033] 步骤S302、当W被固定，在通道选择中解决β，具体公式如下：[0034][0035] subjectto||β||0≤c′[0036] 其中，Zi＝XiWT大小是N×n，如果βi＝0，则忽略第i个通道，||·|\0表示0范数，表示最优解通道选择值；[0037] 步骤S303、当β被固定，利用通道选择最小化重构误差，具体公式如下：[0038][0039] 其中，X′＝[β1X1β2X2LβiXiLβcXc]大小为n×ckhkw，W′表示W的n×ckhkw重塑，W′＝[W1W2…Wi…Wc]。[0040] 优选的，所述步骤S8中、对第二轻量化电力图像识别模型的参数量进行轻量化，以获取最终的轻量化电力图像识别模型，包括以下步骤：[0041] 步骤S801、逐层量化参数；[0042] 步骤S802、用量化运算符替代原运算符；[0043] 步骤S803、转换为可移植模型。[0044] 优选的，所述步骤S801中，逐层量化参数，包括以下步骤：[0045] 步骤S8011、建立第二轻量化电力图像识别模型的参数量的真实值r和代替值q的映射关系，q到r之间的映射关系自如下：[0046] r＝S(q?Z)[0047] 其中，S和Z表示常数；[0048] 步骤S8012、进行映射关系推理，将q到r之间的映射关系进行第一变形：[0049][0050] 以上为真实值r和代替值q的映射关系第一变形公式；[0051] 根据矩阵乘法的定义，将q到r之间的映射关系进行第二变形：[0052][0053] 将上述公式写成如下式：[0054][0055] 其中，M为乘数，r代表真实值，q代表代替值。[0056] 其中，乘数M如下：[0057][0058] 其中，M是唯一的非整数，且依赖于S1、S2、S3的常数；[0059] 将上述公式写成如下式：[0060] M＝2?nM0[0061] 其中，M0∈[0.5,1)，n表示非负整数；[0062] 步骤S8013、不使用2N3次减法和展开成16位整数乘法，而使用部署公式进行运算，部署公式如下：[0063][0064][0065] 其中，a2和ai只需要n次计算，所以一共需要2n2加法，其余的计算成本都集中在公式中核心整数矩阵乘法累积；[0066] 步骤S8014、修改量化矩阵，融合偏置矩阵和激活矩阵，具体公式如下：[0067][0068] 其中，q1表示权重矩阵，q2表示激活矩阵，权重和激活值类型均为unit8；[0069] 步骤S8015、将bias转化为int32位，具体公式如下：[0070] int32+＝unit8*unit8[0071] 其中，量化的偏置加数是int32累加到加数当中，偏置矩阵被量化为int32数据类型；[0072] 步骤S8016、使用0作为量化的Zbias，量化尺度Sbias与加数相同，表示输入权重矩阵的尺度与输入激活矩阵的尺度，具体公式如下：[0073] Sbias＝S1S2,Zbias＝0。[0074] 优选的，所述遍历剪枝信息表包括剪枝掩码、剪枝阈值、卷积层与BN层的对应关系和输入通道的剪枝掩码。[0075] 优选的，所述步骤S5中，若有对应的BN层，则对所有BN层中的γ参数进行全局排序，根据剪枝比率计算γ参数的剪枝阈值，计算各BN层γ参数的最大值的最小值，将最小值设定为剪枝阈值的上限，超过该剪枝阈值则将该BN层进行剪枝，包括以下步骤：[0076] 步骤S501、对于找到的每个BN层，首先将其所有参数进行全局排序，得到参数值的有序列表；[0077] 步骤S502、根据给定的剪枝比率，计算参数的剪枝阈值，假设剪枝比率为r，则可以将参数值的有序列表按照剪枝比率r进行分割，取最大的(1?r)比例的参数作为剪枝阈值；[0078] 步骤S503、计算所有BN层参数的最大值和最小值；[0079] 步骤S504、将最小值设定为剪枝阈值的上限，从而确保即使BN层的参数分布进行集中，并不超过预定的剪枝阈值；[0080] 步骤S505、遍历每个BN层，如果该BN层的任何参数超过了上述计算得到的剪枝阈值，则将该BN层进行剪枝操作。[0081] 优选的，所述步骤S6中，从前到后遍历剪枝信息表，对于不受限的卷积层与BN层的组合，根据剪枝信息表中的剪枝掩码和剪枝阈值计算，确定要剪去的卷积核，且将输入通道的剪枝掩码与本层剪枝掩码对应的卷积核进行剪枝，包括以下步骤：[0082] 步骤S601、遍历剪枝信息表中的每个卷积层与BN层的组合，判断是否需要进行剪枝，如果该层的剪枝掩码全部为1，则跳过该层，否则继续执行下一步；[0083] 步骤S602、根据剪枝掩码和剪枝阈值计算要剪去的卷积核数量，按照参数重要性进行排序，并根据剪枝比率和最小值确定剪枝阈值，并将超过该阈值的卷积核标记为要剪枝的卷积核；[0084] 步骤S603、将输入通道的剪枝掩码与本层剪枝掩码对应的卷积核进行剪枝，输入通道的剪枝掩码用于表示需要被剪枝的输入通道，本层剪枝掩码用于指示需要被剪枝的卷积核，将两者进行对应，得到需要剪枝的卷积核和输入通道；[0085] 步骤S604、将剪枝操作应用到当前卷积层和BN层中，得到剪枝后的新层，新层中，剪去的卷积核和输入通道将被移除，剩余的卷积核和输入通道将重新组合形成新的卷积层和BN层；[0086] 步骤S605、对于下一层，重新计算输入通道的数量，且与当前层的输出通道数相同；[0087] 步骤S606、重复执行步骤S601?步骤S605，直到遍历完所有需要剪枝的卷积层和BN层，以得到经过剪枝后的新模型。[0088] 与现有技术相比，本发明的有益效果是：[0089] 1、本发明将神经网络每一层的浮点数权重分布范围,按照后层输入误差最小化的方向去映射到整数范围内，从而既能节省计算资源，又能保证模型性能，并且通过通道稀疏化、剪枝和参数量化等方法，减少了模型中的参数数量和计算复杂度，从而在保持较高识别准确率的同时，降低了模型的计算资源需求，使得模型可以在资源受限的环境下高效运行，并且通过对模型参数进行压缩和量化，可以显著减小模型的存储空间占用，有利于在移动设备或者边缘设备上部署运行，提高了模型的部署灵活性和适用性；[0090] 2、本发明中优化后的轻量化模型在推理阶段需要的计算资源更少，因此在移动设备或者边缘设备上运行时可以降低能耗消耗，延长设备的使用时间，并且模型轻量化后，推理阶段所需的计算量减少，可以加快模型的推理速度，实现更快的响应和处理能力，提升用户体验，并且在进行模型压缩的过程中，通过对重构误差的最小化和最优通道选择方法，尽可能地保持了模型的识别准确率，确保了在轻量化的同时不牺牲模型的性能。附图说明[0091] 图1为本发明实施例提供的整体方法的流程示意图；[0092] 图2为本发明实施例提供的剪枝后的卷积核示意图；[0093] 图3为本发明实施例提供的模型量化的流程示意图。[0094][0095]具体实施方式[0096] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0097] 请参阅图1?3，本发明提供一种技术方案：一种模型压缩的电力图像识别轻量化应用方法，包括以下步骤：[0098] 步骤S1、获取电力图像识别模型，并通过通道稀疏化方法对电力图像识别模型中的通道进行限制和调整，使得部分通道的系数估计接近零或变。佣迪侄酝绮问南∈杌籟0099] 步骤S2、对于每个通道，将每个通道的输出向量与输入特征图对应通道之间的差异进行计算，以获得通道的重构误差，并基于重构误差获取最小化重构误差；[0100] 步骤S3、通过最优通道选择方法对重构通道的权重进行约束，使参数值约束为零，从而寻找具有代表性的通道，且将剩余通道移除，以获得第一轻量化电力图像识别模型；[0101] 步骤S4、从前到后遍历第一轻量化电力图像识别模型，找出每一层卷积层之后所对应的BN层，若没有对应的BN层则不对该卷积层剪枝，并不对输出通道剪枝；[0102] 步骤S5、若有对应的BN层，则对所有BN层中的γ参数进行全局排序，根据剪枝比率计算γ参数的剪枝阈值，计算各BN层γ参数的最大值的最小值，将最小值设定为剪枝阈值的上限，超过该剪枝阈值则将该BN层进行剪枝；[0103] 步骤S6、从前到后遍历剪枝信息表，对于不受限的卷积层与BN层的组合，根据剪枝信息表中的剪枝掩码和剪枝阈值计算，确定要剪去的卷积核，且将输入通道的剪枝掩码与本层剪枝掩码对应的卷积核进行剪枝；[0104] 步骤S7、根据各层剪枝后的剩余通道数重新定义网络模型，将剪枝后的新模型参数保存，以获得第二轻量化电力图像识别模型；[0105] 步骤S8、对第二轻量化电力图像识别模型的参数量进行轻量化，以获取最终的轻量化电力图像识别模型。[0106] 本实施例中，请参阅图2，电力图像识别模型剪枝后的卷积核示意图；[0107] 通道稀疏化方法，包括以下步骤：[0108] 步骤A1、描述电力图像识别模型的回归关系，电力图像识别模型的回归关系如下：[0109] Y≈β0+β1X1+β2X2+...+βpXp[0110] 其中，Y表示学习关系，β表示对不同变量或者预测因子X的系数估计，β0,β2,…,βp表示β，p表示变量的总数量；[0111] 步骤A2、使得残差平方和最。胁钇椒胶腿缦：[0112][0113] 其中，β0表示第一个变量的系数估计，yi表示学习关系Y中第i个变量，βj表示第j个变量的系数估计，xij表示预测因子X中的第i行第j列的值；[0114] 步骤A3、通过LASSO回归函数使残差平方和最。琇ASSO回归函数如下：[0115][0116] 其中，λ表示正则化参数，xij表示预测因子X中的第i行第j列的值，βj表示第j个变量的系数估计，β0表示第一个变量的系数估计，p表示变量的总数量；[0117] 步骤S2中，对于每个通道，将每个通道的输出向量与输入特征图对应通道之间的差异进行计算，以获得通道的重构误差，并基于重构误差获取最小化重构误差，用公式表达如下：[0118] c′(0≤c′≤c)[0119][0120] subjectto||β||0≤c′[0121] 其中，||·||F表示Frobenius范化，Xi表示输入volumesX的第i个通道的n×ckhkw切片矩阵，且i＝1,...,c，Wi表示W的第i个通道分割而来的n×ckhkw的滤波器权重，β表示长度为c的通道选择的矢量系数，βi表示对第i个通道的批量标记；[0122] 步骤S3中，通过最优通道选择方法对重构通道的权重进行约束，使参数值约束为零，从而寻找具有代表性的通道，且将剩余通道移除，以获得第一轻量化电力图像识别模型，包括以下步骤：[0123] 步骤S301、对通道进行选择，具体公式如下：[0124][0125][0126] 其中，λ表示惩罚系数， 表示增加的限制；[0127] 步骤S302、当W被固定，在通道选择中解决β，具体公式如下：[0128][0129] subjectto||β||0≤c′[0130] 其中，Zi＝XiWT大小是N×n，如果βi＝0，则忽略第i个通道；[0131] 步骤S303、当β被固定，利用通道选择最小化重构误差，具体公式如下：[0132][0133] 其中，X′＝[β1X1β2X2LβiXiLβcXc]大小为n×ckhkw，W′表示W的n×ckhkw重塑，W′＝[W1W2…Wi…Wc]；[0134] 请参阅图3，步骤S8中、对第二轻量化电力图像识别模型的参数量进行轻量化，以获取最终的轻量化电力图像识别模型，包括以下步骤：[0135] 步骤S801、逐层量化参数；[0136] 步骤S802、用量化运算符替代原运算符；[0137] 步骤S803、转换为可移植模型；[0138] 步骤S801中，逐层量化参数，包括以下步骤：[0139] 步骤S8011、建立第二轻量化电力图像识别模型的参数量的真实值r和代替值q的映射关系，q到r之间的映射关系自如下：[0140] r＝S(q?Z)[0141] 其中，S和Z表示常数；[0142] 步骤S8012、进行映射关系推理，将q到r之间的映射关系进行第一变形：[0143][0144] 根据矩阵乘法的定义，将q到r之间的映射关系进行第二变形：[0145][0146] 将上述公式写成如下式：[0147][0148] 其中，乘数M如下：[0149][0150] 其中，M是唯一的非整数，且依赖于S1、S2、S3的常数；[0151] 将上述公式写成如下式：[0152] M＝2?nM0[0153] 其中，M0∈[0.5,1)，n表示非负整数；[0154] 步骤S8013、不使用2N3次减法和展开成16位整数乘法，而使用部署公式进行运算，部署公式如下：[0155][0156][0157] 其中，a2和ai只需要n次计算，所以一共需要2n2加法，其余的计算成本都集中在公式中核心整数矩阵乘法累积；[0158] 步骤S8014、修改量化矩阵，融合偏置矩阵和激活矩阵，具体公式如下：[0159][0160] 其中，q1表示权重矩阵，q2表示激活矩阵，权重和激活值类型均为unit8；[0161] 步骤S8015、将bias转化为int32位，具体公式如下：[0162] int32+＝unit8*unit8[0163] 其中，量化的偏置加数是int32累加到加数当中，偏置矩阵被量化为int32数据类型；[0164] 步骤S8016、使用0作为量化的Zbias，量化尺度Sbias与加数相同，表示输入权重矩阵的尺度与输入激活矩阵的尺度，具体公式如下：[0165] Sbias＝S1S2,Zbias＝0；[0166] 遍历剪枝信息表包括剪枝掩码、剪枝阈值、卷积层与BN层的对应关系和输入通道的剪枝掩码；[0167] 步骤S5中，若有对应的BN层，则对所有BN层中的γ参数进行全局排序，根据剪枝比率计算γ参数的剪枝阈值，计算各BN层γ参数的最大值的最小值，将最小值设定为剪枝阈值的上限，超过该剪枝阈值则将该BN层进行剪枝，包括以下步骤：[0168] 步骤S501、对于找到的每个BN层，首先将其所有参数进行全局排序，得到参数值的有序列表；[0169] 步骤S502、根据给定的剪枝比率，计算参数的剪枝阈值，假设剪枝比率为r，则可以将参数值的有序列表按照剪枝比率r进行分割，取最大的(1?r)比例的参数作为剪枝阈值；[0170] 步骤S503、计算所有BN层参数的最大值和最小值；[0171] 步骤S504、将最小值设定为剪枝阈值的上限，从而确保即使BN层的参数分布进行集中，并不超过预定的剪枝阈值；[0172] 步骤S505、遍历每个BN层，如果该BN层的任何参数超过了上述计算得到的剪枝阈值，则将该BN层进行剪枝操作；[0173] 步骤S6中，从前到后遍历剪枝信息表，对于不受限的卷积层与BN层的组合，根据剪枝信息表中的剪枝掩码和剪枝阈值计算，确定要剪去的卷积核，且将输入通道的剪枝掩码与本层剪枝掩码对应的卷积核进行剪枝，包括以下步骤：[0174] 步骤S601、遍历剪枝信息表中的每个卷积层与BN层的组合，判断是否需要进行剪枝，如果该层的剪枝掩码全部为1，则跳过该层，否则继续执行下一步；[0175] 步骤S602、根据剪枝掩码和剪枝阈值计算要剪去的卷积核数量，按照参数重要性进行排序，并根据剪枝比率和最小值确定剪枝阈值，并将超过该阈值的卷积核标记为要剪枝的卷积核；[0176] 步骤S603、将输入通道的剪枝掩码与本层剪枝掩码对应的卷积核进行剪枝，输入通道的剪枝掩码用于表示需要被剪枝的输入通道，本层剪枝掩码用于指示需要被剪枝的卷积核，将两者进行对应，得到需要剪枝的卷积核和输入通道；[0177] 步骤S604、将剪枝操作应用到当前卷积层和BN层中，得到剪枝后的新层，新层中，剪去的卷积核和输入通道将被移除，剩余的卷积核和输入通道将重新组合形成新的卷积层和BN层；[0178] 步骤S605、对于下一层，重新计算输入通道的数量，且与当前层的输出通道数相同；[0179] 步骤S606、重复执行步骤S601?步骤S605，直到遍历完所有需要剪枝的卷积层和BN层，以得到经过剪枝后的新模型。[0180] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。[0181] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

专利地区：广西

专利申请日期：2024-05-22

专利公开日期：2024-10-08

专利公告号：CN118747513A