开云优惠体育网页版入口

专利名称：基于RetinaXNet的建筑夜景灯光异常检测方法

专利类型：发明专利

专利申请号：CN202110909371.1

专利申请（专利权）人：江西省旺恺建设有限公司
权利人地址：江西省上饶市广丰区丰溪街道芦洲大道2号

专利发明（设计）人：宋雪桦,王赟,王昌达,金华,杜聪,刘思雨

专利摘要：本发明涉及一种基于RetinaXNet的建筑夜景灯光异常检测方法，数据集采用均衡化处理，保留图像的纹理信息，降低图像复杂度。RetinaXNet网络的输入模块将视频帧缩减为224*224的图像，主干模块采用改进的残差结构提取图像的轮廓信息，检测头模块采用XNet网络加强信息的整合，进行分类与回归，输出模块按照缩减比例将图像重新恢复成原大小。本发明提出的RetinaXNet网络能够用于检测图像中的故障灯的位置以及故障分类，实现自动化检测异常，提高检测的正确率，降低误检的情况，为建筑夜景异常灯光的检测提供一种可靠的方法。

主权利要求：
1.一种基于RetinaXNet的建筑夜景灯光异常检测方法，其特征在于，包括如下步骤：
1)构建初始夜景灯图像集合C并发送到GPU计算服务器进行存储；
2)对图像集合C进行处理得到数据集，并将数据集划分为训练集E和测试集T；
3)构建RetinaXNet网络模型；所述RetinaXNet网络模型包括输入模块、主干模块、检测头模块；
4)利用UFL函数优化RetinaXNet网络模型的权值；
5)训练RetinaXNet网络模型；
6)夜景灯异常检测，即通过摄像头获取待检测帧并送入RetinaXNet网络，将网络的输出结果映射回原图，判断夜景灯是否异常；
所述步骤3)构建RetinaXNet网络模型包括如下步骤：
3.1)利用输入模块将训练集E中的图像统一缩减为r:l大小的图像，其中r为缩减后的长度像素值，l为缩减后的宽度像素值，变换后的集合记为X＝{x1,x2...x3}；
3.2)利用主干模块通过残差结构提取集合X中每一帧的轮廓特征，残差结构公式如下：F(x)＝f(x)+f(f(x))+f(f(f(x)))其中f(x)＝δ(W*x)+c
式中，每一帧图像x作为卷积层的输入，W为卷积需要学习的参数，δ为激活函数，F(x)为残差结构的输出结果；
3.3)在检测头模块中设置分类融合的输入参数的结构FCLS，公式如下：FCLS＝δ[WCLS*F(x)]+c
式中，F(x)为残差结构的输出结果，WCLS为训练参数，δ为激活函数，c为常数项；
3.4)在检测头模块中设置非线性回归连接参数的结构 公式如下：式中，FCLS为参数融合的输入部分，W1，W2为训练参数，δ为激活函数，c为常数项，LCR连接为非线性连接，其作用为加强分类与回归之间的联系；
3.5)计算回归的加强参数 计算公式如下：
式中，Freg为网络原先的回归参数， 为经过加强的回归参数；
3.6)在检测头模块中设置非线性分类连接参数的结构 公式如下：式中，W3为训练参数， 为经过加强的回归参数， 为非线性分类连接参数的结构；
3.7)计算分类的加强参数 计算公式如下：
式中，Fcls为网络原先的分类参数， 为经过加强的分类参数。
2.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法，其特征在于，所述步骤1)包括如下步骤：
1.1)利用摄像头采集夜景灯光的视频数据V，所述摄像头事先固定安装于可以拍摄需要进行夜景灯光检测的地点；
1.2)从视频数据V中每隔时间Δt提取一帧图像，构建初始夜景灯图像集合C，记为C＝{I1,I2…In}，Ii为第i帧图像，n为夜景灯图像的个数；
1.3)将初始夜景灯图像集合C发送到GPU计算服务器进行存储。
3.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法，其特征在于，所述步骤2)包括如下步骤：
2.1)对图像集合C中的每一帧图像，计算像素值小于j的像素出现概率pi(j)，计算公式如下：pi(j)表示第i帧图像中灰度大于0小于j的出现概率，nt为灰度级小于j的像素个数，nI为每帧图像的像素总个数；
2.2)计算集合C中每一帧图像的直方图结果G(i)，计算公式如下：G(i)为第i帧的灰度直方图处理结果，其中0≤i＜256，pi(j)表示第i帧图像中像素大于
0小于j的出现概率；
2.3)计算像素均衡化的结果H(v)，均衡化图像集合C，其中C＝{I1,I2...In}，处理后的图像集合记为C′，C'＝{I1',I2'...In'}，计算公式如下：式中，v为图像集合C中单张图像I上的像素值，H(v)为对v均衡化的计算结果，G(v)为当前v的直方图处理结果，Gmin为直方图处理的最小值，Gmax为直方图处理的最大值，L为灰度级数，round代表对像素值结果的四舍五入，所有像素计算完成得到单张图像I'，集合记为C′；
2.4)对图像集合C′中的图像计算平均像素值a，其中C'＝{I1',I2'...In'}，计算公式如下：式中，M为图像的长度像素值，N为图像的宽度像素值，It'(r,c)为图像集合C′中的图像像素的坐标，t为选取图像的编号；
2.5)对图像集合C′中的图像进行缺失和填补处理，缺失和填补的值为g(i,j)，得到数据集C”，计算公式如下：式中，g(i,j)为缺失和填补的值，I'(i,j)为图像集合C′中图像I'的坐标为(i,j)的像素值，Th为设定的阈值；
2.6)按比例m:n将数据集C”分为训练集E和测试集T。
4.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法，其特征在于，所述步骤4)中利用UFL函数优化RetinaXNet网络模型的权值，优化公式如下：式中，y为真实标签，其取值为0或1， 为UFL的动态调整因子参数，γ为调整样本权重的速率，α为权重参数。
5.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法，其特征在于，所述步骤5)训练RetinaXNet网络模型包括如下步骤：
5.1)计算准确率accuracy，计算公式如下：式中，accuracy为准确率，TP代表测试集T中网络输出为正样本，且参考标准也为正样本的个数；TN代表网络输出为负样本，且参考标准也为负样本的个数；FP代表网络输出为正样本，但参考标准为负样本的个数；FN代表网络输出为负样本，但参考标准为正样本的个数；
5.2)计算召回率recall，计算公式如下：式中，recall为召回率TP，代表判被判定为正样本，即正样本的个数；FN代表被判定为负样本，但事实上是正样本的个数；
5.3)计算F1值，计算公式如下：
式中，F1是对accuracy和recall的平衡，其综合准确率和召回率的计算结果；
5.4)判断F1是否小于t，如小于则转步骤5.1)重新训练，否则转步骤6)。
6.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法，其特征在于，所述步骤6)判断夜景灯是否异常包括如下步骤：
6.1)将网络输出结果映射回原图，映射到原图的坐标、长和高公式如下：式中， 为原图像的长和高，x、y、W、H分别为检测框的左上角坐标与检测框的长和高，xN、yN、WN、HN为映射到原图的坐标与长和高；
6.2)异常检测，检测公式如下：
式中，Warn＝0代表无异常，Warn＝1代表出现异常，触发报警器。 说明书 : 基于RetinaXNet的建筑夜景灯光异常检测方法技术领域[0001] 本发明涉及图像处理与异常检测领域，具体涉及一种基于RetinaXNet的建筑夜景灯光异常检测方法。背景技术[0002] 随着现代化城市科学技术的应用和经济实力的高速发展，城市亮化工程在改善城市环境和建设宜居城市，提升城市整体功能，拉动内需，推动城市经济的发展，提升相应企业的形象等起到了显著的作用。但由于建筑夜景灯光的布置常年暴露在户外，由于灯具老化、安装环境和散热等问题，导致建筑夜景灯光故障频发。现有的检测手段主要以人工巡检目测为主，人工巡检存在成本高、实时性低、主观性强等缺点。随着人工智能技术的发展，基于深度学习的检测方法在一些图像相关的领域可以取代传统的基于人工的方法，采用经过前期训练的网络进行建筑夜景灯光的异常检测，提高了检测的准确性以及降低人为主观性，实现检测的自动化。发明内容[0003] 针对目前人工巡检的成本高、实时性低、主观性强等缺点，提出一种基于RetinaXNet的建筑夜景灯光异常检测方法，通过摄像头以及网络模型，实现夜景灯光异常检测的自动化，并提高检测的准确率。[0004] 为了实现上述目的，本发明采用的技术方案如下：一种基于RetinaXNet的建筑夜景灯光异常检测方法，包括如下步骤：[0005] 1)构建初始夜景灯图像集合C并发送到GPU计算服务器进行存储；[0006] 2)对图像集合C进行处理得到数据集，并将数据集划分为训练集E和测试集T；[0007] 3)构建RetinaXNet网络模型；所述RetinaXNet网络模型包括输入模块、主干模块、检测头模块；[0008] 4)利用UFL函数优化RetinaXNet网络模型的权值；[0009] 5)训练RetinaXNet网络模型；[0010] 6)夜景灯异常检测，即通过摄像头获取待检测帧并送入RetinaXNet网络，将网络的输出结果映射回原图，判断夜景灯是否异常。[0011] 进一步的，上述步骤1)包括如下步骤：[0012] 1.1)利用摄像头采集夜景灯光的视频数据V，所述摄像头事先固定安装于可以拍摄需要进行夜景灯光检测的地点；[0013] 1.2)从视频数据V中每隔时间Δt提取一帧图像，构建初始夜景灯图像集合C，记为C＝{I1，I2...In}，Ii为第i帧图像，n为夜景灯图像的个数；[0014] 1.3)将初始夜景灯图像集合C发送到GPU计算服务器进行存储。[0015] 进一步的，上述步骤2)包括如下步骤：[0016] 2.1)对图像集合C中的每一帧图像，计算像素值小于j的像素出现概率pi(j)，计算公式如下：[0017][0018] pi(j)表示第i帧图像中灰度大于0小于j的出现概率，nt为灰度级小于j的像素个数，nI为每帧图像的像素总个数；[0019] 2.2)计算集合C中每一帧图像的直方图结果G(i)，计算公式如下：[0020][0021] G(i)为第i帧的灰度直方图处理结果，其中0≤i＜256，pi(j)表示第i帧图像中像素大于0小于j的出现概率；[0022] 2.3)计算像素均衡化的结果H(v)，均衡化图像集合C，其中C＝{I1,I2...In}，处理后的图像集合记为C′，C'＝{I1',I2'...In'}，计算公式如下：[0023][0024] 式中，v为图像集合C中单张图像I上的像素值，H(v)为对v均衡化的计算结果，G(v)为当前v的直方图处理结果，Gmin为直方图处理的最小值，Gmax为直方图处理的最大值，L为灰度级数，round代表对像素值结果的四舍五入，所有像素计算完成得到单张图像I'，集合记为C′；[0025] 2.4)对图像集合C′中的图像计算平均像素值a，其中C'＝{I1',I2'...In'}，计算公式如下：[0026][0027] 式中，M为图像的长度像素值，N为图像的宽度像素值，It'(r,c)为图像集合C′中的图像像素的坐标，t为选取图像的编号；[0028] 2.5)对图像集合C′中的图像进行缺失和填补处理，缺失和填补的值为g(i,j)，得到数据集C”，计算公式如下：[0029][0030] 式中，g(i,j)为缺失和填补的值，I'(i,j)为图像集合C′中图像I'的坐标为(i,j)的像素值，Th为设定的阈值；[0031] 2.6)按比例m:n将数据集C”分为训练集E和测试集T。[0032] 进一步的，上述步骤3)构建RetinaXNet网络模型包括如下步骤：[0033] 3.1)利用输入模块将训练集E中的图像统一缩减为r:l大小的图像，其中r为缩减后的长度像素值，l为缩减后的宽度像素值，变换后的集合记为X＝{x1,x2...x3}；[0034] 3.2)利用主干模块通过残差结构提取集合X中每一帧的轮廓特征，残差结构公式如下：[0035] F(x)＝f(x)+f(f(x))+f(f(f(x)))[0036] 其中f(x)＝δ(W*x)+c[0037] 式中，每一帧图像x作为卷积层的输入，W为卷积需要学习的参数，δ为激活函数，F(x)为残差结构的输出结果；[0038] 3.3)在检测头模块中设置分类融合的输入参数的结构FCLS，公式如下：[0039] FCLS＝δ[WCLS*F(x)]+c[0040] 式中，F(x)为残差结构的输出结果，WCLS为训练参数，δ为激活函数，c为常数项；[0041] 3.4)在检测头模块中设置非线性回归连接参数的结构 公式如下：[0042][0043] 式中，FCLS为参数融合的输入部分，W1，W2为训练参数，δ为激活函数，c为常数项，LCR连接为非线性连接，其作用为加强分类与回归之间的联系；[0044] 3.5)计算回归的加强参数 计算公式如下：[0045][0046] 式中，Freg为网络原先的回归参数， 为经过加强的回归参数；[0047] 3.6)在检测头模块中设置非线性分类连接参数的结构 公式如下：[0048][0049] 式中，W3为训练参数， 为经过加强的回归参数， 为非线性分类连接参数的结构；[0050] 3.7)计算分类的加强参数 计算公式如下：[0051][0052] 式中，Fcls为网络原先的分类参数， 为经过加强的分类参数。[0053] 进一步的，上述步骤4)中利用UFL函数优化RetinaXNet网络模型的权值，优化公式如下：[0054][0055] 式中，y为真实标签，其取值为0或1， 为UFL的动态调整因子参数，γ为调整样本权重的速率，α为权重参数。[0056] 进一步的，上述步骤5)训练RetinaXNet网络模型包括如下步骤：[0057] 5.1)计算准确率accuracy，计算公式如下：[0058][0059] 式中，accuracy为准确率，TP代表测试集T中网络输出为正样本，且参考标准也为正样本的个数；TN代表网络输出为负样本，且参考标准也为负样本的个数；FP代表网络输出为正样本，但参考标准为负样本的个数；FN代表网络输出为负样本，但参考标准为正样本的个数；[0060] 5.2)计算召回率recall，计算公式如下：[0061][0062] 式中，recall为召回率。TP代表判被判定为正样本，即正样本的个数；FN代表被判定为负样本，但事实上是正样本的个数；[0063] 5.3)计算F1值，计算公式如下：[0064][0065] 式中，F1是对accuracy和recall的平衡，其综合准确率和召回率的计算结果；[0066] 5.4)判断F1是否小于t，如小于则转步骤5.1)重新训练，否则转步骤6)。[0067] 进一步的，上述步骤6)判断夜景灯是否异常包括如下步骤：[0068] 6.1)将网络输出结果映射回原图，映射到原图的坐标、长和高公式如下：[0069][0070][0071][0072][0073] 式中， 为原图像的长和高，x、y、W、H分别为检测框的左上角坐标与检测框的长和高，xN、yN、WN、HN为映射到原图的坐标与长和高；[0074] 6.2)异常检测，检测公式如下：[0075][0076] 式中，Warn＝0代表无异常，Warn＝1代表出现异常，触发报警器。[0077] 与传统的建筑夜景灯光异常检测方法相比，本发明能够节约成本、减少人为判断的主观性、提高检测效率，在光照变换、角度变换、清晰度受损等情况下能够拥有良好的检测效果。附图说明[0078] 图1为本发明中建筑夜景灯光异常检测方法的流程图。具体实施方式[0079] 下面结合附图以及具体施例对本发明作进一步的说明，需要指出的是，下面对本发明的技术方案以及设计原理进行详细阐述，但本发明的保护范围并不限于此。在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。[0080] 本发明所述的基于RetinaXNet的建筑夜景灯光异常检测方法，使用的设备包括物联网摄像头、GPU计算服务器、报警器。[0081] 本发明的基于RetinaXNet的建筑夜景灯光异常检测方法流程如图1所示，包括如下步骤：[0082] 1)构建初始夜景灯图像集合C并发送到GPU计算服务器进行存储，作为本发明的优选实施例，包括如下步骤：[0083] 1.1)利用摄像头采集夜景灯光的视频数据V，其中，所述摄像头事先固定安装于可以拍摄需要进行夜景灯光检测的地点；[0084] 1.2)从视频数据V中每隔时间Δt提取一帧图像，构建初始夜景灯图像集合C，记为C＝{I1，I2...In}，Ii为第i帧图像，n为夜景灯图像的个数；[0085] 1.3)将初始夜景灯图像集合C发送到GPU计算服务器进行存储；[0086] 2)对图像集合C进行处理得到图像集合C′，对图像集合C′中的图像进行缺失和填补处理，得到数据集C”，将C”划分为训练集E和测试集T；作为本发明的优选实施例，包括如下步骤：[0087] 2.1)对图像集合C中的每一帧图像，计算像素值小于j的像素出现概率pi(j)，计算公式如下：[0088][0089] pi(j)表示第i帧图像中灰度大于0小于j的出现概率，nt为灰度级小于j的像素个数，nI为每帧图像的像素总个数；[0090] 2.2)计算集合C中每一帧图像的直方图结果G(i)，计算公式如下：[0091][0092] G(i)为第i帧的灰度直方图处理结果，其中0≤i＜256，pi(j)表示第i帧图像中像素大于0小于j的出现概率。[0093] 2.3)计算像素均衡化的结果H(v)，均衡化图像集合C，其中C＝{I1,I2...In}，处理后的图像集合记为C′，C'＝{I1',I2'...In'}，计算公式如下：[0094][0095] 式中，v为图像集合C中单张图像I上的像素值，H(v)为对v均衡化的计算结果，G(v)为当前v的直方图处理结果，Gmin为直方图处理的最小值，Gmax为直方图处理的最大值，L为灰度级数，round代表对像素值结果的四舍五入，所有像素计算完成得到单张图像I'，集合记为C′。[0096] 2.4)对图像集合C′中的图像计算平均像素值a，其中C'＝{I1',I2'...In'}，公式如下：[0097][0098] 式中，M为图像的长度像素值，N为图像的宽度像素值，It'(r,c)为图像集合C′中的图像像素的坐标，t为选取图像的编号；[0099] 2.5)对图像集合C′中的图像进行缺失和填补处理，缺失和填补的值为g(i,j)，得到数据集C”，公式如下：[0100][0101] 式中，g(i,j)为缺失和填补的值，I'(i,j)为图像集合C′中图像I'的坐标为(i,j)的像素值，Th为设定的阈值，在本发明具体实施例中Th＝180；[0102] 2.6)按比例m:n将数据集C”分为训练集E和测试集T，在本发明具体实施例中，m:n＝9：1；[0103] 3)构建RetinaXNet网络模型；其中，RetinaXNet网络模型包括输入模块、主干模块、检测头模块；作为本发明的优选实施例，包括如下步骤：[0104] 3.1)利用输入模块将训练集E中的图像统一缩减为r:l大小的图像，其中r为缩减后的长度像素值，l为缩减后的宽度像素值，变换后的集合记为X＝{x1,x2...x3}；在本发明具体实施例中，r＝224，l＝224；[0105] 3.2)利用主干模块通过残差结构提取集合X中每一帧的轮廓特征，残差结构公式如下：[0106] F(x)＝f(x)+f(f(x))+f(f(f(x)))[0107] 其中f(x)＝δ(W*x)+c[0108] 式中，每一帧图像x作为卷积层的输入，W为卷积需要学习的参数，δ为激活函数，F(x)为残差结构的输出结果。所述方法采用n次重复计算，在本发明的具体实施例中，设置n＝50。[0109] 3.3)在检测头模块中设置分类融合的输入参数的结构FCLS，公式如下：[0110] FCLS＝δ[WCLS*F(x)]+c[0111] 式中，F(x)为残差结构的输出结果，WCLS为训练参数，δ为激活函数，c为常数项。[0112] 3.4)在检测头模块中设置非线性回归连接参数的结构 公式如下：[0113][0114] 式中，FCLS为参数融合的输入部分，W1，W2为训练参数，δ为激活函数，c为常数项，LCR连接为非线性连接，其作用为加强分类与回归之间的联系。[0115] 3.5)计算回归的加强参数 公式如下：[0116][0117] 式中，Freg为网络原先的回归参数， 为经过加强的回归参数。[0118] 3.6)在检测头模块中设置非线性分类连接参数的结构 公式如下：[0119][0120] 式中，W3为训练参数， 为经过加强的回归参数， 为非线性分类连接参数的结构。[0121] 3.7)计算分类的加强参数 公式如下：[0122][0123] 式中，Fcls为网络原先的分类参数， 为经过加强的分类参数。[0124] 4)利用UFL函数优化RetinaXNet网络模型的权值；公式如下：[0125][0126] 式中，y为真实标签，其取值为0或1， 为UFL的动态调整因子参数，γ为调整样本权重的速率，α为权重参数，在本发明具体实施例中，γ＝2，＝0.25；[0127] 5)训练网络模型，作为本发明的优选实施例，包括如下步骤：[0128] 5.1)计算准确率accuracy，计算公式如下：[0129][0130] 式中，accuracy为准确率，TP代表测试集T中网络输出为正样本，且参考标准也为正样本的个数；TN代表网络输出为负样本，且参考标准也为负样本的个数；FP代表网络输出为正样本，但参考标准为负样本的个数；FN代表网络输出为负样本，但参考标准为正样本的个数。[0131] 5.2)计算召回率recall，计算公式如下：[0132][0133] 式中，recall为召回率。TP代表判被判定为正样本，即正样本的个数；FN代表被判定为负样本，但事实上是正样本的个数；[0134] 5.3)计算F1值，计算公式如下：[0135][0136] 式中，F1是对accuracy和recall的平衡，其综合准确率和召回率的计算结果。[0137] 5.4)判断F1是否小于t，如小于则转步骤5.1)重新训练，否则转步骤6)，在本发明的具体实施例中，t＝0.6；[0138] 6)通过摄像头获取待检测帧并送入网络检测，将网络的输出结果映射回原图，判断是否出现故障灯，作为本发明的优选实施例，包括如下步骤：[0139] 6.1)将网络输出结果映射回原图，映射到原图的坐标、长和高公式如下：[0140][0141][0142][0143][0144] 式中， 为原图像的长和高，x、y、W、H分别为检测框的左上角坐标与检测框的长和高，xN、yN、WN、HN为映射到原图的坐标与长和高。[0145] 6.2)异常检测，检测公式如下：[0146][0147] 式中，Warn＝0代表无异常，Warn＝1代表出现异常，触发报警器。

专利地区：江西

专利申请日期：2021-08-09

专利公开日期：2024-11-29

专利公告号：CN113762084B