开云优惠体育网页版入口

专利名称：基于监控视频辅助的VTS雷达目标解融合方法、系统和设备

专利类型：发明专利

专利申请号：CN202210739521.3

专利申请（专利权）人：华南理工大学
权利人地址：广东省广州市天河区五山路381号

专利发明（设计）人：陈伟能,唐吉,曹阳,汪慧勇

专利摘要：本发明涉及雷达目标融合技术领域，为基于监控视频辅助的VTS雷达目标解融合方法、系统和设备，该方法包括标定监控区与雷达扇区，求解监控区坐标和雷达扇区坐标投影关系；确定视频目标与雷达目标的关联关系，对视频目标的经纬度轨：屠状锬勘甑木扯裙旒＝泄亓辉げ饫状锬勘耆诤戏⑸诘，视频目标采样，检测雷达目标分离节点；选取最优关联项，将融合后分离的雷达目标与最优关联项重新关联。本发明利用监控视频辅助的方法最大化目标解融合后目标身份确认的可信度，减少雷达目标融合后发生误跟、航迹丢失的概率，提高跟踪稳定性，相较于传统方法解融合后确认目标身份效果更精准。

主权利要求：
1.基于监控视频辅助的VTS雷达目标解融合方法，其特征在于，包括以下步骤：
步骤一，标定监控区与雷达扇区，在监控区画面中选取多个视频目标，读取视频目标的图像位置坐标，在雷达扇区中选取与多个视频目标对应的雷达目标，读取雷达目标的图像位置的经纬度坐标，将雷达目标的图像位置的经纬度坐标转换为墨卡托坐标；
步骤二，求解监控区坐标和雷达扇区坐标投影关系，通过最小二乘法计算监控区的视频目标的图像位置坐标和雷达扇区的雷达目标的墨卡托坐标的关系矩阵H；
步骤三，确定视频目标与雷达目标的关联关系，分别对监控区的视频目标、雷达扇区中的雷达目标进行检测和跟踪，通过关系矩阵H将监控区中的视频目标的图像位置坐标转化为墨卡托坐标，将所述视频目标的墨卡托坐标转化为经纬度，记录视频目标的经纬度轨：屠状锬勘甑木扯裙旒，对视频目标的经纬度轨：屠状锬勘甑木扯裙旒＝泄亓
步骤四，预测雷达目标融合发生节点，先设定时间区间，计算每个雷达目标在设定时间区间内的平均速度，并预测计算其T秒后的位置；对预测计算的位置进行遍历，当发生两个雷达目标距离小于其回波目标尺寸时对当前两个雷达目标进行标记；
步骤五，视频目标采样，通过视频目标与雷达目标的关联关系识别到标记的雷达目标对应的在监控区中的视频目标，提取监控区中的对应视频目标的船舶图像，记录对应视频目标的船舶图像的ID；等待若干秒后，当上述标记的雷达目标出现其中一个以上雷达目标跟踪丢失时，判断为雷达目标已融合，否则取消标记的雷达目标的标记并返回步骤四；
步骤六，检测雷达目标分离节点，当雷达扇区和监控区的重叠区域中的单一跟踪雷达目标周围出现新雷达目标，新雷达目标重新与视频目标关联上时，判断为雷达目标融合后分离；
步骤七，遍历N个判断为雷达目标已融合情形的视频目标与判断为雷达目标融合后分离情形时的视频目标进行图像特征交叉比对，选取最优关联项，将融合后分离的雷达目标与最优关联项重新关联。
2.根据权利要求1所述的基于监控视频辅助的VTS雷达目标解融合方法，其特征在于，所述视频目标的图像位置坐标为视频目标的图像底部中点的坐标，视频目标的图像位置坐T标集合记为Pcamera，表示为(u,v,1) ；所述雷达目标的图像位置的经纬度坐标为雷达目标的T图像重心点的经纬度坐标，雷达目标的墨卡托坐标集合记为Pradar，表示为(x,y,1) 。
3.根据权利要求2所述的基于监控视频辅助的VTS雷达目标解融合方法，其特征在于，所述监控区的视频目标的图像位置坐标和雷达扇区的雷达目标的墨卡托坐标的映射关系如下：Pradar＝HPcamera
其中，H为一个3×3的非奇异矩阵。
4.根据权利要求1所述的基于监控视频辅助的VTS雷达目标解融合方法，其特征在于，所述分别对监控区的视频目标、雷达扇区中的雷达目标进行检测和跟踪，包括：采集现场画面中有船舶的图片，标注并训练YOLOV4算法模型，采用YOLOV4算法模型对监控区中的视频目标进行检测，采用KCF算法对视频目标进行跟踪；采用连通域分析算法对雷达扇区中的雷达目标进行检测，采用卡尔曼跟踪算法对雷达扇区中的雷达目标进行跟踪。
5.根据权利要求4所述的基于监控视频辅助的VTS雷达目标解融合方法，其特征在于，所述对视频目标的经纬度轨：屠状锬勘甑木扯裙旒＝泄亓，包括：对雷达跟踪的每个雷达目标采用最邻近域法选取监控区中的视频目标作为预关联对象，并记录每个雷达目标与预关联对象的距离；
通过视频目标的轨迹计算每个视频目标的船舶航向、船舶速度；
设定概率阈值，根据视频目标与雷达目标间的船舶距离差、船舶航向差、船舶航速差，分别计算船舶距离差概率值、船舶航向差概率值、船舶航速差概率值，计算联合概率值；
取消联合概率值低于设定概率阈值的预关联关系，确定联合概率值高于设定概率阈值的关联关系。
6.根据权利要求5所述的基于监控视频辅助的VTS雷达目标解融合方法，其特征在于，所述船舶距离差与概率值P符合以下公式：其中， 为船舶距离差，船舶距离差符合σ＝7的分布；
所述船舶航向差与概率值P符合以下公式：
其中， 为船舶航向差，船舶航向差符合σ＝20的分布；
所述船舶航速差与概率值P符合以下公式：
其中， 为船舶航速差，船舶航速差符合σ＝1.5的分布。
7.根据权利要求6所述的基于监控视频辅助的VTS雷达目标解融合方法，其特征在于，所述联合概率值为船舶距离差的概率值、船舶航向差的概率值、船舶航速差的概率值这个三个概率值的乘积；概率阈值为0.3～0.45之间的任意值。
8.根据权利要求1所述的基于监控视频辅助的VTS雷达目标解融合方法，其特征在于，所述遍历N个判断为雷达目标已融合情形的视频目标与判断为雷达目标融合后分离情形时的视频目标进行图像特征交叉比对，包括：每当步骤六中的新雷达目标重新与视频目标关联上后，对该视频目标在监控区中的船舶图像进行提取并记为图1，提取船舶图像的HOG特征并记为特征1；
将判断为雷达目标已融合情形的视频目标的船舶图像统一为图1的尺寸，分别提取每个视频目标的船舶图像的HOG特征，依次将每个视频目标的船舶图像的HOG特征与特征1进行比对，计算特征之间的hanmming距离；
选取hamming距离最近的判断为雷达目标已融合情形的视频目标作为最优关联项，并用最优关联项的ID替代融合后分离的雷达目标现有关联的视频目标的ID。
9.基于监控视频辅助的VTS雷达目标解融合系统，其特征在于，所述系统包括：
标定模块，用于标定监控区与雷达扇区，在监控区画面中选取多个视频目标，读取视频目标的图像位置坐标，在雷达扇区中选取与多个视频目标对应的雷达目标，读取雷达目标的图像位置的经纬度坐标，将雷达目标的图像位置的经纬度坐标转换为墨卡托坐标；
关联模块，用于求解监控区坐标和雷达扇区坐标投影关系，通过最小二乘法计算监控区的视频目标的图像位置坐标和雷达扇区的雷达目标的墨卡托坐标的关系矩阵H；确定视频目标与雷达目标的关联关系，分别对监控区的视频目标、雷达扇区中的雷达目标进行检测和跟踪，通过关系矩阵H将监控区中的视频目标的图像位置坐标转化为墨卡托坐标，将所述视频目标的墨卡托坐标转化为经纬度，记录视频目标的经纬度轨：屠状锬勘甑木扯裙旒，对视频目标的经纬度轨：屠状锬勘甑木扯裙旒＝泄亓
预测融合发生模块，用于预测雷达目标融合发生节点，先设定时间区间，计算每个雷达目标在设定时间区间内的平均速度，并预测计算其T秒后的位置；对预测计算的位置进行遍历，当发生两个雷达目标距离小于其回波目标尺寸时对当前两个雷达目标进行标记；
视频目标图像采样模块，用于视频目标采样，通过视频目标与雷达目标的关联关系识别到标记的雷达目标对应的在监控区中的视频目标，提取监控区中的对应视频目标的船舶图像，记录对应视频目标的船舶图像的ID；等待若干秒后，当上述标记的雷达目标出现其中一个以上雷达目标跟踪丢失时，判断为雷达目标已融合，否则取消标记的雷达目标的标记并返回步骤四；
预测目标分离模块，用于检测雷达目标分离节点，当雷达扇区和监控区的重叠区域中的单一跟踪雷达目标周围出现新雷达目标，新雷达目标重新与视频目标关联上时，判断为雷达目标融合后分离；
最优关联项关联模块，遍历N个判断为雷达目标已融合情形的视频目标与判断为雷达目标融合后分离情形时的视频目标进行图像特征交叉比对，选取最优关联项，将融合后分离的雷达目标与最优关联项重新关联。
10.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1?8任一项所述的基于监控视频辅助的VTS雷达目标解融合方法。 说明书 : 基于监控视频辅助的VTS雷达目标解融合方法、系统和设备技术领域[0001] 本发明涉及雷达目标融合技术领域，具体涉及基于监控视频辅助的VTS雷达目标解融合方法、系统和设备。背景技术[0002] 船舶交通管理系统(VesselTrafficSystem)简称VTS，是保障船舶航行安全最重要的海事装备，在减少船舶交通事故，提高船舶通航效率，防止水域环境污染等方面发挥着至关重要的作用。VTS是利用AIS基站、雷达、CCTV、无线电话，以及船载终端等通信设施监控航行在港湾和进出港口的船舶，并给这些船舶提供航行中所需的安全信息的一种系统。通过该系统可监控船舶的航路脱离与否、行进方向、速度、船舶相互交行等，以向船舶迅速地提供进出港时所需的安全航行信息。[0003] 在船舶交通服务系统(VesselTrafficServiceSystem，简称VTS)中，船舶在航行过程中，特别是内河航道有可能会出现两船交叉、会遇等现象，这种情况下两个船舶在雷达视频的回波会发生融合，形成一个回波。在此类现象中，为避免碰撞，船舶多会进行机动，船舶航速航向很有可能发生改变，对于目标的跟踪提出很大的挑战，经常会出现误跟踪或者航迹丢失的情况，影响船舶的持续稳定跟踪，进而影响系统稳定跟踪的性能。对VTS用户的水上交通监管产生一定的影响，在船舶可能发生碰撞等事故时，无法及时准确的通知到目标船只，可能会带来重大事故。[0004] 针对雷达目标融合后再分开无法再次关联之前的身份信息的情况，需要进行特别处理，经典方法中利用航迹的关联、航迹估计的形式进行目标解融合，但这类方法有效但仍有较大概率发生错误。发明内容[0005] 为解决现有技术所存在的技术问题，本发明提供提供基于监控视频辅助的VTS雷达目标解融合方法、系统和设备，该方法基于雷达回波发生融合前的图像采样、融合后图像目标比对身份的方法减少目标融合后发生误跟、航迹丢失的概率，提高跟踪稳定性。[0006] 本发明的第一个目的在于提供基于监控视频辅助的VTS雷达目标解融合方法。[0007] 本发明的第二个目的在于提供基于监控视频辅助的VTS雷达目标解融合系统。[0008] 本发明的第三个目的在于提供一种计算机设备。[0009] 本发明的第一个目的可以通过采取如下技术方案达到：[0010] 基于监控视频辅助的VTS雷达目标解融合方法，所述方法包括：[0011] 步骤一，标定监控区与雷达扇区，在监控区画面中选取多个视频目标，读取视频目标的图像位置坐标，在雷达扇区中选取与多个视频目标对应的雷达目标，读取雷达目标的图像位置的经纬度坐标，将雷达目标的图像位置的经纬度坐标转换为墨卡托坐标；[0012] 步骤二，求解监控区坐标和雷达扇区坐标投影关系，通过最小二乘法计算监控区的视频目标的图像位置坐标和雷达扇区的雷达目标的墨卡托坐标的关系矩阵H；[0013] 步骤三，确定视频目标与雷达目标的关联关系，分别对监控区的视频目标、雷达扇区中的雷达目标进行检测和跟踪，通过关系矩阵H将监控区中的视频目标的图像位置坐标转化为墨卡托坐标，将所述视频目标的墨卡托坐标转化为经纬度，记录视频目标的经纬度轨：屠状锬勘甑木扯裙旒，对视频目标的经纬度轨：屠状锬勘甑木扯裙旒＝泄亓籟0014] 步骤四，预测雷达目标融合发生节点，先设定时间区间，计算每个雷达目标在设定时间区间内的平均速度，并预测计算其T秒后的位置；对预测计算的位置进行遍历，当发生两个雷达目标距离小于其回波目标尺寸时对当前两个雷达目标进行标记；[0015] 步骤五，视频目标采样，通过视频目标与雷达目标的关联关系识别到标记的雷达目标对应的在监控区中的视频目标，提取监控区中的对应视频目标的船舶图像，记录对应视频目标的船舶图像的ID；等待若干秒后，当上述标记的雷达目标出现其中一个以上雷达目标跟踪丢失时，判断为雷达目标已融合，否则取消标记的雷达目标的标记并返回步骤四；[0016] 步骤六，检测雷达目标分离节点，当雷达扇区和监控区的重叠区域中的单一跟踪雷达目标周围出现新雷达目标，新雷达目标重新与视频目标关联上时，判断为雷达目标融合后分离；[0017] 步骤七，将判断为雷达目标已融合情形的视频目标与判断为雷达目标融合后分离情形时的视频目标进行图像特征交叉比对，选取最优关联项，将融合后分离的雷达目标与最优关联项重新关联。[0018] 本发明的第二个目的可以通过采取如下技术方案达到：[0019] 基于监控视频辅助的VTS雷达目标解融合系统，所述系统包括：[0020] 标定模块，用于标定监控区与雷达扇区，在监控区画面中选取多个视频目标，读取视频目标的图像位置坐标，在雷达扇区中选取与多个视频目标对应的雷达目标，读取雷达目标的图像位置的经纬度坐标，将雷达目标的图像位置的经纬度坐标转换为墨卡托坐标；[0021] 关联模块，用于求解监控区坐标和雷达扇区坐标投影关系，通过最小二乘法计算监控区的视频目标的图像位置坐标和雷达扇区的雷达目标的墨卡托坐标的关系矩阵H；确定视频目标与雷达目标的关联关系，分别对监控区的视频目标、雷达扇区中的雷达目标进行检测和跟踪，通过关系矩阵H将监控区中的视频目标的图像位置坐标转化为墨卡托坐标，将所述视频目标的墨卡托坐标转化为经纬度，记录视频目标的经纬度轨：屠状锬勘甑木扯裙旒，对视频目标的经纬度轨：屠状锬勘甑木扯裙旒＝泄亓籟0022] 预测融合发生模块，用于预测雷达目标融合发生节点，先设定时间区间，计算每个雷达目标在设定时间区间内的平均速度，并预测计算其T秒后的位置；对预测计算的位置进行遍历，当发生两个雷达目标距离小于其回波目标尺寸时对当前两个雷达目标进行标记；[0023] 视频目标图像采样模块，用于视频目标采样，通过视频目标与雷达目标的关联关系识别到标记的雷达目标对应的在监控区中的视频目标，提取监控区中的对应视频目标的船舶图像，记录对应视频目标的船舶图像的ID；等待若干秒后，当上述标记的雷达目标出现其中一个以上雷达目标跟踪丢失时，判断为雷达目标已融合，否则取消标记的雷达目标的标记并返回步骤四；[0024] 预测目标分离模块，用于检测雷达目标分离节点，当雷达扇区和监控区的重叠区域中的单一跟踪雷达目标周围出现新雷达目标，新雷达目标重新与视频目标关联上时，判断为雷达目标融合后分离；[0025] 最优关联项关联模块，遍历N个判断为雷达目标已融合情形的视频目标与判断为雷达目标融合后分离情形时的视频目标进行图像特征交叉比对，选取最优关联项，将融合后分离的雷达目标与最优关联项重新关联。[0026] 本发明的第三个目的可以通过采取如下技术方案达到：[0027] 一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的基于监控视频辅助的VTS雷达目标解融合方法。[0028] 本发明与现有技术相比，具有如下优点和有益效果：[0029] 本发明提供基于监控视频辅助的VTS雷达目标解融合方法、系统和设备，通过基于雷达回波发生融合前的图像采样、融合后图像目标比对身份的方法，利用监控视频辅助的方法最大化目标解融合后目标身份确认的可信度，减少雷达目标融合后发生误跟、航迹丢失的概率，提高跟踪稳定性，相较于传统方法解融合后确认目标身份效果更精准。附图说明[0030] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。[0031] 图1是本发明实施例中的VTS雷达目标解融合方法的流程图；[0032] 图2是本发明实施例中的图像选点与雷达坐标选点对应示意图；[0033] 图3是本发明实施例中的关系矩阵的示意图；[0034] 图4是本发明实施例中的航速差值概率分布示意图；[0035] 图5是本发明实施例中的雷达融合与分离过程示意图。具体实施方式[0036] 下面将结合附图和实施例，对本发明技术方案做进一步详细描述，显然所描述的实施例是本发明一部分实施例，而不是全部的实施例，本发明的实施方式并不限于此。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0037] 实施例1[0038] 如图1所示，本发明所述的基于监控视频辅助的VTS雷达目标解融合方法，包括以下步骤：[0039] 步骤一，标定监控区与雷达扇区，在监控区画面中选取多个视频目标，读取视频目标的图像位置坐标，在雷达扇区中选取与多个视频目标对应的雷达目标，读取雷达目标的图像位置的经纬度坐标，将雷达目标的图像位置的经纬度坐标转换为墨卡托坐标。[0040] 如图2所示，图像选点与雷达坐标选点对应示意图，本实施例中，在雷达覆盖范围内调整监控摄像头，使得视频覆盖拟监管的水域。在视频画面中先选取4个视频目标，取视频目标的图像位置坐标，视频目标的图像位置坐标为视频目标的图像底部中点的坐标，视T频目标的图像位置坐标集合记为Pcamera，表示为(u,v,1) ；同时在雷达扇区中选取对应的四个雷达目标，该雷达目标的图像位置为雷达目标的图像重心点，读取雷达目标的图像重心点的经纬度坐标，并将其转换为墨卡托坐标，雷达目标的墨卡托坐标集合记为Pradar，表示为T(x,y,1) ，经纬度坐标转为墨卡托坐标的公式如下：[0041][0042] 其中R表示地球半径，R取6378.1370公里，Ln表示地理经度，La表示地理纬度。[0043] 步骤二，求解监控区坐标和雷达扇区坐标投影关系，通过最小二乘法计算监控区的视频目标的图像位置坐标和雷达扇区的雷达目标的墨卡托坐标的关系矩阵H。[0044] 求解监控区坐标和雷达扇区坐标投影关系，监控区的视频目标的图像位置坐标和雷达扇区的雷达目标的墨卡托坐标的映射关系如下：[0045] PradarHPcamera[0046][0047] 其中，Pradar为雷达目标的墨卡托坐标集合，表示为(x,y,1)T；camera为视频目标的图T像位置坐标集合，表示为(u,v,1) ；H为一个3×3的非奇异矩阵。[0048] 通过最小二乘法求得关系矩阵H，将上述映射关系转化为如下形式：[0049][0050] 通过最小二乘原理代入上述4个对应点可得：[0051][0052] 如图3所示，A表示上述8×8矩阵，h表示中间8×1矩阵，b表示等号右侧8×1矩阵；h中元素及所需要求解的值，根据矩阵运算关系得：[0053] h＝(ATA)?1(ATb)[0054] 将h矩阵中元素带回所有关系矩阵H中。[0055] 步骤三，确定视频目标与雷达目标的关联关系，分别对监控区的视频目标、雷达扇区中的雷达目标进行检测和跟踪，通过关系矩阵H将监控区中的视频目标的图像位置坐标转化为墨卡托坐标，将所述视频目标的墨卡托坐标转化为经纬度，记录视频目标的经纬度轨：屠状锬勘甑木扯裙旒，对视频目标的经纬度轨：屠状锬勘甑木扯裙旒＝泄亓。[0056] 具体地，采集现场画面中有船舶的图片，标注并训练YOLOV4算法模型，采用YOLOV4算法模型对监控区中的视频目标进行检测，采用KCF算法对视频目标进行跟踪；采用连通域分析算法对雷达扇区中的雷达目标进行检测，采用卡尔曼跟踪算法对雷达扇区中的雷达目标进行跟踪。[0057] 对视频目标的经纬度轨：屠状锬勘甑木扯裙旒＝泄亓，关联方法如下：[0058] 1、对雷达跟踪的每个雷达目标采用最邻近域法选取监控区中的视频目标作为预关联对象，并记录每个雷达目标与预关联对象的距离。[0059] 这里假设地球为球模型，两者之间的距离S计算方法如下：[0060][0061] 其中，Lng1Lat1表示雷达目标经纬度，Lng2Lat2表示遍历点经纬度；α＝Lat1?Lat2为两点纬度之差β＝Lng1?Lng2为两点经度之差；6378.137为地球赤道半径，单位为千米。[0062] 2、通过视频目标的轨迹计算每个视频目标的船舶航向、船舶速度。[0063] 本实施例中，这里航向以正北为参考方向，以0.1秒为间隔，持续记录5秒船舶的视频轨迹点，轨迹的坐标形式为像素坐标(u,v)。其中u表示以图像左上顶点为0点，图像正右方向为正方向的像素坐标；其中v表示以图像左上顶点为0点，图像正右方向为下方向的像素坐标。[0064] 3、设定概率阈值，根据视频目标与雷达目标间的船舶距离差、船舶航向差、船舶航速差，分别计算船舶距离差的概率值、船舶航向差的概率值、船舶航速差的概率值，计算联合概率值。[0065] 所述船舶距离差与概率值P符合以下公式：[0066][0067] 其中， 为船舶距离差，船舶距离差符合σ＝7的分布；[0068] 所述船舶航向差与概率值P符合以下公式：[0069][0070] 其中， 为船舶航向差，船舶航向差符合σ＝20的分布；[0071] 所述船舶航速差与概率值P符合以下公式：[0072][0073] 其中， 为船舶航速差，船舶航速差符合σ＝1.5的分布。[0074] 联合概率值为船舶距离差的概率值、船舶航向差的概率值、船舶航速差的概率值这个三个概率值的乘积。[0075] 概率阈值选取0.3～0.45之间的任意值。三个参数的差值分别为：船舶距离差、船舶航向差、船舶航速差，其中距离差计算方法同上述1中方法；航向差为用雷达系统中测量的船舶航向减去通过视频转化后计算的目标航向并取绝对值；航速差为用雷达系统中测量的船舶航速减去视频转化后计算的目标航速并取绝对值。[0076] 4、取消联合概率值低于设定概率阈值的预关联关系，确定联合概率值高于设定概率阈值的关联关系。[0077] 本实施例中，优选地设定阈值设为0.4，假设视频转化的目标与雷达目标间的船舶距离差值为6，船舶航向差值为12°，船舶航速差值为1.0，分别计算出的概率依次为：0.693，0.835，0.801；联合概率值为三个概率的乘积0.463；联合概率值高于设定概率阈值0.4，则确定两目标的关联关系。[0078] 如图4所示对航速差值概率分布示意图，图中曲线是以σ＝1.5时概率分布曲线，图中标志点表示当两者航速差为1时，根据分布曲线求得两者关联的概率为0.801[0079] 步骤四，预测雷达目标融合发生节点，先设定时间区间，计算每个雷达目标在设定时间区间内的平均速度，并预测计算其T秒后的位置；对预测计算的位置进行遍历，当发生两个雷达目标距离小于其回波目标尺寸时对当前两个雷达目标进行标记。[0080] 具体地，设定时间区间，计算雷达目标在区间内的平均速度，并预测计算其3秒后的位置；这里平均速度的计算方法为取过去3秒船舶轨迹点的总位移除以时间。对预测的位置进行遍历，当发生两个雷达目标距离小于其回波重心到边缘的最大距离的情形时对其进行标记。如图5所示，雷达融合与分离过程示意图。[0081] 步骤五，视频目标采样，通过视频目标与雷达目标的关联关系识别到标记的雷达目标对应的在监控区中的视频目标，提取监控区中的对应视频目标的船舶图像，记录对应视频目标的船舶图像的ID(Identitydocument)；等待若干秒后(优选5秒)，当上述标记的两个雷达目标或多个雷达目标出现其中一个以上雷达目标跟踪丢失时，判断为雷达目标已融合情形，否则取消标记的雷达目标的标记并返回步骤四。[0082] 步骤六，检测雷达目标分离节点，当雷达扇区和监控区的重叠区域中的单一跟踪雷达目标周围出现新雷达目标，新雷达目标重新与视频目标关联上时，判断为雷达目标融合后分离情形。[0083] 步骤七，遍历N个判断为雷达目标已融合情形的视频目标与判断为雷达目标融合后分离情形时重新关联的视频目标进行图像特征交叉比对，选取最优关联项，将融合后分离的雷达目标与最优关联项重新关联。[0084] 具体地，遍历N个判断为雷达目标已融合情形的视频目标与判断为雷达目标融合后分离情形时的视频目标进行图像特征交叉比对，包括：[0085] (1)每当步骤六中的新雷达目标重新与视频目标关联上后，对该视频目标在视频监控区中的船舶图像进行提取并记为图1，提取船舶图像的HOG特征并记为特征1。HOG特征为方向梯度直方图(HistogramofOrientedGradient)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。[0086] (2)将步骤五中提取到的视频目标的船舶图像统一为图1的尺寸，分别提取每个视频目标的船舶图像的HOG特征，记为特征组2，依次用特征组2中的每个视频目标的船舶图像的HOG特征与特征1进行比对，计算特征之间的hanmming距离。[0087] (3)选取hamming距离最近的判断为雷达目标已融合情形的视频目标作为最优关联项，并用特征组2中被选为最优关联项的ID融合后分离的雷达目标现有关联的视频目标的ID，标注为融合前的ID，达到雷达目标融合后分离重新关联最优关联项的目的。[0088] 实施例2：[0089] 本实施例提供了基于监控视频辅助的VTS雷达目标解融合系统，该系统包括标定模块、关联模块、预测融合发生模块、预测融合发生模块、视频目标图像采样模块、预测目标分离模块和最优关联项关联模块，各个模块的具体功能如下：[0090] 标定模块，用于标定监控区与雷达扇区，在监控区画面中选取多个视频目标，读取视频目标的图像位置坐标，在雷达扇区中选取与多个视频目标对应的雷达目标，读取雷达目标的图像位置的经纬度坐标，将雷达目标的图像位置的经纬度坐标转换为墨卡托坐标；[0091] 关联模块，用于求解监控区坐标和雷达扇区坐标投影关系，通过最小二乘法计算监控区的视频目标的图像位置坐标和雷达扇区的雷达目标的墨卡托坐标的关系矩阵H；确定视频目标与雷达目标的关联关系，分别对监控区的视频目标、雷达扇区中的雷达目标进行检测和跟踪，通过关系矩阵H将监控区中的视频目标的图像位置坐标转化为墨卡托坐标，将所述视频目标的墨卡托坐标转化为经纬度，记录视频目标的经纬度轨：屠状锬勘甑木扯裙旒，对视频目标的经纬度轨：屠状锬勘甑木扯裙旒＝泄亓。[0092] 预测融合发生模块，用于预测雷达目标融合发生节点，先设定时间区间，计算每个雷达目标在设定时间区间内的平均速度，并预测计算其T秒后的位置；对预测计算的位置进行遍历，当发生两个雷达目标距离小于其回波目标尺寸时对当前两个雷达目标进行标记。[0093] 视频目标图像采样模块，用于视频目标采样，通过视频目标与雷达目标的关联关系识别到标记的雷达目标对应的在监控区中的视频目标，提取监控区中的对应视频目标的船舶图像，记录对应视频目标的船舶图像的ID；等待若干秒后，当上述标记的雷达目标出现其中一个以上雷达目标跟踪丢失时，判断为雷达目标已融合，否则取消标记的雷达目标的标记并返回步骤四。[0094] 预测目标分离模块，用于检测雷达目标分离节点，当雷达扇区和监控区的重叠区域中的单一跟踪雷达目标周围出现新雷达目标，新雷达目标重新与视频目标关联上时，判断为雷达目标融合后分离。[0095] 最优关联项关联模块，遍历N个判断为雷达目标已融合情形的视频目标与判断为雷达目标融合后分离情形时的视频目标进行图像特征交叉比对，选取最优关联项，将融合后分离的雷达目标与最优关联项重新关联。[0096] 实施例3：[0097] 本实施例提供了一种计算机设备，该计算机设备可以是服务器、计算机等，其包括通过系统总线连接的处理器、存储器、输入装置、显示器和网络接口，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质和内存储器，该非易失性存储介质存储有操作系统、计算机程序和数据库，该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器执行存储器存储的计算机程序时，实现上述实施例1的基于监控视频辅助的VTS雷达目标解融合方法，如下：[0098] 步骤一，标定监控区与雷达扇区，在监控区画面中选取多个视频目标，读取视频目标的图像位置坐标，在雷达扇区中选取与多个视频目标对应的雷达目标，读取雷达目标的图像位置的经纬度坐标，将雷达目标的图像位置的经纬度坐标转换为墨卡托坐标；[0099] 步骤二，求解监控区坐标和雷达扇区坐标投影关系，通过最小二乘法计算监控区的视频目标的图像位置坐标和雷达扇区的雷达目标的墨卡托坐标的关系矩阵H；[0100] 步骤三，确定视频目标与雷达目标的关联关系，分别对监控区的视频目标、雷达扇区中的雷达目标进行检测和跟踪，通过关系矩阵H将监控区中的视频目标的图像位置坐标转化为墨卡托坐标，将所述视频目标的墨卡托坐标转化为经纬度，记录视频目标的经纬度轨：屠状锬勘甑木扯裙旒，对视频目标的经纬度轨：屠状锬勘甑木扯裙旒＝泄亓籟0101] 步骤四，预测雷达目标融合发生节点，先设定时间区间，计算每个雷达目标在设定时间区间内的平均速度，并预测计算其T秒后的位置；对预测计算的位置进行遍历，当发生两个雷达目标距离小于其回波目标尺寸时对当前两个雷达目标进行标记；[0102] 步骤五，视频目标采样，通过视频目标与雷达目标的关联关系识别到标记的雷达目标对应的在监控区中的视频目标，提取监控区中的对应视频目标的船舶图像，记录对应视频目标的船舶图像的ID；等待若干秒后，当上述标记的雷达目标出现其中一个以上雷达目标跟踪丢失时，判断为雷达目标已融合，否则取消标记的雷达目标的标记并返回步骤四；[0103] 步骤六，检测雷达目标分离节点，当雷达扇区和监控区的重叠区域中的单一跟踪雷达目标周围出现新雷达目标，新雷达目标重新与视频目标关联上时，判断为雷达目标融合后分离。[0104] 步骤七，遍历N个判断为雷达目标已融合情形的视频目标与判断为雷达目标融合后分离情形时的视频目标进行图像特征交叉比对，选取最优关联项，将融合后分离的雷达目标与最优关联项重新关联。[0105] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

专利地区：广东

专利申请日期：2022-06-28

专利公开日期：2024-11-29

专利公告号：CN115201809B