开云优惠体育网页版入口

专利名称：一种高位视频路边停车场景下的车辆跟踪方法

专利类型：发明专利

专利申请号：CN202111491990.X

专利申请（专利权）人：广西云高智慧城市开云优惠体育网页版入口有限公司
权利人地址：广西壮族自治区柳州市柳东新区双仁路10号官塘研发中心2号楼705号(柳州高创商务秘书有限公司托管)

专利发明（设计）人：陈文斌,龙禹辛,覃文昌,黄振波

专利摘要：本发明提供一种高位视频路边停车场景下的车辆跟踪方法，属于智能算法技术领域。包括的判断步骤有：当车辆跟踪短暂丢失时间超过预设生命周期时，预测此时车辆的位置和速度，不直接视为离开；车辆在短暂丢失之前处于静止状态，连续一段时间的卡尔曼滤波器预测的速度都小于阈值，通过外观特征和位置特征继续跟踪；车辆在短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆的一部分位于摄像头图像范围之外，停止跟踪；车辆在短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆完全位于摄像头图像范围之内，通过外观特征继续跟踪。本发明针对高位视频路边停车场景中出现的各种车辆遮挡现象做出改进，提升了复杂场景下车辆跟踪的准确度。

主权利要求：
1.一种高位视频路边停车场景下的车辆跟踪方法，其特征在于，所述方法包括的判断步骤有：当车辆跟踪短暂丢失时间超过预设生命周期M1时，先根据卡尔曼滤波器，预测此时车辆的位置和速度，而不是直接视为离开；分三种情况：车辆在短暂丢失之前处于静止状态，判断基准是连续一段时间的卡尔曼滤波器预测的速度都小于阈值Vm；判断车辆并未立即离开，通过外观特征和位置特征继续对其跟踪；
车辆在短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆的一部分位于摄像头图像范围之外；判断车辆已经驶离，停止对其跟踪；
车辆在短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆完全位于摄像头图像范围之内；判断车辆并未立即离开，通过外观特征继续对其跟踪；
包括以下步骤：
S1.从高位视频定时获取包含车辆的连续图像。诖淼耐枷癯莆鼻爸。汛淼耐枷癯莆分。
S2.对当前帧进行车辆检测，得到当前帧的所有车辆；
S3.对当前帧的车辆分别提取外观特征；
S4.对当前帧车辆与历史帧车辆进行关联匹配，关联匹配的特征包括车辆的外观特征、运动特征、位置特征；如果当前帧是第一。蚴褂玫鼻爸〉某盗炯觳饨峁统盗就夤厶卣鹘峁愿倨髯龀跏蓟蝗绻鼻巴枷袷堑趎。襫>1，则对当前帧车辆与历史帧车辆进行关联匹配；定义每辆车的跟踪状态为以下之一：New为新出现的车辆；Tracked为已跟踪到的车辆；Lost为短暂丢失的车辆；Abandoned为长期丢失的车辆；Removed为离开的车辆；
S5.根据关联匹配结果，更新历史车辆集合及对应的车辆状态；
S5.1如果一个历史车辆成功匹配到一个当前帧车辆，则状态更新为Tracked，设置历史车辆的生命周期为M1。
S5.2如果一个历史车辆没有匹配到任何一个当前帧车辆，则分情况处理：
5.2.1如果跟踪状态为New，则修改跟踪状态为Removed；
5.2.2如果跟踪状态为Tracked，则修改跟踪状态为Lost；
5.2.3如果跟踪状态为Lost，且跟踪状态持续为Lost的时间超过所设生命周期M1，需做进一步处理；先根据卡尔曼滤波器，预测此时车辆的位置和速度，而不是直接视为离开；分三种情况：
5.2.3.1车辆在lost短暂丢失之前处于静止状态，判断基准是连续M2帧的卡尔曼滤波器预测的速度都小于阈值Vm；其中M2M1，通过外观特征和位置特征继续对其跟踪；
5.2.3.2车辆在lost短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆的一部分位于摄像头图像范围之外；判断车辆已经驶离，修改车辆的跟踪状态为Removed，停止对其跟踪；
5.2.3.3车辆在lost短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆完全位于摄像头图像范围之内；判断车辆并未立即离开，修改车辆的跟踪状态为Abandoned，延长车辆的生命周期到M4。琈4>M1，通过外观特征继续对其跟踪；
5.2.4如果跟踪状态为Abandoned，且跟踪状态持续为Abandoned的时间超过所设生命周期M1，则修改车辆的跟踪状态为Removed；
5.3将跟踪状态为Removed的车辆从历史车辆中移除，停止对其跟踪；
5.4如果一个当前帧车辆没有匹配到任何一个历史车辆，则初始化生成新的历史车辆，加入到历史车辆集合；
S6.根据历史车辆信息，得到当前帧跟踪结果。
2.根据权利要求1所述的跟踪方法，其特征在于：所述步骤S2的具体方法为：S2.1收集大量高位视频路边停车场景下的图像，标注出图像中的车辆位置，制作车辆检测数据集，使用yolov5算法预先训练出yolov5模型；
S2.2使用训练好的yolov5模型对当前帧进行车辆检测，得到当前帧的车辆检测结果D＝{d1,d2,…,dn}，di代表当前帧检测到的一个车辆，由五个参数(bx,by,bw,bh,score)组成，(bx,by)代表车辆矩形框的中心，(bw,bh)代表车辆矩形框的宽高，score代表车辆检测框得分，表示这个检测框内的物体是车辆的概率。
3.根据权利要求2所述的跟踪方法，其特征在于：所述步骤S3的具体方法为：S3.1收集大量高位视频路边停车图像进行人工标注，对其中相同的车辆分配相同的ID，不同的车辆分配不同的ID，制作ReID数据集，训练出车辆重识别ReID模型；
S3.2使用训练好的ReID模型，根据车辆检测的结果D，对每个车辆的图像提取特征，得到当前帧所有车辆的外观特征F＝{feat1,feat2,…,featn}，feat1指的是当前帧中第一辆车的特征,featn指的是当前帧中第n辆车的特征，这些车辆的外观特征都是相同维度的向量。
4.根据权利要求3所述的跟踪方法，其特征在于：所述步骤S4的具体方法为：S4.1根据车辆检测结果D和车辆外观特征，利用卡尔曼滤波构建车辆运动模型，预测车辆的位置和运动状态，使用车辆的外观特征、运动特征、位置特征计算当前帧车辆与历史车辆关联度，采用匈牙利算法进行匹配：用八个参数k＝(x,y,a,h,vx,vy,va,vh)描述车辆的位置及运动状态；前四个参数代表车辆矩形框的中心(x,y)，宽高比a，高h；后四个参数对应表示前四个参数的变化趋势，其中(vx,vy)代表车辆在图像中的水平速度和垂直速度，单位是像素/。(va,vh)代表车辆在图
2 2 0.5
像中的宽和高的变化速度；定义车辆速度v＝[(vx)+(vy) ] ；定义v小于Vm像素/帧的车辆为静止状态；
S4.2定义车辆的跟踪状态类型；New、Tracked、Lost、Abandoned或Removed；
S4.3如果当前帧是第一。蚴褂玫鼻爸〉某盗炯觳饨峁统盗就夤厶卣鹘峁愿倨髯龀跏蓟：选取score大于0.45的车辆集合R1＝{[d1,feat1],[d2,feat2],…,[dn,featn]}，得到初始化的历史车辆集合T1＝{t1,t2,…,tn}，其中，ti代表一个历史车辆，由五个参数[idi,ki,fi,si,mi]组成，初始化方法包括以下步骤：车辆的ID编号idi初始值设定为i；
车辆的卡尔曼滤波器预测状态ki由di初始化而来，其中，前四个参数x＝bx，y＝by，a＝bw/bh，h＝bh，后四个参数初始值设定为0；
车辆的外观特征fi初始值设定为feati，
车辆的跟踪状态si初始值设定为Tracked；
车辆的生命周期mi初始值设定为30。
S4.4如果当前图像是第n。渲衝>1，则对当前帧车辆与历史车辆进行关联匹配，步骤A，使用外观特征与运动信息进行匹配，称当前匹配为特征匹配：
4.4.1选取score得分大于0.35的当前帧车辆；
4.4.2选取跟踪状态为Tracked,Lost和Abandoned的历史车辆；
4.4.3计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵，计算方法由以下步骤组成：i.两辆车的关联度由外观特征相似度与运动信息相似度加权得来；
ii.外观特征关联度使用当前帧车辆外观特征feati与历史车辆外观特征fi的余弦距离；
iii.运动信息关联度使用当前帧车辆卡尔曼滤波器预测值ki与历史车辆的位置di的马氏距离；
iv.外观特征关联度的权重0.98，运动信息关联度的权重0.02；
4.4.4对关联矩阵使用匈牙利算法，关联距离阈值为0.4，得到特征匹配结果。
5.根据权利要求4所述的车辆跟踪方法，其特征在于：对于步骤S4.4中特征匹配失败的车辆，采用下述方法进行再次匹配：S4.5步骤B，使用IOU距离对特征匹配失败的车辆进行匹配，称当前匹配为第一次IOU匹配：
4.5.1选取特征匹配失败的当前帧车辆；
4.5.2选取特征匹配失败，且满足以下两个条件之一的历史车辆：跟踪状态为Tracked，或者在消失前连续超过M2帧处于静止；
4.5.3根据IOU距离，计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵；
4.5.4对关联矩阵使用匈牙利算法，关联距离阈值为0.5，得到第一次IOU匹配结果；
S4.6步骤C，使用IOU距离对第一次IOU匹配失败的车辆进行匹配，称当前匹配为第二次IOU匹配；
4.6.1选取检测框score得分大于0.1且小于等于0.35的当前帧车辆；
4.6.2选取第一次IOU匹配失败的历史车辆；
4.6.3根据IOU距离，计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵；
4.6.4对关联矩阵使用匈牙利算法，关联距离阈值为0.4，得到第二次IOU匹配结果；
S4.7步骤D，使用IOU距离对新出现的车辆进行匹配，称当前匹配为第三次IOU匹配：
4.7.1选取第一次IOU匹配失败的当前帧车辆；
4.7.2选取跟踪状态为New的历史车辆；
4.7.3根据IOU距离，计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵；
4.7.4进行第三次IOU匹配，关联距离阈值为0.7，得到第三次IOU匹配结果。
6.根据权利要求5所述的跟踪方法，其特征在于：所述步骤S5.1中还包括：使用当前帧车辆检测框di更新历史车辆卡尔曼滤波器预测值ki；使用当前帧车辆外观特征feati更新历史车辆外观特征fi，更新公式fi＝fi*0.9+feati*0.1。
7.根据权利要求5所述的跟踪方法，其特征在于：步骤S6的具体方法是：选取跟踪状态为Tracked的历史车辆作为当前。焕每ǘ瞬觳饨峁玫剿±烦盗镜腎D、位置、速度，作为当前帧车辆跟踪结果。 说明书 : 一种高位视频路边停车场景下的车辆跟踪方法技术领域[0001] 本发明涉及智能算法技术领域，具体涉及一种高位视频路边停车场景下的车辆跟踪方法。背景技术[0002] 随着我们居民汽车保有量的迅速增加，对配套的停车场的数量要求也急速增加，为了满足短时停车之需要，在道路通行能力允许的情况下，由公安交管部门在路边设置了停车位。为了实现无人管理，出现了咪表收费管理系统，由车主自行投币或者刷卡，会出现逃费现象。[0003] 当前，市场上的路边停车管理系统可以分为两大类方法：第一种方法是基于硬件的停车管理方法，如利用红外线，超声波，地磁等感应器检测车位的实时状态，但是这些方法容易受到环境因素的影响，此外，这种方法智能化程度低，安装和日常维护成本高。第二种方法是基于高位视频的方法，这种方法通过利用人工智能算法实现对车位的智能化监管，可以有效的管理路测泊位。但是上述管理方法和算法存在以下问题：在高位视频路边停车场景中，车辆遮挡现象严重。包括但不限于：车辆停车的遮挡，过路大车的遮挡，道路拥挤时的遮挡，开关车门和后备箱的遮挡，其他移动目标的遮挡(行人、非机动车等)。现有跟踪算法主要遵循先检测后跟踪的方式，跟踪的效果依赖于检测。在遮挡严重的情况下，检测器失效的可能性大大增加，这给跟踪算法带来很大干扰。现有跟踪算法主要用于短时跟踪，目标消失连续超过30帧左右就视为离开，停止对其跟踪，这样容易跟丢被遮挡的车辆。发明内容[0004] 本发明的发明目的在于：针对上述存在的问题，提供一种高位视频路边停车场景下的车辆跟踪方法，本发明的方法针对高位视频路边停车场景中出现的各种车辆遮挡现象做出了改进，利用卡尔曼滤波器的状态矩阵，总结出三种车辆消失的情况并分别处理；利用ReID特征与位置特征完成丢失车辆的再匹配，减少车辆ID的切换，提升了复杂场景下车辆跟踪的准确度。[0005] 为了实现上述目的，本发明采用的技术方案如下：[0006] 一种高位视频路边停车场景下的车辆跟踪方法，包括的判断步骤有：当车辆跟踪短暂丢失时间超过预设生命周期M1时，先根据卡尔曼滤波器，预测此时车辆的位置和速度，而不是直接视为离开；分三种情况：[0007] 车辆在短暂丢失之前处于静止状态，判断基准是连续一段时间的卡尔曼滤波器预测的速度都小于阈值Vm；判断车辆并未立即离开，通过外观特征和位置特征继续对其跟踪；[0008] 车辆在短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆的一部分位于摄像头图像范围之外；判断车辆已经驶离，停止对其跟踪；[0009] 车辆在短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆完全位于摄像头图像范围之内；判断车辆并未立即离开，通过外观特征继续对其跟踪。[0010] 进一步地，完整来看，本发明的方法包括以下步骤：[0011] S1.从高位视频定时获取包含车辆的连续图像。诖淼耐枷癯莆鼻爸。汛淼耐枷癯莆分。籟0012] S2.对当前帧进行车辆检测，得到当前帧的所有车辆；[0013] S3.对当前帧的车辆分别提取外观特征；[0014] S4.对当前帧车辆与历史帧车辆进行关联匹配，关联匹配的特征包括车辆的外观特征、运动特征、位置特征；如果当前帧是第一。蚴褂玫鼻爸〉某盗炯觳饨峁统盗就夤厶卣鹘峁愿倨髯龀跏蓟蝗绻鼻巴枷袷堑趎。襫>1，则对当前帧车辆与历史帧车辆进行关联匹配；定义每辆车的跟踪状态为以下之一：New为新出现的车辆；Tracked为已跟踪到的车辆；Lost为短暂丢失的车辆；Abandoned为长期丢失的车辆；Removed为离开的车辆；[0015] S5.根据关联匹配结果，更新历史车辆集合及对应的车辆状态；[0016] S5.1如果一个历史车辆成功匹配到一个当前帧车辆，则状态更新为Tracked，设置历史车辆的生命周期为M1。籟0017] S5.2如果一个历史车辆没有匹配到任何一个当前帧车辆，则分情况处理：[0018] 5.2.1如果跟踪状态为New，则修改跟踪状态为Removed；[0019] 5.2.2如果跟踪状态为Tracked，则修改跟踪状态为Lost；[0020] 5.2.3如果跟踪状态为Lost，且跟踪状态持续为Lost的时间超过所设生命周期M1，需做进一步处理；先根据卡尔曼滤波器，预测此时车辆的位置和速度，而不是直接视为离开；分三种情况：[0021] 5.2.3.1车辆在lost短暂丢失之前处于静止状态，判断基准是连续M2帧的卡尔曼滤波器预测的速度都小于阈值Vm；其中M2M1，通过外观特征和位置特征继续对其跟踪；[0022] 5.2.3.2车辆在lost短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆的一部分位于摄像头图像范围之外；判断车辆已经驶离，修改车辆的跟踪状态为Removed，停止对其跟踪；[0023] 5.2.3.3车辆在lost短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆完全位于摄像头图像范围之内；判断车辆并未立即离开，修改车辆的跟踪状态为Abandoned，延长车辆的生命周期到M4。琈4>M1，通过外观特征继续对其跟踪；[0024] 5.2.4如果跟踪状态为Abandoned，且跟踪状态持续为Abandoned的时间超过所设生命周期M1，则修改车辆的跟踪状态为Removed；[0025] 5.3将跟踪状态为Removed的车辆从历史车辆中移除，停止对其跟踪；[0026] 5.4如果一个当前帧车辆没有匹配到任何一个历史车辆，则初始化生成新的历史车辆，加入到历史车辆集合。[0027] S6.根据历史车辆信息，得到当前帧跟踪结果。[0028] 优选地，所述步骤S2的具体方法为：[0029] S2.1收集大量高位视频路边停车场景下的图像，标注出图像中的车辆位置，制作车辆检测数据集，使用yolov5算法预先训练出yolov5模型；[0030] S2.2使用训练好的yolov5模型对当前帧进行车辆检测，得到当前帧的车辆检测结果D＝{d1,d2,…,dn}，di代表当前帧检测到的一个车辆，由五个参数(bx,by,bw,bh,score)组成，(bx,by)代表车辆矩形框的中心，(bw,bh)代表车辆矩形框的宽高，score代表车辆检测框得分，表示这个检测框内的物体是车辆的概率。[0031] 优选地，所述步骤S3的具体方法为：[0032] S3.1收集大量高位视频路边停车图像进行人工标注，对其中相同的车辆分配相同的ID，不同的车辆分配不同的ID，制作ReID数据集，训练出车辆重识别ReID模型；[0033] S3.2使用训练好的ReID模型，根据车辆检测的结果D，对每个车辆的图像提取特征，得到当前帧所有车辆的外观特征F＝{feat1,feat2,…,featn}，feat1指的是当前帧中第一辆车的特征,featn指的是当前帧中第n辆车的特征，这些车辆的外观特征都是相同维度的向量。[0034] 优选地，所述步骤S4的具体方法为：[0035] S4.1根据车辆检测结果D和车辆外观特征，利用卡尔曼滤波构建车辆运动模型，预测车辆的位置和运动状态，使用车辆的外观特征、运动特征、位置特征计算当前帧车辆与历史车辆关联度，采用匈牙利算法进行匹配：[0036] 用八个参数k＝(x,y,a,h,vx,vy,va,vh)描述车辆的位置及运动状态；前四个参数代表车辆矩形框的中心(x,y)，宽高比a，高h；后四个参数对应表示前四个参数的变化趋势，其中(vx,vy)代表车辆在图像中的水平速度和垂直速度，单位是像素/。(va,vh)代表2 2 0.5车辆在图像中的宽和高的变化速度；定义车辆速度v＝[(vx) +(vy) ] ；定义v小于Vm像素/帧的车辆为静止状态；[0037] S4.2定义车辆的跟踪状态类型；New、Tracked、Lost、Abandoned或Removed；[0038] S4.3如果当前帧是第一。蚴褂玫鼻爸〉某盗炯觳饨峁统盗就夤厶卣鹘峁愿倨髯龀跏蓟：选取score大于0.45的车辆集合R1＝{[d1,feat1],[d2,feat2],…,[dn,featn]}，得到初始化的历史车辆集合T1＝{t1,t2,…,tn}，其中，ti代表一个历史车辆，由五个参数[idi,ki,fi,si,mi]组成，初始化方法包括以下步骤：[0039] 车辆的ID编号idi初始值设定为i；[0040] 车辆的卡尔曼滤波器预测状态ki由di初始化而来，其中，前四个参数x＝bx，y＝by，a＝bw/bh，h＝bh，后四个参数初始值设定为0；[0041] 车辆的外观特征fi初始值设定为feati，[0042] 车辆的跟踪状态si初始值设定为Tracked；[0043] 车辆的生命周期mi初始值设定为30。籟0044] S4.4如果当前图像是第n。渲衝>1，则对当前帧车辆与历史车辆进行关联匹配，步骤A，使用外观特征与运动信息进行匹配，称当前匹配为特征匹配：[0045] 4.4.1选取score得分大于0.35的当前帧车辆；[0046] 4.4.2选取跟踪状态为Tracked,Lost和Abandoned的历史车辆；[0047] 4.4.3计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵，计算方法由以下步骤组成：[0048] v.两辆车的关联度由外观特征相似度与运动信息相似度加权得来；[0049] vi.外观特征关联度使用当前帧车辆外观特征feati与历史车辆外观特征fi的余弦距离；[0050] vii.运动信息关联度使用当前帧车辆卡尔曼滤波器预测值ki与历史车辆的位置di的马氏距离；[0051] viii.外观特征关联度的权重0.98，运动信息关联度的权重0.02；[0052] 4.4.4对关联矩阵使用匈牙利算法，关联距离阈值为0.4，得到特征匹配结果。[0053] 优选地，对于步骤S4.4中特征匹配失败的车辆，采用下述方法进行再次匹配：[0054] S4.5步骤B，使用IOU距离对特征匹配失败的车辆进行匹配，称当前匹配为第一次IOU匹配：[0055] 4.5.1选取特征匹配失败的当前帧车辆；[0056] 4.5.2选取特征匹配失败，且满足以下两个条件之一的历史车辆：跟踪状态为Tracked，或者在消失前连续超过M2帧处于静止；[0057] 4.5.3根据IOU距离，计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵；[0058] 4.5.4对关联矩阵使用匈牙利算法，关联距离阈值为0.5，得到第一次IOU匹配结果；[0059] S4.6步骤C，使用IOU距离对第一次IOU匹配失败的车辆进行匹配，称当前匹配为第二次IOU匹配；[0060] 4.6.1选取检测框score得分大于0.1且小于等于0.35的当前帧车辆；[0061] 4.6.2选取第一次IOU匹配失败的历史车辆；[0062] 4.6.3根据IOU距离，计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵；[0063] 4.6.4对关联矩阵使用匈牙利算法，关联距离阈值为0.4，得到第二次IOU匹配结果；[0064] S4.7步骤D，使用IOU距离对新出现的车辆进行匹配，称当前匹配为第三次IOU匹配：[0065] 4.7.1选取第一次IOU匹配失败的当前帧车辆；[0066] 4.7.2选取跟踪状态为New的历史车辆；[0067] 4.7.3根据IOU距离，计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵；[0068] 4.7.4进行第三次IOU匹配，关联距离阈值为0.7，得到第三次IOU匹配结果。[0069] 优选地，所述步骤S5.1中还包括：使用当前帧车辆检测框di更新历史车辆卡尔曼滤波器预测值ki；使用当前帧车辆外观特征feati更新历史车辆外观特征fi，更新公式fi＝fi*0.9+feati*0.1。[0070] 优选地，步骤S6的具体方法是：选取跟踪状态为Tracked的历史车辆作为当前。焕每ǘ瞬觳饨峁玫剿±烦盗镜腎D、位置、速度，作为当前帧车辆跟踪结果。[0071] 综上所述，由于采用了上述技术方案，本发明的有益效果是：[0072] 本发明针对高位视频路边停车场景中出现的各种车辆遮挡导致的误判现象做出了改进，利用卡尔曼滤波器的状态矩阵，总结出三种车辆消失的情况并分别处理，利用外观特征与位置特征完成丢失车辆的再匹配，减少车辆ID的切换，提升了复杂场景下车辆跟踪的准确度。附图说明[0073] 图1为本发明一种高位视频路边停车场景下的车辆跟踪方法的整体流程图；[0074] 图2为本发明中车辆跟踪丢失时的处理机制；[0075] 图3为发明中使用的yolov5算法的流程图。具体实施方式[0076] 为了更清楚地表达本发明，以下通过具体实施例对本发明作进一步说明。[0077] 本发明是针对现有算法的不足，即在高位视频路边停车场景中，车辆遮挡现象严重，包括但不限于：车辆停车的遮挡，过路大车的遮挡，道路拥挤时的遮挡，开关车门和后备箱的遮挡，其他移动目标的遮挡(行人、非机动车等)的问题而作出的改进。本发明的车辆跟踪方法，包括的关键判断步骤有：当车辆跟踪短暂丢失时间超过预设生命周期M1时，先根据卡尔曼滤波器，预测此时车辆的位置和速度，而不是直接视为离开；分三种情况：[0078] 车辆在短暂丢失之前处于静止状态，判断基准是连续一段时间的卡尔曼滤波器预测的速度都小于阈值Vm；判断车辆并未立即离开，通过外观特征和位置特征继续对其跟踪；[0079] 车辆在短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆的一部分位于摄像头图像范围之外；判断车辆已经驶离，停止对其跟踪；[0080] 车辆在短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆完全位于摄像头图像范围之内；判断车辆并未立即离开，通过外观特征继续对其跟踪。[0081] 完整来说，本发明的跟踪方法，包括以下步骤：[0082] S1.从高位视频定时获取包含车辆的连续图像。诖淼耐枷癯莆鼻爸。汛淼耐枷癯莆分。籟0083] S2.对当前帧进行车辆检测，得到当前帧的所有车辆；[0084] S3.对当前帧的车辆分别提取外观特征；[0085] S4.对当前帧车辆与历史帧车辆进行关联匹配，关联匹配的特征包括车辆的外观特征、运动特征、位置特征；如果当前帧是第一。蚴褂玫鼻爸〉某盗炯觳饨峁统盗就夤厶卣鹘峁愿倨髯龀跏蓟蝗绻鼻巴枷袷堑趎。襫>1，则对当前帧车辆与历史帧车辆进行关联匹配；定义每辆车的跟踪状态为以下之一：New为新出现的车辆；Tracked为已跟踪到的车辆；Lost为短暂丢失的车辆；Abandoned为长期丢失的车辆；Removed为离开的车辆；[0086] S5.根据关联匹配结果，更新历史车辆集合及对应的车辆状态；[0087] S6.根据历史车辆信息，得到当前帧跟踪结果。[0088] 以下具体来看每一步的具体技术方案：[0089] 步骤S2的具体方法为：[0090] S2.1收集大量高位视频路边停车场景下的图像，人工标注出图像中的车辆位置，制作车辆检测数据集，使用yolov5算法预先训练出yolov5模型；yolov5是一种目标检测算法，使用CSPDarknet作为骨干网络进行特征提。捎肞AN网络进行特征融合，在三个尺度不同的特征图上分别检测出大型目标、中型目标和小型目标，参见图3。yolov5与其他现有算法比较，具有速度快、精度高、易使用的特点。[0091] S2.2使用训练好的yolov5模型对当前帧进行车辆检测，得到当前帧的车辆检测结果D＝{d1,d2,…,dn}，di代表当前帧检测到的一个车辆，由五个参数(bx,by,bw,bh,score)组成，(bx,by)代表车辆矩形框的中心，(bw,bh)代表车辆矩形框的宽高，score代表车辆检测框得分，表示这个检测框内的物体是车辆的概率。[0092] 步骤S3的具体方法为：[0093] S3.1收集大量高位视频路边停车图像进行人工标注，对其中相同的车辆分配相同的ID，不同的车辆分配不同的ID，制作ReID数据集，训练出车辆重识别ReID模型；重识别ReID是一种利用计算机视觉技术判断图像或者视频序列中是否存在特定目标的技术；在车辆跟踪中，ReID模型可用于提取车辆的外观特征，一种车辆ReID模型包含ResNet骨干网络和全局平均池化层，可以对车辆图像提取特征；[0094] S3.2使用训练好的ReID模型，根据车辆检测的结果D，对每个车辆的图像提取特征，得到当前帧所有车辆的外观特征F＝{feat1,feat2,…,featn}，feat1指的是当前帧中第一辆车的特征,featn指的是当前帧中第n辆车的特征，这些车辆的外观特征都是相同维度的向量，其包括图像中所有可能的特征，如车型、颜色、尺寸、车灯、车牌等等。[0095] 步骤S4的具体方法为：[0096] S4.1根据车辆检测结果D和车辆外观特征，利用卡尔曼滤波构建车辆运动模型，预测车辆的位置和运动状态，使用车辆的外观特征、运动特征、位置特征计算当前帧车辆与历史车辆关联度，采用匈牙利算法进行匹配：卡尔曼滤波器可以从一组包含噪声的数据中预测出动态系统的状态，在车辆跟踪中，可以用卡尔曼滤波器构建车辆运动模型：[0097] 4.1.1用八个参数k＝(x,y,a,h,vx,vy,va,vh)描述车辆的位置及运动状态；[0098] 4.1.2前四个参数代表车辆矩形框的中心(x,y)，宽高比a，高h；[0099] 4.1.3后四个参数对应表示前四个参数的变化趋势，其中(vx,vy)代表车辆在图像中的水平速度和垂直速度，(va,vh)代表车辆在图像中的宽和高的变化速度，单位均是像素/。籟0100] 4.1.4定义车辆速度v＝[(vx)2+(vy)2]0.5；[0101] 4.1.5定义v小于Vm像素/帧的车辆为静止状态；[0102] S4.2定义车辆的跟踪状态类型；[0103] New为新出现的车辆；[0104] Tracked为已跟踪到的车辆；[0105] Lost为短暂丢失的车辆；[0106] Abandoned为长期丢失的车辆；[0107] Removed为离开的车辆；[0108] S4.3如果当前帧是第一。蚴褂玫鼻爸〉某盗炯觳饨峁统盗就夤厶卣鹘峁愿倨髯龀跏蓟：选取score大于0.45的车辆集合R1＝{[d1,feat1],[d2,feat2],…,[dn,featn]}，得到初始化的历史车辆集合T1＝{t1,t2,…,tn}，其中，ti代表一个历史车辆，由五个参数[idi,ki,fi,si,mi]组成，初始化方法包括以下步骤：[0109] 车辆的ID编号idi初始值设定为i；[0110] 车辆的卡尔曼滤波器预测状态ki由di初始化而来，其中，前四个参数x＝bx，y＝by，a＝bw/bh，h＝bh，后四个参数初始值设定为0；[0111] 车辆的外观特征fi初始值设定为feati，[0112] 车辆的跟踪状态si初始值设定为Tracked；[0113] 车辆的生命周期mi初始值设定为M1。桓菹钟屑际踔，目标消失连续超过30帧左右就视为离开，则将M1优选为30帧。[0114] S4.4如果当前图像是第n。渲衝>1，则对当前帧车辆与历史车辆进行关联匹配，步骤A，使用外观特征与运动信息进行匹配，称当前匹配为特征匹配：[0115] 4.4.1选取score得分大于0.35的当前帧车辆；[0116] 4.4.2选取跟踪状态为Tracked,Lost和Abandoned的历史车辆；[0117] 4.4.3计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵，计算方法由以下步骤组成：[0118] 两辆车的关联度由外观特征相似度与运动信息相似度加权得来；[0119] 外观特征关联度使用当前帧车辆外观特征feati与历史车辆外观特征fi的余弦距离；[0120] 运动信息关联度使用当前帧车辆卡尔曼滤波器预测值ki与历史车辆的位置di的马氏距离；[0121] 外观特征关联度的权重0.98，运动信息关联度的权重0.02；[0122] 4.4.4对关联矩阵使用匈牙利算法，关联距离阈值为0.4，得到特征匹配结果；[0123] 上述步骤中，如果特征匹配失败的车辆，则采用下述方法进行再次匹配：[0124] S4.5步骤B，使用IOU距离对特征匹配失败的车辆进行匹配，称当前匹配为第一次IOU匹配：[0125] 4.5.1选取特征匹配失败的当前帧车辆；[0126] 4.5.2选取特征匹配失败，且满足以下两个条件之一的历史车辆：跟踪状态为Tracked，或者在消失前连续超过M2帧处于静止；[0127] 4.5.3根据IOU距离，计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵；[0128] 4.5.4对关联矩阵使用匈牙利算法，关联距离阈值为0.5，得到第一次IOU匹配结果；[0129] S4.6步骤C，使用IOU距离对第一次IOU匹配失败的车辆进行匹配，称当前匹配为第二次IOU匹配；[0130] 4.6.1选取检测框score得分大于0.1且小于等于0.35的当前帧车辆；[0131] 4.6.2选取第一次IOU匹配失败的历史车辆；[0132] 4.6.3根据IOU距离，计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵；[0133] 4.6.4对关联矩阵使用匈牙利算法，关联距离阈值为0.4，得到第二次IOU匹配结果；S4.7步骤D，使用IOU距离对新出现的车辆进行匹配，称当前匹配为第三次IOU匹配：[0134] 4.7.1选取第一次IOU匹配失败的当前帧车辆；[0135] 4.7.2选取跟踪状态为New的历史车辆；[0136] 4.7.3根据IOU距离，计算所选当前帧车辆与所选历史车辆的关联度，得到关联矩阵；[0137] 4.7.4进行第三次IOU匹配，关联距离阈值为0.7，得到第三次IOU匹配结果。[0138] 步骤S5的具体方法为：[0139] S5.1如果一个历史车辆成功匹配到一个当前帧车辆，则历史车辆状态更新为Tracked，设置历史车辆的生命周期为M1帧,根据现有技术中，目标消失连续超过30帧左右就视为离开，则将M1优选为30。皇褂玫鼻爸〕盗炯觳饪騞i更新历史车辆卡尔曼滤波器预测值ki；使用当前帧车辆外观特征feati更新历史车辆外观特征fi，更新公式fi＝fi*0.9+feati*0.1。[0140] S5.2如果一个历史车辆没有匹配到任何一个当前帧车辆，则分情况处理：[0141] 5.2.1如果跟踪状态为New，则修改跟踪状态为Removed；[0142] 5.2.2如果跟踪状态为Tracked，则修改跟踪状态为Lost；[0143] 5.2.3如果跟踪状态为Lost，且跟踪状态持续为Lost的时间超过所设生命周期M1，需做进一步处理；先根据卡尔曼滤波器，预测此时车辆的位置和速度，而不是直接视为离开；分三种情况：[0144] 5.2.3.1车辆在lost短暂丢失之前处于静止状态，即连续M2帧的卡尔曼滤波器预测的速度都小于阈值Vm；其中M2M1，本发明中优选M3为10000。ü夤厶卣骱臀恢锰卣骷绦云涓伲籟0145] 5.2.3.2车辆在lost短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆的一部分车辆位置(x,y,a,h)位于摄像头图像范围之外；判断车辆已经驶离，修改车辆的跟踪状态为Removed，停止对其跟踪；[0146] 5.2.3.3车辆在lost短暂丢失之前处于非静止状态，且卡尔曼滤波器预测车辆完全位于摄像头图像范围之内；判断车辆并未立即离开，修改车辆的跟踪状态为Abandoned，延长车辆的生命周期到M4。琈4>M1，本发明中优选M3为3000。ü夤厶卣骷绦云涓伲籟0147] 5.2.4如果跟踪状态为Abandoned，且跟踪状态持续为Abandoned的时间超过所设生命周期M1，则修改车辆的跟踪状态为Removed；[0148] 5.3将跟踪状态为Removed的车辆从历史车辆中移除，停止对其跟踪；[0149] 5.4如果一个当前帧车辆没有匹配到任何一个历史车辆，则使用4.3中所述方法，初始化生成新的历史车辆，加入到历史车辆集合；与4.3不同的是，车辆应赋予一个新的ID，且跟踪状态初始值需设置为New。[0150] 步骤S6的具体步骤是：选取跟踪状态为Tracked的历史车辆作为当前。焕每ǘ瞬觳饨峁玫剿±烦盗镜腎D、位置、速度，作为当前帧车辆跟踪结果。[0151] 本发明的方法针对高位视频路边停车场景中出现的各种车辆遮挡现象导致的误判做出了改进，利用卡尔曼滤波器的状态矩阵，总结出三种车辆消失的情况并分别处理；利用ReID特征与位置特征完成丢失车辆的再匹配，减少车辆ID的切换，提升了复杂场景下车辆跟踪的准确度。[0152] 上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

专利地区：广西

专利申请日期：2021-12-08

专利公开日期：2024-11-22

专利公告号：CN114155283B