开云优惠体育网页版入口

专利名称：基于动作差分的目标标记方法及装置

专利类型：实用新型专利

专利申请号：CN202111310593.8

专利申请（专利权）人：范书琪
权利人地址：福建省龙岩市新罗区龙腾南路12号珠江花园4幢2202室

专利发明（设计）人：范书琪,刘淑珍

专利摘要：本申请公开了一种基于动作差分的目标标记方法及装置，涉及计算机视觉技术领域，主要目的在于改善现有技术中无法准确标记视频中需要关注的特殊目标的技术问题。包括：获取目标时刻各识别目标的关节夹角数据；基于所述关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数；若所述动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记所述最大动作偏差参数所对应的识别目标为异常目标。主要用于标记视频中的异常目标。

主权利要求：
1.一种基于动作差分的目标标记方法，其特征在于，包括：获取目标时刻各识别目标的关节夹角数据；
基于所述关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数；
若所述动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记所述最大动作偏差参数所对应的识别目标为异常目标；
若所述动作偏差参数均小于预设动作偏差参数阈值，则基于所述关节夹角数据，确定各单一识别目标在多个目标时刻处动作变化所产生偏差的时刻偏差参数，将所述时刻偏差参数中最大时刻偏差参数所对应的识别目标标记为异常目标。
2.根据权利要求1所述的方法，其特征在于，所述获取目标时刻各识别目标的关节夹角数据之前，所述方法还包括：获取所述识别目标在所述目标时刻的图像信息；
基于卷积网络生成所述识别目标的关节点置信图和人体部分亲和字段；
根据所述关节点置信图和所述人体部分亲和字段，连接所述识别目标各关节点，生成所述识别目标的原始骨架数据。
3.根据权利要求2所述的方法，其特征在于，所述生成所述识别目标的原始骨架数据之后，所述方法还包括：将所述原始骨架数据中各所述关节点的尺寸调整为相同单位；
筛除所述原始骨架数据中头部的所述关节点；
筛除有缺失部分的所述原始骨架数据，所述缺失部分为颈部关节点和/或大腿关节点；
填补所述原始骨架数据中空白部分的所述关节点，生成所述识别目标的骨架数据，所述空白部分的所述关节点用于表征除所述颈部关节点和所述大腿关节点之外的所述关节点。
4.根据权利要求3所述的方法，其特征在于，所述生成所述识别目标的骨架数据之后，所述方法还包括：基于所述识别目标的骨架数据，确定所述识别目标各所述关节夹角数据。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述多个目标时刻处所述各识别目标的关节夹角数据，生成目标时间矩阵，以存储所述多个目标时刻处所述各识别目标的状态信息。
6.根据权利要求2所述的方法，其特征在于，所述获取所述识别目标在所述目标时刻的图像信息之前，所述方法还包括：获取所述目标时刻的原始图像信息；
基于特征提取网络，对所述原始图像信息进行特征提。玫皆ど璩叽绲奶卣魍，以作为所述识别目标在所述目标时刻的图像信息。
7.一种基于动作差分的目标标记装置，其特征在于，包括：第一获取模块，用于获取目标时刻各识别目标的关节夹角数据；
第一确定模块，用于基于所述关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数；
标记模块，用于若所述动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记所述最大动作偏差参数所对应的识别目标为异常目标；
所述标记模块，还用于若所述动作偏差参数均小于预设动作偏差参数阈值，则基于所述关节夹角数据，确定各单一识别目标在多个目标时刻处动作变化所产生偏差的时刻偏差参数，将所述时刻偏差参数中最大时刻偏差参数所对应的识别目标标记为异常目标。
8.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1?6中任一项所述的基于动作差分的目标标记方法对应的操作。
9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1?6中任一项所述的基于动作差分的目标标记方法对应的操作。 说明书 : 基于动作差分的目标标记方法及装置技术领域[0001] 本申请涉及计算机视觉技术领域，特别是涉及一种基于动作差分的目标标记方法及装置。背景技术[0002] 随着计算机技术的发展，基于计算机视觉技术，主体为目标检测、目标跟踪、事件检测的智能监控系统被广泛应用。例如，医疗监护领域、交通监管领域、公共安全领域等。[0003] 目前，智能监控系统大多采用多目标跟踪结合异常行为判别技术来进行特殊目标识别。多目标跟踪是在一个视频的后续帧中找到当前帧中感兴趣目标的过程，关注的是视频中所有目标。由于在实际场景中不仅需要跟踪视频中的所有目标，还需要关注某个目标，这个目标是与画面中的其他目标相比特殊的目标。在针对特殊目标的识别方面，大多采用异常行为识别和异常行为检测相结合的方法。针对异常行为识别，需针对异常姿态或动作建立样本库,之后通过人体目标检测、姿态估计、动作识别等方法判别具体行为,并最终判定其是否属于异常行为样本库范畴；针对异常行为检测，主要通过与正常场景进行相似度对比实现对视频中异常情景的判定。然而，在实际场景中，由于异常行为无法穷举，而单个异常行为发生概率低、样本少，且正异常行为没有明确地定义，不同场景下异常的定义有所不同等问题，导致无法准确标记视频中需要关注的特殊目标。发明内容[0004] 有鉴于此，本申请提供一种基于动作差分的目标标记方法及装置，主要目的在于改善现有技术中无法准确标记视频中需要关注的特殊目标的技术问题。[0005] 依据本申请一个方面，提供了一种基于动作差分的目标标记方法，包括：[0006] 获取目标时刻各识别目标的关节夹角数据；[0007] 基于所述关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数；[0008] 若所述动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记所述最大动作偏差参数所对应的识别目标为异常目标。[0009] 优选的，所述方法还包括：[0010] 若所述动作偏差参数均小于预设动作偏差参数阈值，则基于所述关节夹角数据，确定各单一识别目标在多个目标时刻处动作变化所产生偏差的时刻偏差参数，将所述时刻偏差参数中最大时刻偏差参数所对应的识别目标标记为异常目标。[0011] 优选的，所述获取目标时刻各识别目标的关节夹角数据之前，所述方法还包括：[0012] 获取所述识别目标在所述目标时刻的图像信息；[0013] 基于卷积网络生成所述识别目标的关节点置信图和人体部分亲和字段；[0014] 根据所述关节点置信图和所述人体部分亲和字段，连接所述识别目标各关节点，生成所述识别目标的原始骨架数据。[0015] 优选的，所述生成所述识别目标的原始骨架数据之后，所述方法还包括：[0016] 将所述原始骨架数据中各所述关节点的尺寸调整为相同单位；[0017] 筛除所述原始骨架数据中头部的所述关节点；[0018] 筛除有缺失部分的所述原始骨架数据，所述缺失部分为颈部关节点和/或大腿关节点；[0019] 填补所述原始骨架数据中空白部分的所述关节点，生成所述识别目标的骨架数据，所述空白部分的所述关节点用于表征除所述颈部关节点和所述大腿关节点之外的所述关节点。[0020] 优选的，所述生成所述识别目标的骨架数据之后，所述方法还包括：[0021] 基于所述识别目标的骨架数据，确定所述识别目标各所述关节夹角数据。[0022] 优选的，所述方法还包括：[0023] 基于所述多个目标时刻处所述各识别目标的关节夹角数据，生成目标时间矩阵，以存储所述多个目标时刻处所述各识别目标的状态信息。[0024] 优选的，所述获取所述识别目标在所述目标时刻的图像信息之前，所述方法还包括：[0025] 获取所述目标时刻的原始图像信息；[0026] 基于特征提取网络，对所述原始图像信息进行特征提。玫皆ど璩叽绲奶卣魍，以作为所述识别目标在所述目标时刻的图像信息。[0027] 依据本申请另一个方面，提供了一种基于动作差分的目标标记装置，包括：[0028] 第一获取模块，用于获取目标时刻各识别目标的关节夹角数据；[0029] 第一确定模块，用于基于所述关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数；[0030] 标记模块，用于若所述动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记所述最大动作偏差参数所对应的识别目标为异常目标。[0031] 优选的，所述标记模块，[0032] 还用于若所述动作偏差参数均小于预设动作偏差参数阈值，则基于所述关节夹角数据，确定各单一识别目标在多个目标时刻处动作变化所产生偏差的时刻偏差参数，将所述时刻偏差参数中最大时刻偏差参数所对应的识别目标标记为异常目标。[0033] 优选的，所述第一获取模块之前，所述装置还包括：[0034] 第二获取模块，用于获取所述识别目标在所述目标时刻的图像信息；[0035] 第一生成模块，用于基于卷积网络生成所述识别目标的关节点置信图和人体部分亲和字段；[0036] 连接模块，用于根据所述关节点置信图和所述人体部分亲和字段，连接所述识别目标各关节点，生成所述识别目标的原始骨架数据。[0037] 优选的，所述连接模块之后，所述装置还包括：[0038] 调整模块，用于将所述原始骨架数据中各所述关节点的尺寸调整为相同单位；[0039] 筛除模块，用于筛除所述原始骨架数据中头部的所述关节点；[0040] 所述筛除模块。还用于筛除有缺失部分的所述原始骨架数据，所述缺失部分为颈部关节点和/或大腿关节点；[0041] 填补模块，用于填补所述原始骨架数据中空白部分的所述关节点，生成所述识别目标的骨架数据，所述空白部分的所述关节点用于表征除所述颈部关节点和所述大腿关节点之外的所述关节点。[0042] 优选的，所述填补模块之后，所述装置还包括：[0043] 第二确定模块，用于基于所述识别目标的骨架数据，确定所述识别目标各所述关节夹角数据。[0044] 优选的，所述装置还包括：[0045] 第二生成模块，用于基于所述多个目标时刻处所述各识别目标的关节夹角数据，生成目标时间矩阵，以存储所述多个目标时刻处所述各识别目标的状态信息。[0046] 优选的，所述第二获取模块之前，所述装置还包括：[0047] 第三获取模块，用于获取所述目标时刻的原始图像信息；[0048] 提取模块，用于基于特征提取网络，对所述原始图像信息进行特征提。玫皆ど璩叽绲奶卣魍，以作为所述识别目标在所述目标时刻的图像信息。[0049] 根据本申请的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于动作差分的目标标记方法对应的操作。[0050] 根据本申请的再一方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；[0051] 所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于动作差分的目标标记方法对应的操作。[0052] 借由上述技术方案，本申请实施例提供的技术方案至少具有下列优点：[0053] 本申请提供了一种基于动作差分的目标标记方法及装置，首先获取目标时刻各识别目标的关节夹角数据；其次基于所述关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数；最后若所述动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记所述最大动作偏差参数所对应的识别目标为异常目标。与现有技术相比，本申请实施例通过确定图像中个识别目标的动作偏差参数，标记动作偏差参数最大值且超过阈值的识别目标为异常目标，实现了在图像中准确标记出需要关注的特殊目标的目的，提高了特殊目标标记的准确性。[0054] 上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。附图说明[0055] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：[0056] 图1示出了本申请实施例提供的一种基于动作差分的目标标记方法流程图；[0057] 图2示出了本申请实施例提供的另一种基于动作差分的目标标记方法流程图；[0058] 图3示出了本申请实施例提供原始骨架数据示意图；[0059] 图4示出了本申请实施例提供筛除头部关节点的骨架数据示意图；[0060] 图5示出了本申请实施例提供关节点夹角示意图；[0061] 图6示出了本申请实施例提供的一种基于动作差分的目标标记装置组成框图；[0062] 图7示出了本申请实施例提供的一种终端的结构示意图。具体实施方式[0063] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。[0064] 同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。[0065] 以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。[0066] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。[0067] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。[0068] 本申请实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。[0069] 计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。[0070] 目前，针对视频中目标的异常行为判别已经在社会和生产中得到了广泛的应用。例如，在医疗监护领域,通过异常行为识别与检测技术,可实现对无看护病患或老人的实时监控,判断目标是否出现跌倒或其他意外,并及时报警呼救,保证他们第一时间得到治疗和帮助；在交通监管领域,有关部门可利用人体异常行为识别与检测技术监控包括驾驶员行为在内的车内、外异常情况,降低事故发生风险；在公共安全领域,该技术可用于公共场所人员异常情况检测,判断违反社会治安行为。[0071] 现有技术主要集中在异常行为识别和以异常行为检测两类。针对异常行为识别，首先对异常行为和姿态进行划分,并建立异常行为样本库，利用动作识别方法(人体目标检测、姿态估计、动作识别等)识别具体行为，即提前对感兴趣的事件或行为进行定义，结合标签对网络进行训练，通过识别目标的具体动作和姿态，判断其行为是否异常，并最终判定其是否属于异常行为样本库范畴。针对异常检测，则较少考虑具体的异常动作，往往从大量的视频数据中学习经验，将行为分为正：鸵斐Ａ礁隼啾，通过与正常场景进行相似度对比实现对视频中异常情景的判定。[0072] 然而，针对异常行为识别，在实际应用中，存在单个目标异常行为样本少；在拥挤场景中,对每种行为进行标记成本较高,且无法保证标记能够覆盖全部异常行为；以及异常行为种类繁多，无法穷举等问题。针对异常检测，在实际应用中，存在正异常行为定义不明确；不同场景下异常的定义有所不同，异常行为检测系统难以泛化；以及异常行为发生概率远低于正常行为，难以学习足够的异常特征等问题。[0073] 针对上述问题，本申请实施例提供了一种基于动作差分的目标标记方法，如图1所示，该方法包括：[0074] 101、获取目标时刻各识别目标的关节夹角数据。[0075] 本申请实施例中，首先获取目标时刻图像中各个识别目标的关节夹角数据。其中，目标时刻为选定的进行识别的时刻，可以是实时监控视频中的随机时刻，也可以是预先设置的固定时刻(例如，设定课间操时刻等)，本申请实施例不做具体限定。识别目标为图像中的人或物，例如，医疗监护领域中被监护的病患，或交通监管领域中的车辆或驾驶员等，本申请实施例不做具体限定。关节夹角数据用于表征识别目标在目标时刻的动作参数，可以包括识别目标关节夹角、速率、加速度等。[0076] 需要说明的是，通过关节夹角数据可以确定当前识别目标的动作参数，通过将各个识别目标的动作参数进行对比即可标记出动作最异于其他识别目标的异常目标，与现有技术相比aszx无需预先建立异常行为样本库，也无需预先对正异行为进行定义，即可准确识别出视频图像中的需要关注的特殊目标，克服了现有技术中缺陷。[0077] 102、基于关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数。[0078] 本申请实施例中，基于步骤101中获取到的识别目标的关节夹角数据，确定各个识别目标之间因动作变化所产生的偏差的动作偏差参数。其中，动作偏差参数用于表征当前识别目标与图像中其他识别目标之间的动作偏差，因动作偏差难以进行定义以及量化比较，遂根据识别目标的关节夹角、速率、加速度等数据，对识别目标的动作经过量化，形成可以进行数值比较的动作偏差参数，以确定与其他识别目标动作偏差最大且超过预设动作偏差参数阈值的异常目标。[0079] 103、若动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记最大动作偏差参数所对应的识别目标为异常目标。[0080] 本申请实施例中，当由步骤102确定的各个识别目标与其他识别目标之间的动作偏差参数中的最大动作偏差参数大于预设动作偏差参数阈值，则说明其为异于其他识别目标的特殊目标，此时，可以将其识别为异常目标，以加入追踪目标集合进行目标追踪。[0081] 本申请实施例提供了另一种基于动作差分的目标标记方法，如图2所示，该方法包括：[0082] 201、获取目标时刻的原始图像信息。[0083] 本申请实施例中，首先基于一段监控视频选取目标时刻的视频帧图像作为原始图像信息，该目标时刻的选取可以是实时监控视频中的随机时刻，也可以是预先设定的固定时刻，本申请实施例不做具体限定。[0084] 可以理解的是，本申请实施例可以将一段视频分解为以视频帧为单位的各个图像，选取某一目标时刻，即可得到的该时刻的原始图像信息。[0085] 202、基于特征提取网络，对原始图像信息进行特征提。玫皆ど璩叽绲奶卣魍，以作为所述识别目标在所述目标时刻的图像信息。[0086] 本申请实施例中，为了避免背景对检测结果造成干扰，可以基于特征提取网络对原始图像信息进行特征提。玫教卣魍，该特征图中仅含有所有感兴趣的识别目标，以作为标记异常目标的输入图像，进一步确定各个识别目标的动作偏差参数。具体的，可以先选取候选框再使用深度学习进行图像特征提。，R?CNN算法，也可以直接使用深度学习回归的目标检测框架进行图像特征提。，SSD、YOLO算法等，本申请实施例不做具体限定。[0087] 示例性的，以YOLO算法为例，首先通过特征提取网络对原始图像信息进行特征提。玫教囟ù笮〉奶卣魍际涑。先将原始图像信息划分网格单元，例如，13×13的网格单元，也可以按照图像具体情况进行更细致或者稍粗略的划分。如果真实框中某个目标的中心坐标落在某个网格单元中，那么就由该网格单元来预测该目标。每个目标有固定数量的边界框，例如，YOLOv3中有三个边界框，使用逻辑回归确定用来预测的回归框，对目标的检测使用多尺度预测的方法提高对小目标的检测精度，可以将分类器从softmax改为logistic改善目标重叠的状况，由于YOLOv3是一种端到端的目标检测方法，所以运行速度非常快。输入原始图像信息序列F＝{ft,ft+1,...,ft+m}，输出识别目标图像集合I＝{It,It+1,...,It+m}和识别目标位置集合Obj＝{Objt,Objt+1,...,Objt+m}。其中t时刻所有n个识别目标图像集合为 位置集合为其中， 表示t时刻识别目标i矩形边界框几何中心点坐标。[0088] 203、获取识别目标在目标时刻的图像信息。[0089] 本申请实施例中，获取进过步骤202进行特征提取得到的特征图，作为识别目标在目标时刻的图像信息，即待进行异常目标标记的输入图像。[0090] 204、基于卷积网络生成识别目标的关节点置信图和人体部分亲和字段。[0091] 本申请实施例中，首先进过卷积网络生成图像信息中各个识别目标的关节点置信图和人体部分亲和字段。其中，关节点置信图和人体部分亲和字段用于表征生成识别目标原始骨架数据的重要参数。[0092] 205、根据关节点置信图和人体部分亲和字段，连接识别目标各关节点，生成识别目标的原始骨架数据。[0093] 本申请实施例中，示例性的，可以使用图论中的偶匹配将单一识别对象的关节连接起来。输入通过特征提取得到的识别对象图像集合I＝{It,It+1,...,It+m}，输出识别目标的关节点集合P＝{Pt,Pt+1,...,Pt+m}，其中t时刻所有n个识别目标的关节点集合为其中， 表示t时刻识别目标i的关节点集合。其中， 表示识别目标i关节点j的坐标。[0094] 进一步的，生成识别目标的原始骨架数据。在具体的应用场景中，如图3所示，各个关节的对应位置如下：[0095] //{0,“Nose”},[0096] //{1,“Neck”},[0097] //{2,“RShoulder”},[0098] //{3,“RElbow”},[0099] //{4,“RWrist”},[0100] //{5,“LShoulder”},[0101] //{6,“LElbow”},[0102] //{7,“LWrist”},[0103] //{8,“RHip”},[0104] //{9,“RKnee”},[0105] //{10,“RAnkle”},[0106] //{11,“LHip”},[0107] //{12,“LKnee”},[0108] //{13,“LAnkle”},[0109] //{14,“REye”},[0110] //{15,“LEye”},[0111] //{16,“REar”},[0112] //{17,“LEar”}[0113] 206、将原始骨架数据中各关节点的尺寸调整为相同单位。[0114] 本申请实施例中，为了优化数据处理过程，在确定关节点夹角数据之前，对识别目标的原始骨架数据进行预处理。首先将各关节位置缩放为相同单位来处理具有不同高度/宽度比的图像。[0115] 207、筛除原始骨架数据中头部的关节点。[0116] 本申请实施例中，在原始骨架数据中，头部有5个关节，其中包括1个头部，2个眼睛和2个耳朵。但是，对于基于关节夹角数据的动作识别，这五个关节点起到的作用很微小。重要的是身体和四肢的配置。因此，可以筛除头部的五个关节，使功能更有意义。在实际的应用场景中，筛除掉头部关节的骨架数据如图4所示[0117] 208、筛除有缺失部分的原始骨架数据。[0118] 其中，缺失部分为颈部关节点和/或大腿关节点；[0119] 本申请实施例中，没有检测到识别目标的骨架，或者检测到的骨架没有颈部或没有大腿，则该框架被视为无效并被筛除。另外，应在下一帧重新初始化。[0120] 209、填补原始骨架数据中空白部分的关节点，生成识别目标的骨架数据。[0121] 其中，空白部分的关节点用于表征除颈部关节点和大腿关节点之外的关节点。[0122] 本申请实施例中，在实际的应用场景中会出现关节点缺失的情况，可能无法从图像中检测到完整的识别目标的骨架数据，导致关节位置出现一些空白。必须对这些关节进行填充，以便为特征分类过程维护固定大小的特征向量。[0123] 示例性的，根据当前识别目标在前一帧中相对于颈部的相对位置来填充关节的位置。假设在最后一帧中，手在颈部右侧是10个像素。然后在这个框架中，如果缺少手，将其设置为当前框架颈部右侧的10个像素。用(xlost,ylost)表示当前帧某一缺失关节位置，(xcurr,ycurr)表示用于填充该缺失关节位置的填充值，(xprev,yprev)表示前一帧中该关节位置，见公式：[0124] xcurr＝xNeckcurr+(xprev?xNeckprev)[0125] ycurr＝yNeckcurr+(yprev?yNeckprev)[0126] 210、基于识别目标的骨架数据，确定识别目标各关节夹角数据。[0127] 本申请实施例中，基于上述步骤得到的骨架数据，确定识别目标的各关节夹角数据。[0128] 示例性的，关节点夹角如图5所示，点0和点1构成的向量可以表示为v1＝(x1?x0,y1?y0)，点0和点2构成的向量可以表示为v2＝(x2?x0,y2?y0)，计算关节点夹角：[0129][0130] 在基于上述步骤得到的骨架数据上，共定义所需8个关节夹角如下：[0131] θ(2,3,4)，θ(5,6,7)，θ(1,2,3)，θ(1,5,6)，θ(8,9,10)，θ(11,12,13)，θ(1,8,9)，θ(1,11,12)[0132] 211、基于关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数。[0133] 本申请实施例中，当识别目标数n>1时，使用postureBiasit(i∈n)表示识别目标i在t时刻与其他识别目标的姿态偏差，通过识别目标i各关节点夹角偏差加权求和计算得到，见公式：[0134][0135] 其中wj为关节点j权重值，利用主成分分析法得到。具体地，假设第i个样本的系数取值分别记作[ej1,ej2,...,ejp]，由此可以构造出矩阵A＝(eji)p×p，其中p表示影响因素的数量。[c1,c2,...,cp]是利用主成分分析法求得i个训练样本的前p个影响因素总值的影响权重系数，可以作为后续其它参与识别样本的权重参数。所述其它识别样本通过公式wj＝c1·ej1+c2·ej2+...+cp·ejp，得到最终的融合得分结果wj。[0136] postureBiasij表示识别目标i关节点j夹角偏差,计算方法见公式：[0137][0138] 其中 表示n个识别目标关节点j夹角集合。[0139] 计算识别目标i在t时刻与其他识别目标的速率偏差：[0140][0141] 其中 表示n个识别目标在时刻t的速率集合。[0142] 计算识别目标i在t时刻与其他识别目标的加速度偏差：[0143][0144] 其中 表示n个识别目标在时刻t的加速度集合。[0145] 通过姿态偏差、速率偏差、加速度偏差加权求和计算得到识别目标i在t时刻与其他识别目标的动作偏差参数 得到t时刻动作偏差参数集合 其中，3个偏差的影响权重由主成分分析法得到。[0146] 需要说明的是，当识别目标数n＝1时，将i(i∈n)直接加入追踪对象集合Tt。[0147] 212a、若动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记最大动作偏差参数所对应的识别目标为异常目标。[0148] 本申请实施例中，从步骤211得到的Bt中取最大偏差bit若bit>预设动作偏差参数阈值，则说明最大值对应的识别目标为图像中的特殊目标，将其标记为异常目标，以加入追踪t t对象集合T 。若T为空，则表示动作偏差参数集合中个元素均小于预设动作偏差参数阈值，进一步的，可以结合业务需求预先设置动作偏差参数阈值，用于衡量多识别目标在同一时刻的动作偏差参数在当前场景下是否在可被接受的范围内，即允许出现异常的动作幅度范围。[0149] 212b、若动作偏差参数均小于预设动作偏差参数阈值，则基于关节夹角数据，确定各单一识别目标在多个目标时刻处动作变化所产生偏差的时刻偏差参数，将时刻偏差参数中最大时刻偏差参数所对应的识别目标标记为异常目标。[0150] 本申请实施例中，若动作偏差参数均小于预设动作偏差参数阈值，则说明当前目标时刻，图像中各个识别目标之间的动作差别不大，难以标记出异常目标，此时可以基于关节夹角数据，确定每个单一识别目标在多个目标时刻的时刻偏差参数，将时刻偏差参数最大值对应的识别目标标记为异常目标，即将同一个识别目标在不同时刻的动作进行纵向比较。其中，时刻偏差参数用于表征同一个识别目标在不同时刻的姿态偏差。[0151] 具体的，使用 表示识别目标i在t时刻与该识别目标在t?1时刻的姿态偏差，通过识别目标i各关节点夹角偏差加权计算得到，见公式：[0152][0153] 其中wj为关节点j权重值，postureTimeBiasij表示识别目标i关节点j夹角偏差,计算方法见公式：[0154][0155] 其中 表示识别目标i在t时刻关节点j的夹角， 表示识别目标i在t?1时刻关节点j的夹角。[0156] 计算识别目标i在t时刻与在t?1时刻的速率偏差：[0157][0158] 其中 表示识别目标i在t时刻的速率， 表示识别目标i在t?1时刻的速率。[0159] 计算识别目标i在t时刻与其他识别目标的加速度偏差：[0160][0161] 其中 表示识别目标i在t时刻的加速度， 表示识别目标i在t?1时刻的加速度。[0162] 通过姿态偏差、速率偏差、加速度偏差加权计算得到对象i在t时刻与在t?1时刻的时刻偏差参数 得到t时刻的时刻偏差参数集合t t[0163] 从集合C取得最大偏差为 将识别目标i加入追踪对象集合T。[0164] 为了更方便、形式化地说明各个识别目标之间的动作偏差参数以及单一识别目标在多个目标时刻处的时刻偏差参数，本申请实施例方法还包括：基于多个目标时刻处各识别目标的关节夹角数据，生成目标时间矩阵，以存储多个目标时刻处各识别目标的状态信息。[0165] 示例性的，设目标检测模块在t时刻的视频帧图像上获得n个识别目标{1，2，…，n}，则所有n个识别目标在t时刻的状态集合为 进一步，所有n个识别目标从当前时刻t到结束时刻t+m的状态集合可以表示为 其中， 表示识别目标i从t到t+m的状态序列。其中， 存储信息如公式所示：[0166][0167] 其中，[0168] 其中， 为识别目标i第j个关节点夹角, 为识别目标i在t时刻的速率， 为识别目标i在t时刻的加速度。 和 在目标检测过程计算得出，见公式：[0169][0170][0171] 其中 为识别目标i在t时刻的矩形边界框几何中心点坐标， 为识别目标i在t?1时刻的矩形边界框几何中心点坐标。[0172] 根据状态集合建立目标时间矩阵如下：[0173][0174] 本申请提供了一种基于动作差分的目标标记方法，首先获取目标时刻各识别目标的关节夹角数据；其次基于所述关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数；最后若所述动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记所述最大动作偏差参数所对应的识别目标为异常目标。与现有技术相比，本申请实施例通过确定图像中个识别目标的动作偏差参数，标记动作偏差参数最大值且超过阈值的识别目标为异常目标，实现了在图像中准确标记出需要关注的特殊目标的目的，提高了特殊目标标记的准确性。[0175] 进一步的，作为对上述图1所示方法的实现，本申请实施例提供了一种基于动作差分的目标标记装置，如图6所示，该装置包括：[0176] 第一获取模块31，第一确定模块32，标记模块33。[0177] 第一获取模块31，用于获取目标时刻各识别目标的关节夹角数据；[0178] 第一确定模块32，用于基于所述关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数；[0179] 标记模块33，用于若所述动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记所述最大动作偏差参数所对应的识别目标为异常目标。[0180] 在具体的应用场景中，所述标记模块，[0181] 还用于若所述动作偏差参数均小于预设动作偏差参数阈值，则基于所述关节夹角数据，确定各单一识别目标在多个目标时刻处动作变化所产生偏差的时刻偏差参数，将所述时刻偏差参数中最大时刻偏差参数所对应的识别目标标记为异常目标。[0182] 在具体的应用场景中，所述第一获取模块之前，所述装置还包括：[0183] 第二获取模块，用于获取所述识别目标在所述目标时刻的图像信息；[0184] 第一生成模块，用于基于卷积网络生成所述识别目标的关节点置信图和人体部分亲和字段；[0185] 连接模块，用于根据所述关节点置信图和所述人体部分亲和字段，连接所述识别目标各关节点，生成所述识别目标的原始骨架数据。[0186] 在具体的应用场景中，所述连接模块之后，所述装置还包括：[0187] 调整模块，用于将所述原始骨架数据中各所述关节点的尺寸调整为相同单位；[0188] 筛除模块，用于筛除所述原始骨架数据中头部的所述关节点；[0189] 所述筛除模块。还用于筛除有缺失部分的所述原始骨架数据，所述缺失部分为颈部关节点和/或大腿关节点；[0190] 填补模块，用于填补所述原始骨架数据中空白部分的所述关节点，生成所述识别目标的骨架数据，所述空白部分的所述关节点用于表征除所述颈部关节点和所述大腿关节点之外的所述关节点。[0191] 在具体的应用场景中，所述填补模块之后，所述装置还包括：[0192] 第二确定模块，用于基于所述识别目标的骨架数据，确定所述识别目标各所述关节夹角数据。[0193] 在具体的应用场景中，所述装置还包括：[0194] 第二生成模块，用于基于所述多个目标时刻处所述各识别目标的关节夹角数据，生成目标时间矩阵，以存储所述多个目标时刻处所述各识别目标的状态信息。[0195] 在具体的应用场景中，所述第二获取模块之前，所述装置还包括：[0196] 第三获取模块，用于获取所述目标时刻的原始图像信息；[0197] 提取模块，用于基于特征提取网络，对所述原始图像信息进行特征提。玫皆ど璩叽绲奶卣魍，以作为所述识别目标在所述目标时刻的图像信息。[0198] 本申请提供了一种基于动作差分的目标标记装置，首先获取目标时刻各识别目标的关节夹角数据；其次基于所述关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数；最后若所述动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记所述最大动作偏差参数所对应的识别目标为异常目标。与现有技术相比，本申请实施例通过确定图像中个识别目标的动作偏差参数，标记动作偏差参数最大值且超过阈值的识别目标为异常目标，实现了在图像中准确标记出需要关注的特殊目标的目的，提高了特殊目标标记的准确性。[0199] 根据本申请一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于动作差分的目标标记方法。[0200] 基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD?ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。[0201] 图7示出了根据本申请一个实施例提供的一种终端的结构示意图，本申请具体实施例并不对终端的具体实现做限定。[0202] 如图7所示，该终端可以包括：处理器(processor)402、通信接口(CommunicationsInterface)404、存储器(memory)406、以及通信总线408。[0203] 其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。[0204] 通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。[0205] 处理器402，用于执行程序410，具体可以执行上述接口的基于动作差分的目标标记方法实施例中的相关步骤。[0206] 具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。[0207] 处理器402可能是中央处理器CPU，或者是特定集成电路ASIC (ApplicationSpecificIntegratedCircuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。[0208] 存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non?volatilememory)，例如至少一个磁盘存储器。[0209] 程序410具体可以用于使得处理器402执行以下操作：[0210] 获取目标时刻各识别目标的关节夹角数据；[0211] 基于所述关节夹角数据，确定各识别目标之间动作变化所产生偏差的动作偏差参数；[0212] 若所述动作偏差参数中最大动作偏差参数大于预设动作偏差参数阈值，则标记所述最大动作偏差参数所对应的识别目标为异常目标。[0213] 存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述基于动作差分的目标标记的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。[0214] 本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于装置实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。[0215] 可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。[0216] 显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。[0217] 以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

专利地区：福建

专利申请日期：2021-11-05

专利公开日期：2024-11-22

专利公告号：CN114663972B