开云优惠体育网页版入口

专利名称：工程作业场景预警方法、装置、电子设备及存储介质

专利类型：发明专利

专利申请号：CN202210308325.0

专利申请（专利权）人：深圳海星智驾开云优惠体育网页版入口有限公司
权利人地址：广东省深圳市龙华区观湖街道鹭湖社区澜清一路6号1号研发楼801

专利发明（设计）人：周欢欢,邱杰

专利摘要：本发明涉及工程机械领域，具体涉及一种工程作业场景预警方法、装置、电子设备及存储介质，包括：获取至少一张工程场景图像；对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置；对各感兴趣区域进行危险特征识别，当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。采用该方法可以实现了对工程场景的预警。上述方法，不需要人工对大型工程机械以及其他设备的管理，因此节省了大量的人力和物理，且可以保证对工程场景进行全方位监控管理，提高了对工程场景进行管理的效率，且避免或者减少了危险场景的发生。

主权利要求：
1.一种工程作业场景预警方法，其特征在于，包括：
获取至少一张工程场景图像；
对各所述工程场景图像进行识别，确定各所述工程场景图像中包括的至少一个感兴趣区域以及各所述感兴趣区域的位置；
对各所述感兴趣区域进行危险特征识别，当所述感兴趣区域对应的特征中包括危险特征时，确定各所述工程场景图像对应的工程场景为危险场景，并发出提示信息；
其中，对各所述工程场景图像进行识别，确定各所述工程场景中包括的至少一个感兴趣区域以及各所述感兴趣区域的位置，包括：对各所述工程场景图像进行识别，输出各所述感兴趣区域对应的至少一个候选框；
对各所述候选框进行识别，从各所述候选框中确定目标候选框；
根据所述目标候选框的位置以及所述目标候选框的特征，确定至少一个所述感兴趣区域以及各所述感兴趣区域的位置；
其中，所述根据所述目标候选框的位置以及所述目标候选框的特征，确定至少一个所述感兴趣区域以及各所述感兴趣区域的位置，包括：对所述目标候选框的位置进行调整，得到目标框；
基于所述目标框的位置，确定所述至少一个所述感兴趣区域的位置；
对所述目标框进行特征提。菟瞿勘昕虻奶卣魅范ㄖ辽僖桓鏊龈行巳で虻睦啾穑
其中，所述对各所述感兴趣区域进行危险特征识别，当所述感兴趣区域对应的特征中包括危险特征时，确定各所述工程场景图像对应的工程场景为危险场景，包括：对各所述感兴趣区域的位置进行识别，确定各所述感兴趣区域之间的位置关系；
根据各所述感兴趣区域之间的位置关系，确定所述工程场景图像对应的工程场景为危险场景；
其中，所述根据各所述感兴趣区域之间的位置关系，确定所述工程场景图像对应的工程场景为危险场景，包括：当各所述感兴趣区域之间的距离小于预设距离阈值时，确定所述工程场景图像对应的工程场景为危险场景。
2.根据权利要求1所述的方法，其特征在于，所述根据所述感兴趣区域对应的位置以及所述感兴趣特征，确定各所述工程场景图像对应的工程场景为危险场景，并发出提示信息之后，所述方法还包括：预设时间之后，获取所述危险场景对应的目标场景图像；
对所述目标场景图像进行危险特征识别，当所述目标场景图像对应的特征中包括危险特征时，确定所述危险场景未被处理时，再次发送预警信息。
3.根据权利要求1所述的方法，其特征在于，所述获取至少一张工程场景图像，包括：获取来自至少一个设备的至少一张待处理图像；
计算各所述待处理图像之间的图像相似度；
根据各所述待处理图像之间的图像相似度，从各所述待处理图像中确定图像相似度小于预设相似度阈值的各所述工程场景图像。
4.一种工程作业场景预警的装置，其特征在于，包括：
第一获取模块，用于获取至少一张工程场景图像；
第一确定模块，用于对各所述工程场景图像进行识别，确定各所述工程场景中包括的至少一个感兴趣区域以及各所述感兴趣区域的位置；其中，对各所述工程场景图像进行识别，确定各所述工程场景中包括的至少一个感兴趣区域以及各所述感兴趣区域的位置，包括：对各所述工程场景图像进行识别，输出各所述感兴趣区域对应的至少一个候选框；对各所述候选框进行识别，从各所述候选框中确定目标候选框；根据所述目标候选框的位置以及所述目标候选框的特征，确定至少一个所述感兴趣区域以及各所述感兴趣区域的位置；
其中，所述根据所述目标候选框的位置以及所述目标候选框的特征，确定至少一个所述感兴趣区域以及各所述感兴趣区域的位置，包括：对所述目标候选框的位置进行调整，得到目标框；基于所述目标框的位置，确定所述至少一个所述感兴趣区域的位置；对所述目标框进行特征提。菟瞿勘昕虻奶卣魅范ㄖ辽僖桓鏊龈行巳で虻睦啾穑
第二确定模块，用于对各所述感兴趣区域进行危险特征识别，当所述感兴趣区域对应的特征中包括危险特征时，确定各所述工程场景图像对应的工程场景为危险场景，并发出提示信息；其中，所述对各所述感兴趣区域进行危险特征识别，当所述感兴趣区域对应的特征中包括危险特征时，确定各所述工程场景图像对应的工程场景为危险场景，包括：对各所述感兴趣区域的位置进行识别，确定各所述感兴趣区域之间的位置关系；根据各所述感兴趣区域之间的位置关系，确定所述工程场景图像对应的工程场景为危险场景；其中，所述根据各所述感兴趣区域之间的位置关系，确定所述工程场景图像对应的工程场景为危险场景，包括：当各所述感兴趣区域之间的距离小于预设距离阈值时，确定所述工程场景图像对应的工程场景为危险场景。
5.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1?3中任一项所述的工程作业场景预警方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1?3中任一项所述的工程作业场景预警方法。 说明书 : 工程作业场景预警方法、装置、电子设备及存储介质技术领域[0001] 本发明涉及工程机械领域，具体涉及一种工程作业场景预警方法、装置、电子设备及存储介质。背景技术[0002] 随着开云优惠体育网页版入口的发展，工程机械作业面不断扩大，同时生产作业环境越来越复杂。数量不断增多的大型化工程机械设备不断增多，带来的安全生产管理盲区也越来越多，仅靠人工进行安全管理已满足不了安全生产实际需要。大型工程机械设备的作业安全已成为安全生产的重大隐患。示例性的，当工程机械在进行矿山作业时，由于矿山作业的特殊性，会遇到各种危险，其中，常见的危险主要包括工程机械的材料搬运、拖曳和运输、挖掘和开采、坍塌和滑坡、人员滑跌或坠落等，其中，根据事故研究开云优惠体育网页版入口表明，工程机械工作时发生的事故占伤残事故的首位，这类事故即普遍又严重。随着采矿工业机械化程度的提高，越来越多重工工程机械进入到了矿工作业中，机械对其操作和周围人员的伤害可能性增大。[0003] 传统的工程作业过程中，多依赖人工进行大型工程机械以及其他设备的管理，从而避免或者减少危险工程场景的出现，或及时发现危险工程场景。但是由于人力有限，很难对工程场景进行全方位监控管理，因此，工程场景中很容易存在大量的危险场景，从而造成严重后果。发明内容[0004] 有鉴于此，本发明实施例提供了一种工程作业场景预警方法，旨在解决现有技术中，很难对工程场景进行全方位监控管理的问题。[0005] 根据第一方面，本发明实施例提供了一种工程作业场景预警方法，包括：[0006] 获取至少一张工程场景图像；[0007] 对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置；[0008] 对各感兴趣区域进行危险特征识别，当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。[0009] 本发明实施例提供的工程作业场景预警方法，获取至少一张工程场景图像；对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置，从而保证了确定的各感兴趣区域以及各感兴趣区域的位置的准确性。然后，对各感兴趣区域进行危险特征识别，从而可以保证当感兴趣区域存在危险特征时，可以及时检测到感兴趣区域中的危险特征。当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。从而实现了对工程场景的预警。上述方法，不需要人工对大型工程机械以及其他设备的管理，因此节省了大量的人力和物理，且可以保证对工程场景进行全方位监控管理，提高了对工程场景进行管理的效率，且避免或者减少了危险场景的发生。[0010] 结合第一方面，在第一方面第一实施方式中，对各感兴趣区域进行危险特征识别，当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，包括：[0011] 对各感兴趣区域的位置进行识别，确定各感兴趣区域之间的位置关系；[0012] 根据各感兴趣区域之间的位置关系，确定工程场景图像对应的工程场景为危险场景。[0013] 本发明实施例提供的工程作业场景预警方法，对各感兴趣区域的位置进行识别，确定各感兴趣区域之间的位置关系，从而保证了确定的各感兴趣区域之间的位置关系的准确性。然后，根据各感兴趣区域之间的位置关系，确定工程场景图像对应的工程场景为危险场景。保证了确定的危险场景的准确性。[0014] 结合第一方面第一实施方式，在第一方面第二实施方式中，根据各感兴趣区域之间的位置关系，确定工程场景图像对应的工程场景为危险场景，包括：[0015] 当各感兴趣区域之间的距离小于预设距离阈值时，确定工程场景图像对应的工程场景为危险场景。[0016] 本发明实施例提供的工程作业场景预警方法，当各感兴趣区域之间的距离小于预设距离阈值时，确定工程场景图像对应的工程场景为危险场景。保证了确定的危险场景的准确性。[0017] 结合第一方面，在第一方面第三实施方式中，根据感兴趣区域对应的位置以及感兴趣特征，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息之后，方法还包括：[0018] 预设时间之后，获取危险场景对应的目标场景图像；[0019] 对目标场景图像进行危险特征识别，当目标场景图像对应的特征中包括危险特征时，确定危险场景未被处理时，再次发送预警信息。[0020] 本发明实施例提供的工程作业场景预警方法，预设时间之后，获取危险场景对应的目标场景图像，并对目标场景图像进行危险特征识别，当目标场景图像对应的特征中包括危险特征时，确定危险场景未被处理时，再次发送预警信息。通过再次对危险场景对应的目标场景图像进行检测从而可以判断是否对危险场景进行了处理，当没有对危险场景进行处理时，再次发送预警信息，从而使得相关人员可以快速对危险场景进行处理，避免事故发生。[0021] 结合第一方面，在第一方面第四实施方式中，获取至少一张工程场景图像，包括：[0022] 获取来自至少一个设备的至少一张待处理图像；[0023] 计算各待处理图像之间的图像相似度；[0024] 根据各待处理图像之间的图像相似度，从各待处理图像中确定图像相似度小于预设相似度阈值的各工程场景图像。[0025] 本发明实施例提供的工程作业场景预警方法，获取来自至少一个设备的至少一张待处理图像，保证了获取到的待处理图像的全面性。计算各待处理图像之间的图像相似度，保证了计算得到的图像相似度的准确性。根据各待处理图像之间的图像相似度，从各待处理图像中确定图像相似度小于预设相似度阈值的各工程场景图像。从而保证了获取到的工程场景图像不仅全面且重复性。佣唤隹梢允迪侄怨こ坛【暗娜婕嗫，还可以减少电子设备的工作量。[0026] 结合第一方面，在第一方面第五实施方式中，对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置，包括：[0027] 对各工程场景图像进行识别，输出各感兴趣区域对应的至少一个候选框；[0028] 对各候选框进行识别，从各候选框中确定目标候选框；[0029] 根据目标候选框的位置以及目标候选框的特征，确定至少一个感兴趣区域以及各感兴趣区域的位置。[0030] 本发明实施例提供的工程作业场景预警方法，对各工程场景图像进行识别，输出各感兴趣区域对应的至少一个候选框，保证了输出的各候选框可以框住感兴趣区域，也可以保证各候选框的准确性。然后，对各候选框进行识别，从各候选框中确定目标候选框，保证了确定的目标候选框的准确性。根据目标候选框的位置以及目标候选框的特征，确定至少一个感兴趣区域以及各感兴趣区域的位置。保证了确定的感兴趣区域以及各感兴趣区域的位置的准确性。[0031] 结合第一方面，在第一方面第六实施方式中，根据目标候选框的位置以及目标候选框的特征，确定至少一个感兴趣区域以及各感兴趣区域的位置，包括：[0032] 对目标候选框的位置进行调整，得到目标框；[0033] 基于目标框的位置，确定至少一个感兴趣区域的位置；[0034] 对目标框进行特征提。菽勘昕虻奶卣魅范ㄖ辽僖桓龈行巳で虻睦啾。[0035] 本发明实施例提供的工程作业场景预警方法，对目标候选框的位置进行调整，得到目标框，使得目标框更加准确。然后，基于目标框的位置，确定至少一个感兴趣区域的位置，保证了确定的感兴趣区域的位置的准确性。然后，对目标框进行特征提。菽勘昕虻奶卣魅范ㄖ辽僖桓龈行巳で虻睦啾，保证了确定的感兴趣区域的类别的准确性。[0036] 根据第二方面，本发明实施例还提供了一种工程作业场景预警的装置，包括：[0037] 第一获取模块，用于获取至少一张工程场景图像；[0038] 第一确定模块，用于对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置；[0039] 第二确定模块，用于对各感兴趣区域进行危险特征识别，当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。[0040] 本发明实施例提供的工程作业场景预警装置，获取至少一张工程场景图像；对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置，从而保证了确定的各感兴趣区域以及各感兴趣区域的位置的准确性。然后，对各感兴趣区域进行危险特征识别，从而可以保证当感兴趣区域存在危险特征时，可以及时检测到感兴趣区域中的危险特征。当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。从而实现了对工程场景的预警。上述方法，不需要人工对大型工程机械以及其他设备的管理，因此节省了大量的人力和物理，且可以保证对工程场景进行全方位监控管理，提高了对工程场景进行管理的效率，且避免或者减少了危险场景的发生。[0041] 根据第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中的工程作业场景预警方法。[0042] 根据第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行第一方面或者第一方面的任意一种实施方式中的工程作业场景预警方法。附图说明[0043] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0044] 图1是应用本发明实施例提供的工程作业场景预警方法的流程图；[0045] 图2是应用本发明另一实施例提供的工程作业场景预警方法的流程图；[0046] 图3是应用本发明另一实施例提供的工程作业场景预警方法的流程图；[0047] 图4是应用本发明另一实施例提供的工程作业场景预警方法的流程图；[0048] 图5是应用本发明另一实施例提供的工程作业场景预警方法中确定目标候选框的示意图；[0049] 图6是应用本发明另一实施例提供的工程作业场景预警方法中对目标候选框的位置进行调整的示意图；[0050] 图7是应用本发明实施例提供的工程作业场景预警装置的功能模块图；[0051] 图8是应用本发明实施例提供的工程作业场景预警装置的功能模块图；[0052] 图9是应用本发明实施例提供的电子设备的硬件结构示意图。具体实施方式[0053] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0054] 需要说明的是，本申请实施例提供的工程作业场景预警的方法，其执行主体可以是工程作业场景预警的装置，该工程作业场景预警的装置可以通过软件、硬件或者软硬件结合的方式实现成为电子设备的部分或者全部，其中，该电子设备可以是服务器或者终端，还可以是工程机械的控制单元或者远端的服务器，本申请实施例对电子设备不做具体限定。其中，本申请实施例中的服务器可以为一台服务器，也可以为由多台服务器组成的服务器集群，本申请实施例中的终端可以是智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。下述方法实施例中，均以执行主体是电子设备为例来进行说明。[0055] 在本申请一个实施例中，如图1所示，提供了一种工程作业场景预警方法，以该方法应用于电子设备为例进行说明，包括以下步骤：[0056] S11、获取至少一张工程场景图像。[0057] 在本申请一种可选的实施方式中，电子设备可以接收其他设备发送的至少一张工程场景图像，其中，其他设备可以是无人机，其中，无人机可以根据实际情况来回移动获取工程场景图像；其他设备也可以是工程场景中的摄像设备等，其中，摄像设备可以是固定设置在场端的监控设备，该监控设备可以是固定监控一个方向，也可以实现360旋转监控多个方向，本申请实施例对此不进行赘述。电子设备还可以基于自身的摄像设备获取至少一张工程场景图像。电子设备还可以接收用户输入的至少一张工程场景图像。[0058] 本申请实施例对电子设备获取至少一张工程场景图像的方式不做具体限定。[0059] 关于该步骤将在下文进行详细介绍。[0060] S12、对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置。[0061] 在本申请一种可选的实施方式中，电子设备可以将各工程场景图像输入至预先训练好的目标检测模型中，对各工程场景图像进行识别，并输出各工程场景中包括的至少一个感兴趣区域以及各感兴趣区域的位置。[0062] 其中，目标检测模型可以是基于手工特征的模型，例如DPM(DeformablePartsModel,可变形零件模型)，目标检测模型也可以是基于卷积神经网络的模型，例如YOLO(YouOnlyLookOnce，你只看一次)检测器、R?CNN，(Region?basedConvolutionalNeuralNetworks，基于区域的卷积神经网络)模型、SSD(SingleShotMultiBox，单发多框)检测器以及MaskR?CNN(MaskRegion?basedConvolutionalNeuralNetworks，带掩码的基于区域的卷积神经网络)模型等。本申请实施例对于目标检测模型不做具体限定。[0063] 其中，感兴趣区域中可以包括矿山、工程机械、人员、地貌以及水源等。[0064] 关于该步骤将在下文进行详细介绍。[0065] S13、对各感兴趣区域进行危险特征识别，当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。[0066] 在本申请一个可选的实施方式中，电子设备可以基于预先定义的危险特征，对感兴趣区域进行危险特征识别，从而确定感兴趣区域中是否包括危险特征。当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。[0067] 示例性的，假设识别到的感兴趣区域中包括工程场景中的矿山，那么电子设备可以基于预先定义的矿山作业场景下的危险特征，对该场景进行危险特征识别。其中，针对矿山而言，预先定义的危险特征可以包括：矿石块的色度为灰色度、矿石悬空比例明显(即矿石灰色度的明暗划分明显)、矿石与水平线坡角小于30°(即矿石灰色度的明暗划分边界线与水平线小于30°)，当识别到矿山包括上述预先定义的危险特征中的至少一项时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。[0068] 示例性的，假设识别到的感兴趣区域中包括工程场景中的地貌，那么电子设备可以基于预先定义的危险特征，对地貌进行危险特征识别。其中，针对地貌而言，预先定义的危险特征可以包括：色度变化比例大于预设比例(其中，色度变化比例为对应地貌的起伏不规则造成的明暗影)其中，色度变化比例包括灰色度和黄色度。当识别到地貌色度变化比例大于预设比例时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。[0069] 示例性的，预先定义的危险特征还可以包括矿山对应的感兴趣区域存在人员。在一些情况工程场景图像中，由于人员相对于矿山来说比较渺小。在很多情况下，电子设备在对工程场景图像进行特征提。范ǜ行巳で虻睦嘈鸵约拔恢檬，可能只识别到了矿山。在这种情况下，电子设备在获取到矿山对应的感兴趣区域之后，可以对矿山对应的感兴趣区域进行危险特征识别。可以首先识别人员的人行轮廓，然后再识别人员佩戴的安全帽颜色，以此确定矿山对应的感兴趣区域是否存在人员，从而判断矿山对应的感兴趣区域对应的特征中是否包括危险特征。当矿山对应的感兴趣区域存在人员时，确定工程场景为危险场景。[0070] 示例性的，预先定义的危险特征还可以包括泄露水源，电子设备可以对感兴趣区域进行识别，确定感兴趣区域是否存在某处的素灰度值应该为整个特征图中的最强点，而且该最强点满足像素阈值，当感兴趣区域存在某处的素灰度值应该为整个特征图中的最强点，而且该最强点满足像素阈值，确定感兴趣区域可能存在泄露水源，也就是说工程场景图像对应的工程场景为危险场景。[0071] 在本申请一种可选的实施方式中，电子设备确定各工程场景图像对应的工程场景为危险场景后，可以将基于危险场景自动生成预警工单，根据危险场景类别的不同分别发送给监控人员、工程机械作业人员、矿山作业中的人员等进行相关操作。[0072] 本发明实施例提供的工程作业场景预警方法，获取至少一张工程场景图像；对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置，从而保证了确定的各感兴趣区域以及各感兴趣区域的位置的准确性。然后，对各感兴趣区域进行危险特征识别，从而可以保证当感兴趣区域存在危险特征时，可以及时检测到感兴趣区域中的危险特征。当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。从而实现了对工程场景的预警。上述方法，不需要人工对大型工程机械以及其他设备的管理，因此节省了大量的人力和物理，且可以保证对工程场景进行全方位监控管理，提高了对工程场景进行管理的效率，且避免或者减少了危险场景的发生。[0073] 在本申请一个实施例中，如图2所示，提供了一种工程作业场景预警方法，以该方法应用于电子设备为例进行说明，包括以下步骤：[0074] S21、获取至少一张工程场景图像。[0075] 关于该步骤请参见图1对S11的介绍，在此不进行赘述。[0076] S22、对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置。[0077] 关于该步骤请参见图1对S11的介绍，在此不进行赘述。[0078] S23、对各感兴趣区域进行危险特征识别，当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。[0079] 在本申请一种可选的实施方式中，上述S23中的“对各感兴趣区域进行危险特征识别，当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景”，可以包括如下步骤：[0080] S231、对各感兴趣区域的位置进行识别，确定各感兴趣区域之间的位置关系。[0081] 具体地，在获取到各感兴趣区域之后，可以对各感兴趣区域的位置进行识别，确定各感兴趣区域在工程场景图像中的位置，根据各感兴趣区域在工程场景图像中的位置，确定各感兴趣区域之间的位置关系。[0082] S232、根据各感兴趣区域之间的位置关系，确定工程场景图像对应的工程场景为危险场景。[0083] 在本申请一种可选的实施方式中，上述S222“根据各感兴趣区域之间的位置关系，确定工程场景图像对应的工程场景为危险场景”，可以包括如下内容：[0084] 当各感兴趣区域之间的距离小于预设距离阈值时，确定工程场景图像对应的工程场景为危险场景。[0085] 具体地，当各感兴趣区域之间的位置小于预设位置阈值，确定工程场景图像对应的工程场景为危险场景。[0086] 示例性的，假设电子设备在一张工程场景图像中识别到的感兴趣区域为矿山和人，电子设备对矿山和人的位置进行识别，然后确定矿山和人的位置，当矿山和人之间的距离小于预设距离阈值，确定工程场景图像对应的工程场景为危险场景。同理，电子设备还可以判断工程机械与矿山的距离以及工程机械与人的距离。[0087] 当确定工程场景图像对应的工程场景为危险场景后，电子设备可以通过广播的方式发出提示信息，也可以通过显示屏进行显示的方式输出提示信息，还可以通过向相关人员发送信息的方式发出提示信息。[0088] S24、预设时间之后，获取危险场景对应的目标场景图像。[0089] 在一种可选的实施方式中，在确定各工程场景图像对应的工程场景为危险场景，并发出提示信息的预设时间之后，电子设备可以基于自身的摄像设备再次采集危险场景对应的目标场景图像。[0090] 在另一种可选的实施方式中，在确定各工程场景图像对应的工程场景为危险场景，并发出提示信息的预设时间之后，电子设备还可以基于危险场景特征的标识信息，在其他设备发送的工程场景图像中查找危险场景对应的目标场景图像。[0091] 本申请实施例对电子设备获取到危险场景对应的目标场景图像的方式不做具体限定。[0092] S25、对目标场景图像进行危险特征识别，当目标场景图像对应的特征中包括危险特征时，确定危险场景未被处理时，再次发送预警信息。[0093] 具体地，电子设备可以再次对目标场景图像进行危险特征识别，并检测上次针对危险场景识别到的危险特征是否还存在，当目标场景图像对应的特征中包括危险特征时，确定危险场景未被处理时，再次发送预警信息。[0094] 可选的，电子设备可以通过进行多次广播的方式发出预警信息，也可以通过显示屏进行连续不断的显示预警信息，还可以通过向相关人员的上级发送信息的方式发出预警信息。[0095] 示例性的，假设第一次针对危险场景识别到的危险特征为人与矿山之间的距离小于预设距离阈值，那么电子设备再次对危险场景对应的目标场景图像进行识别时，则再次检测矿山周围是否存在人。若存在人的情况下，电子设备则识别人与矿山之间的距离是否小于预设距离阈值，若人与矿山之间的距离小于预设距离阈值，则电子设备确定危险场景未被处理时，再次发送预警信息。[0096] 本发明实施例提供的工程作业场景预警方法，对各感兴趣区域的位置进行识别，确定各感兴趣区域之间的位置关系，从而保证了确定的各感兴趣区域之间的位置关系的准确性。然后，根据各感兴趣区域之间的位置关系，确定工程场景图像对应的工程场景为危险场景。保证了确定的危险场景的准确性。当各感兴趣区域之间的距离小于预设距离阈值时，确定工程场景图像对应的工程场景为危险场景。保证了确定的危险场景的准确性。[0097] 此外，本发明实施例提供的工程作业场景预警方法，预设时间之后，获取危险场景对应的目标场景图像，并对目标场景图像进行危险特征识别，当目标场景图像对应的特征中包括危险特征时，确定危险场景未被处理时，再次发送预警信息。通过再次对危险场景对应的目标场景图像进行检测从而可以判断是否对危险场景进行处理，当没有对危险场景进行处理时，再次发送预警信息，从而使得相关人员可以快速对危险场景进行处理，避免事故发生。[0098] 在本申请一个实施例中，如图3所示，提供了一种工程作业场景预警方法，以该方法应用于电子设备为例进行说明，包括以下步骤：[0099] S31、获取至少一张工程场景图像。[0100] 在本申请一个可选实施方式中，上述S31“获取至少一张工程场景图像”，可以包括如下步骤：[0101] S311、获取来自至少一个设备的至少一张待处理图像。[0102] 具体地，电子设备可以基于与其他设备之间的连接，接收至少一个设备发送的至少一张待处理图像，其中，至少一个设备可以包括无人机、工程场景中的摄像设备以及电子设备自身连接的摄像设备。[0103] 示例性的，无人机巡线所采集的待处理图像可以通过4G/5G图传装置传输至电子设备，工程场景中的摄像设备的监控待处理图像可以通过有线或无线网络传输至电子设备，电子设备自身连接的摄像设备可以通过有线或无线网络传输至电子设备。[0104] S312、计算各待处理图像之间的图像相似度。[0105] 在本申请一种可选的实施方式中，电子设备可以分别计算各待处理图像之间的直方图，然后计算两个直方图的直方图相交距离，从而根据直方图相交距离计算各待处理图像之间的图像相似度。[0106] 在本申请另一种可选实施方式中，电子设备还可以利用预设的算法计算各待处理图像之间的图像相似度。[0107] 其中，预设的算法可以包括均值哈希算法、感知哈希算法，也可以是其他算法，对此本申请实施例不做具体限定。[0108] S313、根据各待处理图像之间的图像相似度，从各待处理图像中确定图像相似度小于预设相似度阈值的各工程场景图像。[0109] 具体地，在计算得的各待处理图像之间的图像相似度之后，电子设备可以根据待处理图像之间的图像相似度，从各待处理图像中确定图像相似度小于预设相似度阈值的各工程场景图像。[0110] S32、对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置。[0111] 关于该步骤请参见图2对S22的介绍，在此不进行赘述。[0112] S33、对各感兴趣区域进行危险特征识别，当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。[0113] 关于该步骤请参见图2对S23的介绍，在此不进行赘述。[0114] 本发明实施例提供的工程作业场景预警方法，获取来自至少一个设备的至少一张待处理图像，保证了获取到的待处理图像的全面性。计算各待处理图像之间的图像相似度，保证了计算得到的图像相似度的准确性。根据各待处理图像之间的图像相似度，从各待处理图像中确定图像相似度小于预设相似度阈值的各工程场景图像。从而保证了获取到的工程场景图像不仅全面且重复性。佣唤隹梢允迪侄怨こ坛【暗娜婕嗫，还可以减少电子设备的工作量。[0115] 在本申请一个实施例中，如图4所示，提供了一种工程作业场景预警方法，以该方法应用于电子设备为例进行说明，包括以下步骤：[0116] S41、获取至少一张工程场景图像。[0117] 关于该步骤请参见图3对S31的介绍，在此不进行赘述。[0118] S42、对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置。[0119] 在本申请一个可选实施方式中，上述S42“对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置”，可以包括如下步骤：[0120] S421、对各工程场景图像进行识别，输出各感兴趣区域对应的至少一个候选框。[0121] 具体地，电子设备可以将工程场景图像输入至深度可分离卷积结构生成通道数更少的特征图谱，并将生成的特征图谱输入至区域候选网络。区域候选网络对特征图谱进行特征识别，基于提取的特征输出各感兴趣区域对应的至少一个候选框，并各个候选框与工程场景图像进行结合，也就是在工程场景图像中显示各个候选框并进行后处理，再映射到特征图谱。[0122] 需要说明的是，深度可分离卷积结构相比于深度卷积生成的特征图谱的数量更少，且使用的参数更少。[0123] 示例性的，假设使用深度卷积：假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32。具体为，32个3×3大小的卷积核会遍历16个通道中的每个数据，从而产生16×32＝512个特征图谱。进而通过叠加每个输入通道对应的特征图谱后融合得到1个特征图谱。最后可得到所需的32个输出通道。但是，针对这个例子在应用深度可分离卷积时，用16个3×3大小的卷积核分别遍历16通道的数据，得到了16个特征图谱。在融合操作之前，接着用32个1×1大小的卷积核遍历这16个特征图谱，进行相加融合。这个过程使用了16×3×3+16×32×1×1＝656个参数，远少于上面的16×32×3×3＝4608个参数。[0124] S422、对各候选框进行识别，从各候选框中确定目标候选框。[0125] 具体地，在得到区域候选网络输出的至少一个候选特征之后，全连接层利用归一化指数函数(softmax)函数判断各个候选框是前景还是背景，从中选取前景候选框，也就是目标候选框。[0126] 其中，利用softmax函数是因为在本实施例中的工程场景图像进行抽帧后为2维矩阵，具体实现时将二维矩阵的每列单独套softmax公式，使得第一行为前景概率，第二行为背景概率，因为需要判断的工程场景中矿山作业的物体一般在视图前景中所以最后选取前景候选框最为目标候选框。[0127] 示例性的，如图5所示，首先原图经过深度可分离卷积结构生成特征图谱，区域候选网络对特征图谱进行识别，生成多个候选框，将各候选框与原图进行结合，并进行后处理，从多个候选框中确定目标候选框。[0128] S423、根据目标候选框的位置以及目标候选框的特征，确定至少一个感兴趣区域以及各感兴趣区域的位置。[0129] 在本申请一个可选的实施方式中，电子设备根据目标候选框的位置以及目标候选框的特征，确定至少一个感兴趣区域以及各感兴趣区域的位置。[0130] 在本申请一个可选实施方式中，S423“根据目标候选框的位置以及目标候选框的特征，确定至少一个感兴趣区域以及各感兴趣区域的位置”，可以包括如下步骤：[0131] (1)对目标候选框的位置进行调整，得到目标框。[0132] (2)基于目标框的位置，确定至少一个感兴趣区域的位置。[0133] (3)对目标框进行特征提。菽勘昕虻奶卣魅范ㄖ辽僖桓龈行巳で虻睦啾。[0134] 具体地，在确定各个感兴趣区域对应的目标候选框之后，池化层将大小尺寸不同的目标候选框池化成相同的大。缓笏腿牒笮娜硬憬形锾宸掷嗪臀恢玫髡毓。全连接层基于池化层输出的池化后的目标候选框，并利用边框回归函数对目标候选框的位置进行调整，得到目标框。然后，基于目标框的位置，确定至少一个感兴趣区域的位置。此外，全连接层还可以对目标框进行特征提。菽勘昕虻奶卣魅范ㄖ辽僖桓龈行巳で虻睦啾。[0135] 示例性的，如图6所示，图中的小框表示已经确定的目标候选框，大框为边框回归调整后的目标框。在进行边框回归调整之前，那么即便小框被识别为工程机械，但是由于小框定位不准，那么这张图相当于没有正确的检测出工程机械。如果能对小框进行微调，使得经过微调后的窗口跟目标候选框更接近，这样就会使得定位会更准确。由此，选用了边框回归函数来微调这个窗口，增强检测整体的鲁棒性。[0136] 在本申请一个可选的实施方式中，对于其他作业工程机械，铲车、吊车、挖掘机进行感兴趣区域识别时，基本每个类型的车不会有太大的结构偏差，可以采用相对应的图像进行大量的机器学习自动对目标框显示的类别进行判断。也可以对这三种工程机械的特征进行归一化提。绮档奶卣髟谟诔刀繁壤洗，与挖掘机可作为比较例进行识别。吊车的特征在于吊栏处与车身的整体比例较。诟鞲龉こ袒档奶卣鹘欣啾鹋卸。[0137] S43、对各感兴趣区域进行危险特征识别，当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。[0138] 关于该步骤请参见图3对S33的介绍，在此不进行赘述。[0139] 本发明实施例提供的工程作业场景预警方法，对各工程场景图像进行识别，输出各感兴趣区域对应的至少一个候选框，保证了输出的各候选框可以框住感兴趣区域，也可以保证各候选框的准确性。然后，对各候选框进行识别，从各候选框中确定目标候选框，保证了确定的目标候选框的准确性。对目标候选框的位置进行调整，得到目标框，使得目标框更加准确。然后，基于目标框的位置，确定至少一个感兴趣区域的位置，保证了确定的感兴趣区域的位置的准确性。然后，对目标框进行特征提。菽勘昕虻奶卣魅范ㄖ辽僖桓龈行巳で虻睦啾，保证了确定的感兴趣区域的类别的准确性。[0140] 应该理解的是，虽然图1?4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1?4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。[0141] 如图7所示，本实施例提供一种工程作业场景预警装置，包括：包括：[0142] 第一获取模块51，用于获取至少一张工程场景图像；[0143] 第一确定模块52，用于对各工程场景图像进行识别，确定各工程场景图像中包括的至少一个感兴趣区域以及各感兴趣区域的位置；[0144] 第二确定模块53，用于对各感兴趣区域进行危险特征识别，当感兴趣区域对应的特征中包括危险特征时，确定各工程场景图像对应的工程场景为危险场景，并发出提示信息。[0145] 在本申请一个实施例中，上述第二确定模块53，具体用于对各感兴趣区域的位置进行识别，确定各感兴趣区域之间的位置关系；[0146] 根据各感兴趣区域之间的位置关系，确定工程场景图像对应的工程场景为危险场景。[0147] 在本申请一个实施例中，上述第二确定模块53，具体用于当各感兴趣区域之间的距离小于预设距离阈值时，确定工程场景图像对应的工程场景为危险场景。[0148] 在本申请一个实施例中，如图8所示，上述工程作业场景预警装置，还包括：[0149] 第二获取模块54，用于预设时间之后，获取危险场景对应的目标场景图像；[0150] 第三确定模块55，用于对目标场景图像进行危险特征识别，当目标场景图像对应的特征中包括危险特征时，确定危险场景未被处理时，再次发送预警信息。[0151] 在本申请一个实施例中，上述第一获取模块51，具体用于获取来自至少一个设备的至少一张待处理图像；计算各待处理图像之间的图像相似度；根据各待处理图像之间的图像相似度，从各待处理图像中确定图像相似度小于预设相似度阈值的各工程场景图像。[0152] 在本申请一个实施例中，上述第一确定模块52，具体用于对各工程场景图像进行识别，输出各感兴趣区域对应的至少一个候选框；对各候选框进行识别，从各候选框中确定目标候选框；根据目标候选框的位置以及目标候选框的特征，确定至少一个感兴趣区域以及各感兴趣区域的位置。[0153] 在本申请一个实施例中，上述第一确定模块52，具体用于对目标候选框的位置进行调整，得到目标框；基于目标框的位置，确定至少一个感兴趣区域的位置；对目标框进行特征提。菽勘昕虻奶卣魅范ㄖ辽僖桓龈行巳で虻睦啾。[0154] 关于工程作业场景预警装置的具体限定以及有益效果可以参见上文中对于工程作业场景预警方法的限定，在此不再赘述。上述工程作业场景预警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。[0155] 本发明实施例还提供一种电子设备，具有上述图7和图8所示的工程作业场景预警装置。[0156] 如图9所示，图9是本发明可选实施例提供的一种电子设备的结构示意图，如图9所示，该电子设备可以包括：至少一个处理器61，例如CPU(CentralProcessingUnit，中央处理器)，至少一个通信接口63，存储器64，至少一个通信总线62。其中，通信总线62用于实现这些组件之间的连接通信。其中，通信接口63可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速RAM存储器(RandomAccessMemory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non?volatilememory)，例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。其中处理器61可以结合图6或图6所描述的装置，存储器64中存储应用程序，且处理器61调用存储器64中存储的程序代码，以用于执行上述任一方法步骤。[0157] 其中，通信总线62可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称EISA)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。[0158] 其中，存储器64可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random?accessmemory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non?volatilememory)，例如快闪存储器(英文：flashmemory)，硬盘(英文：harddiskdrive，缩写：HDD)或固态硬盘(英文：solid?statedrive，缩写：SSD)；存储器64还可以包括上述种类的存储器的组合。[0159] 其中，处理器61可以是中央处理器(英文：centralprocessingunit，缩写：CPU)，网络处理器(英文：networkprocessor，缩写：NP)或者CPU和NP的组合。[0160] 其中，处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application?specificintegratedcircuit，缩写：ASIC)，可编程逻辑器件(英文：programmablelogicdevice，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complexprogrammablelogicdevice，缩写：CPLD)，现场可编程逻辑门阵列(英文：field?programmablegatearray，缩写：FPGA)，通用阵列逻辑(英文：genericarraylogic,缩写：GAL)或其任意组合。[0161] 可选地，存储器64还用于存储程序指令。处理器61可以调用程序指令，实现如本申请图1至4实施例中所示的工程作业场景预警方法。[0162] 本申请实施例还提供了一种工程机械，该工程机械包括车辆本体与上述图9的电子设备，该电子设备用于执行本申请图1至4实施例中所示的工程作业场景预警方法。该工程机械可以是铲车、吊车、挖掘机等，本申请实施例对工程机械不做具体限定。[0163] 本发明实施例还提供了一种非暂态计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的工程作业场景预警方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read?OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid?StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。[0164] 虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

专利地区：广东

专利申请日期：2022-03-24

专利公开日期：2024-11-29

专利公告号：CN114694096B