开云优惠体育网页版入口

专利名称：一种基于增强现实的船舶设备维修方法及装置

专利类型：发明专利

专利申请号：CN202211129266.7

专利申请（专利权）人：舟山中远海运重工有限公司
权利人地址：浙江省舟山市普陀区六横镇

专利发明（设计）人：龚伟兵,苏宇,阮峻杰,于泉,李付博,刘会飞,翁海龙,徐会超,薛启刚

专利摘要：一种基于增强现实的船舶设备维修方法，其特征在于：该方法采集待维修设备的初始图像，根据故障判别公式判断待维修设备是否具有故障，如果有故障，则生成维修信号；对待维修设备进行识别和分辨，得到该设备的标识信息和维修信息；根据标识信息和维修信息从数据库中获取待维修设备的虚拟模型、待维修项目及待维修项目的位置信息；将虚拟模型叠加显示于用户视野所及的空间区域，并根据待维修项目的位置信息在叠加显示的虚拟模型上标注待维修项目；根据用户视野提示信息对待维修项目进行修理，对待测内容进行测绘。本发明的优点在于：通过增强现实方法，能精确地对船舶设备中的故障点进行定位和获得解决方案，方便检修人员处理，提高维修质量和效率。

主权利要求：
1.一种基于增强现实的船舶设备维修方法，其特征在于：该方法包括以下步骤：S1、采集待维修设备的初始图像；
S2、根据待维修设备的初始图像获取该设备的锈迹区域的面积以及磨损面积，根据故障判别公式判断待维修设备是否具有故障，如果有故障，则生成维修信号，并进入步骤S3，如果没有故障，则生成不维修信号，并重新锁定下一个待维修设备，返回步骤S1；
S3、通过采用卷积神经网络对生成维修信号的待维修设备进行识别和分辨，得到该设备的标识信息和维修信息；
S4、根据标识信息和维修信息从数据库中获取待维修设备的虚拟模型、待维修项目及待维修项目的位置信息；
S5、将虚拟模型叠加显示于用户视野所及的空间区域，并根据待维修项目的位置信息在叠加显示的虚拟模型上标注待维修项目；
S6、根据用户视野提示信息对待维修项目进行修理，对待测内容进行测绘，维修完成后获取待维修项目处理后的维修参数及数据库中与待维修项目标识信息相同的标准参数，判断维修参数是否落入标准参数的范围内，若是，则该待维修项目处理合格，生成不维修信号，并重新锁定下一个待维修设备，返回步骤S1；若否，则生成指示维修人员再次处理该待维修项目的提示信息，重新执行步骤S6；
所述步骤S3中，标识信息包括待维修设备型号、待维修设备分类编号、待维修设备生产日期，对标识信息进行去燥处理，得到该设备的型号Zx、分类编号Zf和生产日期Zr，根据所述型号Zx、分类编号Zf和生产日期Zr通过类似度计算公式获取该待维修设备的类似度值K，所述类似度计算公式为：其中，b1、b2和b3为类似度系数因子；
将所述类似度值K与预设的标准设备类似度值进行比较，若得到的设备类似度值K与标准设备类似度值相同，则从数据库中调取该设备的维修信息；
所述步骤S3中，当无法获得待维修设备的标识信息时，获取该设备的初始图像中的三视图信息，所述三视图信息包括正视图中设备的面积S1、右视图中设备的面积S2和俯视图中设备的面积S3，并通过外观相似值计算公式获得该设备的外观相似值P，所述外观相似度计算公式为：P＝c1*S1+c2*S2+c3*S3
其中，c1、c2、c3为系数因子；
将所述外观相似值P与数据库中预设的标准外观相似值进行比较，若得到的设备外观相似值P与标准外观相似值相同，则从数据库中调取该设备的维修信息。
2.根据权利要求1所述的基于增强现实的船舶设备维修方法，其特征在于：所述步骤S2中，故障判别公式为：其中，a1、a2均为故障判别比例系数，且a1＞a2＞0，为误差修正因子，Sx为待维修设备的锈迹区域的面积，Ss为待维修设备的磨损面积，X1为故障判别系数；
若所述待维修设备的故障判别系数X1大于预设的故障判别系数阈值，则判定当前待维修设备需要进行维修，并生成维修信号；若所述待维修设备的故障判别系数X1小于等于预设的故障判别系数阈值，则判定当前待维修设备不需要进行维修，并生成不维修信号。
3.根据权利要求2所述的基于增强现实的船舶设备维修方法，其特征在于：所述步骤S3中，若所述待维修设备的故障判别系数X1大于预设的故障判别系数阈值，则对a1、a2和 分别进行多次不同的取值，并计算对应的故障判别系数X2、X3……，对这些故障判别系数进行求和取平均值，得到故障判别系数平均值 将故障判别系数平均值 分别与预设的故障判别系数平均值阈值进行比较，若故障判别系数平均值 超过故障判别系数平均值阈值，则将该设备维修信号标记为一级维修信号；若故障判别系数平均值 不超过故障判别系数平均值阈值，则将该设备维修信号标记为二级维修信号。
4.根据权利要求1所述的基于增强现实的船舶设备维修方法，其特征在于：获取生成维修信号的待维修设备进行维修后和生成不维修信号的设备的运行参数，根据运行参数预测该设备的使用寿命。
5.一种基于增强现实的船舶设备维修装置，其特征在于：该装置可实施如上述权利要求1至4中任一项所述的基于增强现实的船舶设备维修方法，包括：测量模块，用于采集待维修设备的初始图像、待维修项目处理后的维修信息及生成维修信号的待维修设备进行维修后和生成不维修信号的设备的运行参数；
分析模块，用于对待维修设备进行故障判断，生成维修信号和不维修信号，对生成维修信号的设备通过卷积神经网络进行识别和分辨，获得该设备的标识信息或三视图信息，通过标识信息获得类似度值或通过三视图信息获得外观相似值；
存储模块，用于存储各设备的标准设备类似度值、标准外观相似值、维修信息、虚拟模型、待维修项目以及待维修项目的位置信息、标准参数；
维修模块，用于根据维修信息获取存储模块中待维修设备的虚拟模型、待维修项目以及待维修项目的位置信息，并将虚拟模型叠加显示于用户视野所及的空间区域，根据待维修项目的位置信息在叠加显示的虚拟模型上标注待维修项目；
预测模块，用于根据测量模块获得的运行参数预测待维修设备的使用寿命；
中央处理器，用于控制所述测量模块、分析模块、存储模块、维修模块和预测模块。
6.一种基于增强现实的船舶设备维修装置，其特征在于：包括：
测量装置，用于采集待维修设备的初始图像、待维修项目处理后的维修信息及生成维修信号的待维修设备进行维修后和生成不维修信号的设备的运行参数；
AR显示设备，可供用户穿戴；
处理器，执行计算机程序以实现如权利要求1至4中任意一项所述的基于增强现实的船舶设备维修方法；
存储器，存储由所述处理器执行的计算机程序。 说明书 : 一种基于增强现实的船舶设备维修方法及装置技术领域[0001] 本发明涉及船舶设备维修技术领域，尤其涉及一种基于增强现实的船舶设备维修方法及装置。背景技术[0002] 当前船舶设备修理作业时多为人工去拆解、更换备件、对于故障设备的分析修理等，船舶设备的修理得益于有经验的技术工人凭借自己的技术能力来维修相关设备，整个过程都是通过技术工人的主观意识和经验来判断待修理对象的维修故障点，通过团队协作将故障点一一修好。目前的维修工作过多依赖于技术工人的经验和水平，尤其是遇到一个设备多个故障发生时，维修人员需要来回摸索才能找到对应解决方案，这给维修工作带来了诸多效率挑战，由于维修人员要花费大量精力寻找故障点，使具体设备的维修质量没有得到有效控制。发明内容[0003] 本发明所要解决的技术问题是针对上述现有技术现状而提供一种可提高维修质量和效率的基于增强现实的船舶设备维修方法及装置。[0004] 本发明解决上述技术问题所采用的技术方案为：一种基于增强现实的船舶设备维修方法，其特征在于：该方法包括以下步骤：[0005] S1、采集待维修设备的初始图像；[0006] S2、根据待维修设备的初始图像获取该设备的锈迹区域的面积以及磨损面积，根据故障判别公式判断待维修设备是否具有故障，如果有故障，则生成维修信号，并进入步骤S3，如果没有故障，则生成不维修信号，并重新锁定下一个待维修设备，返回步骤S1；[0007] S3、通过采用卷积神经网络对生成维修信号的待维修设备进行识别和分辨，得到该设备的标识信息和维修信息；[0008] S4、根据标识信息和维修信息从数据库中获取待维修设备的虚拟模型、待维修项目及待维修项目的位置信息；[0009] S5、将虚拟模型叠加显示于用户视野所及的空间区域，并根据待维修项目的位置信息在叠加显示的虚拟模型上标注待维修项目；[0010] S6、根据用户视野提示信息对待维修项目进行修理，对待测内容进行测绘，维修完成后获取待维修项目处理后的维修参数及数据库中与待维修项目标识信息相同的标准参数，判断维修参数是否落入标准参数的范围内，若是，则该待维修项目处理合格，并重新锁定下一个待维修设备，返回步骤S1；若否，则生成指示维修人员再次处理该待维修项目的提示信息，重新执行步骤S6。[0011] 为了根据待维修设备的锈迹区域的面积以及磨损面积来判断该设备是否具有故障，所述步骤S2中，故障判别公式为：[0012][0013] 其中，a1、a2均为故障判别比例系数，且a1＞a2＞0，为误差修正因子，Sx为待维修设备的锈迹区域的面积，Ss为待维修设备的磨损面积，X1为故障判别系数；[0014] 若所述待维修设备的故障判别系数X1大于预设的故障判别系数阈值，则判定当前待维修设备需要进行维修，并生成维修信号；若所述待维修设备的故障判别系数X1小于等于预设的故障判别系数阈值，则判定当前待维修设备不需要进行维修，并生成不维修信号。[0015] 为了进一步区分需要维修的设备的紧急情况，所述步骤S3中，若所述待维修设备的故障判别系数X1大于预设的故障判别系数阈值，则对a1、a2和 分别进行多次不同的取值，并计算对应的故障判别系数X2、X3……，对这些故障判别系数进行求和取平均值，得到故障判别系数平均值 将故障判别系数平均值 分别与预设的故障判别系数平均值阈值进行比较，若故障判别系数平均值 超过故障判别系数平均值阈值，则将该设备维修信号标记为一级维修信号；若故障判别系数平均值 不超过故障判别系数平均值阈值，则将该设备维修信号标记为二级维修信号。[0016] 为了能根据待维修设备的标识信息获取维修信息，所述步骤S3中，标识信息包括待维修设备型号、待维修设备分类编号、待维修设备生产日期，对标识信息进行去燥处理，得到该设备的型号Zx、分类编号Zf和生产日期Zr，根据所述型号Zx、分类编号Zf和生产日期Zr通过类似度计算公式获取该待维修设备的类似度值K，所述类似度计算公式为：[0017][0018] 其中，b1、b2和b3为类似度系数因子；[0019] 将所述类似度值K与预设的标准设备类似度值进行比较，若得到的设备类似度值K与标准设备类似度值相同，则从数据库中调取该设备的维修信息。[0020] 进一步，所述步骤S3中，当无法获得待维修设备的标识信息时，获取该设备的初始图像中的三视图信息，所述三视图信息包括正视图中设备的面积S1、右视图中设备的面积S2和俯视图中设备的面积S3，并通过外观相似值计算公式获得该设备的外观相似值P，所述外观相似度计算公式为：[0021] P＝c1*S1+c2*S2+c3*S3[0022] 其中，c1、c2、c3为系数因子；[0023] 将所述外观相似值P与数据库中预设的标准外观相似值进行比较，若得到的设备外观相似值P与标准外观相似值相同，则从数据库中调取该设备的维修信息。[0024] 为了得知设备的使用寿命从而了解设备的大概使用时间，使工作人员能在关键节点内做出检修或更换的相应操作，获取生成维修信号的待维修设备进行维修后和生产不维修信号的设备的运行参数，根据运行参数预测该设备的使用寿命。[0025] 本发明还提供一种基于增强现实的船舶设备维修装置，其特征在于：该装置可实施上述基于增强现实的船舶设备维修方法，包括：[0026] 测量模块，用于采集待维修设备的初始图像、待维修项目处理后的维修信息及生成维修信号的待维修设备进行维修后和生产不维修信号的设备的运行参数；[0027] 分析模块，用于对待维修设备进行故障判断，生成维修信号和不维修信号，对生成维修信号的设备通过卷积神经网络进行识别和分辨，获得该设备的标识信息或三视图信息，通过标识信息获得类似度值或通过三视图信息获得外观相似值；[0028] 存储模块，用于存储各设备的标准设备类似度值、标准外观相似值、维修信息、虚拟模型、待维修项目以及待维修项目的位置信息；[0029] 维修模块，用于根据维修信息获取存储模块中待维修设备的虚拟模型、待维修项目以及待维修项目的位置信息，并将虚拟模型叠加显示于用户视野所及的空间区域，根据待维修项目的位置信息在叠加显示的虚拟模型上标注待维修项目；[0030] 预测模块，用于根据测量模块获得的运行参数预测待维修设备的使用寿命；[0031] 中央处理器，用于控制所述测量模块、分析模块、存储模块、维修模块和预测模块。[0032] 本发明还提供一种基于增强现实的船舶设备维修装置，其特征在于：包括：[0033] 测量装置，用于采集待维修设备的初始图像、待维修项目处理后的维修信息及生成维修信号的待维修设备进行维修后和生产不维修信号的设备的运行参数；[0034] AR显示设备，可供用户穿戴；[0035] 处理器，执行计算机程序以实现如权利要求1至7中任意一项所述的基于增强现实的船舶设备维修方法；[0036] 存储器，存储由所述处理器执行的计算机程序。[0037] 与现有技术相比，本发明的优点在于：通过对待维修设备故障判别来判断该设备是否具有故障，并对需要维修的设备进行分析匹配处理，获取相同设备的维修方案，精准提示给船舶设备维修人员维修信息，并且通过增强现实的方法让维修人员根据需求和实际的待维修设备获得对于设备维修的示教方法，可以快速查找到相应的解决方案，让维修人员可以及时迅速的排除故障，提高了维修质量和效率。附图说明[0038] 图1为本发明实施例中基于增强现实的船舶设备维修方法流程图；[0039] 图2为本发明实施例提供的一种基于增强现实的船舶设备维修装置的结构示意图；[0040] 图3为本发明实施例提供的一种基于增强现实的船舶设备维修装置的结构示意图；[0041] 图4为本发明实施例中基于增强现实的船舶设备维修装置叠加显示虚拟模型示意图。具体实施方式[0042] 以下结合附图实施例对本发明作进一步详细描述。[0043] 如图1所示，本实施例提供一种基于增强现实的船舶设备维修方法，该方法包括以下步骤：[0044] S1、采集待维修设备的初始图像。[0045] S2、根据待维修设备的初始图像获取该设备的锈迹区域的面积以及磨损面积，根据故障判别公式判断待维修设备是否具有故障，故障判别公式为：[0046][0047] 其中，a1、a2均为故障判别比例系数因子，且a1＞a2＞0，为误差修正因子，Sx为待维修设备的锈迹区域的面积，Ss为待维修设备的磨损面积，X1为故障判别系数。[0048] 若待维修设备的故障判别系数X1大于预设的故障判别系数阈值，则判定当前待维修设备需要进行维修，并生成维修信号；若待维修设备的故障判别系数X1小于等于预设的故障判别系数阈值，则判定当前待维修设备不需要进行维修，并生成不维修信号，并重新锁定下一个待维修设备，返回步骤S1。[0049] 为了进一步区分需要维修的设备的紧急情况，若待维修设备的故障判别系数X1大于预设的故障判别系数阈值，则对a1、a2和 分别进行多次不同的取值，并计算对应的故障判别系数X2、X3……，对这些故障判别系数进行求和取平均值，得到故障判别系数平均值将故障判别系数平均值 分别与预设的故障判别系数平均值阈值进行比较，若故障判别系数平均值 超过故障判别系数平均值阈值，则将该设备维修信号标记为一级维修信号；若故障判别系数平均值 不超过故障判别系数平均值阈值，则将该设备维修信号标记为二级维修信号；如果设备生成一级维修信号或者二级维修信号，则进入步骤S3。[0050] S3、通过采用卷积神经网络对生成维修信号的待维修设备进行识别和分辨，得到该设备的标识信息和维修信息。标识信息包括待维修设备型号、待维修设备分类编号、待维修设备生产日期，对标识信息进行去噪处理，得到该设备的型号Zx、分类编号Zf和生产日期Zr。例如某电机的设备型号为YB2280?4W，设备分类编号A?128，设备生产日期为2012年03月01号，则对应得到该设备型号值为22804，设备分类编号值128，设备生产日期值为20120301。根据型号Zx、分类编号Zf和生产日期Zr通过类似度计算公式获取该待维修设备的类似度值K，类似度计算公式为：[0051][0052] 其中，b1、b2和b3为类似度系数因子。[0053] 将类似度值K与预设的标准设备类似度值进行比较，若得到的设备类似度值K与标准设备类似度值相同，则从数据库中调取该设备的维修信息。[0054] 当无法获得待维修设备的标识信息时，获取该设备的初始图像中的三视图信息，三视图信息包括正视图中设备的面积S1、右视图中设备的面积S2和俯视图中设备的面积S3，并通过外观相似值计算公式获得该设备的外观相似值P，外观相似度计算公式为：[0055] P＝c1*S1+c2*S2+c3*S3[0056] 其中，c1、c2、c3为系数因子；[0057] 将外观相似值P与数据库中预设的标准外观相似值进行比较，若得到的设备外观相似值P与标准外观相似值相同，则从数据库中调取该设备的维修信息。[0058] S4、根据标识信息和维修信息从数据库中获取待维修设备的虚拟模型、待维修项目及待维修项目的位置信息。其中，虚拟模型应用三维卷积神经网络思路，在多个方面调整传统的三维卷积神经网络以使其有效应用与待修物体的3D识别，并依照待维修对象形状、结构或轮廓按比例绘制，例如，待维修对象是一个长宽比为2:1的电机，通过软件算法输出待维修对象的真实形状和大。肴砑内的虚拟模型匹配后输出待维修对象的时间维修信息和故障流程点，结果可以是按照预设比例进行缩放的虚拟电机，也可以只是一个长宽比为2:1的虚拟长方体，该虚拟模型可以是平面的，也可以是立体的，可以是静态的，也可以是动态的；待维修项目为待维修对象整体或局部进行相应规格测量的项目，规格包括但不限于质量、尺寸、面积、体积、密度和数量；位置信息为虚拟模型上用于标注待维修项目的位置坐标。[0059] S5、将虚拟模型叠加显示于用户视野所及的空间区域，并根据待维修项目的位置信息在叠加显示的虚拟模型上标注待维修项目。其中，虚拟模型可叠加显示于用户视野所及的空间区域的预设区域，预设区域可以是固定，比如用户视野所及的空间区域的左上角，预设区域也可以是不固定，可以依照用户习惯进行更改；也可以获取待维修对象在用户视野所及的空间区域的实际位置，根据预设阈值调整虚拟模型的透明度值，并根据实际位置将调整透明度值后的虚拟模型叠加在待维修对象上；对待维修对象进行目标定位跟踪，得到待维修对象在用户视野所及的空间区域的实际位置，为虚拟模型和待维修对象的叠加提供参照位置；在将虚拟模型叠加在待维修对象上之后，以不遮挡待维修对象为前提条件，调整虚拟模型的透明度值，使得用户能够同时看到虚拟模型和待维修对象，使得修理指导信息的指导性更强、更明确。[0060] S6、根据用户视野提示信息对待维修项目进行修理，对待测内容进行测绘，维修完成后获取待维修项目处理后的维修参数及数据库中与待维修项目标识信息相同的标准参数，判断维修参数是否落入标准参数的范围内，若是，则该待维修项目处理合格，并重新锁定下一个待维修设备，返回步骤S1；若否，则生成指示维修人员再次处理该待维修项目的提示信息，重新执行步骤S6。[0061] 维修人员根据虚拟模型内反馈的维修条目维修人员对维修内容进行修理，对于需要测量、测验的条目进行测验，记录实际结果，完善修理过程实际视频记录，形成设备维修开云优惠体育网页版入口，实现维修过程的记录，起到维修过程可追溯的效果。[0062] 为了得知设备的使用寿命从而了解设备的大概使用时间，使工作人员能在关键节点内做出检修或更换的相应操作，获取生成维修信号的待维修设备进行维修后和生产不维修信号的设备在单位时间内的运行参数，即实时温度和实时振幅。设定单位时间的初始时间为T1，结束时间为Tv；以运行时间t为X轴，以实时温度值A1和实时振幅值A2为Y轴，构建时间与运行参数坐标系，将得到的运行参数代入到以构建运行参数最大值和最小值的坐标系中，得到实时运行参数曲线，从而获取到偏离运行参数最大值和最小值范围的偏离值，即实时温度偏离值Aai和实时振幅偏离值Bbi，i＝{1，2，3...，n}；再分别对实时温度偏离值Aai和实时振幅偏离值Bbi求和取平均值得到实时温度偏离平均值 和实时振幅偏离平均值再通过设备运行阻碍公式得到设备运行阻碍系数Xg，设备运行阻碍公式为：[0063][0064] 其中，d1、d2为系数因子。[0065] 从数据库中调取预存的设备运行阻碍系数与设备剩余使用寿命关系表，将得到的设备运行阻碍系数Xg代入到该关系表内，从而对应得到该设备的使用寿命。[0066] 其中，上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数因子a1、a2、b1、b2、b3、c1、c2、c3、d1和d2均为根据实际情况进行设置。[0067] 如图2所示，本实施例还提供一种基于增强现实的船舶设备维修装置，该装置可实施上述基于增强现实的船舶设备维修方法，包括：[0068] 测量模块11，用于采集待维修设备的初始图像、待维修项目处理后的维修信息及生成维修信号的待维修设备进行维修后和生产不维修信号的设备的运行参数；[0069] 分析模块12，用于对待维修设备进行故障判断，生成维修信号和不维修信号，对生成维修信号的设备通过卷积神经网络进行识别和分辨，获得该设备的标识信息或三视图信息，通过标识信息获得类似度值或通过三视图信息获得外观相似值；[0070] 存储模块13，用于存储各设备的标准设备类似度值、标准外观相似值、维修信息、虚拟模型、待维修项目以及待维修项目的位置信息；[0071] 维修模块14，用于根据维修信息获取存储模块中待维修设备的虚拟模型、待维修项目以及待维修项目的位置信息，并将虚拟模型叠加显示于用户视野所及的空间区域，根据待维修项目的位置信息在叠加显示的虚拟模型上标注待维修项目；[0072] 预测模块15，用于根据测量模块获得的运行参数预测待维修设备的使用寿命；[0073] 中央处理器16，用于控制所述测量模块、分析模块、存储模块、维修模块和预测模块。[0074] 如图3所示，本实施例还提供一种基于增强现实的船舶设备维修装置，包括：[0075] 测量装置21，用于采集待维修设备的初始图像、待维修项目处理后的维修信息及生成维修信号的待维修设备进行维修后和生产不维修信号的设备的运行参数；[0076] AR显示设备22，可供用户穿戴；[0077] 处理器23，执行计算机程序以实现上述基于增强现实的船舶设备维修方法；[0078] 存储器24，存储由所述处理器执行的计算机程序。[0079] 如图4所示，产品的虚拟模型为长方体，维修任务之一是测量产品的尺寸，长方体模型的一棱侧边标注有文字“请测量”。

专利地区：浙江

专利申请日期：2022-09-16

专利公开日期：2024-11-08

专利公告号：CN115512253B