开云优惠体育网页版入口

专利名称：激光点云与图像融合的海上风机登乘舷梯姿态估计方法

专利类型：发明专利

专利申请号：CN202410222794.X

专利申请（专利权）人：内蒙古工业大学
权利人地址：内蒙古自治区呼和浩特市新城区爱民街49号

专利发明（设计）人：张丽杰,樊红磊,张宇洋,余升亮

专利摘要：本发明涉及海上风机测控技术领域，具体涉及激光点云与图像融合的海上风机登乘舷梯姿态估计方法，包括以下步骤：在海上风机的运维舷梯前端安装激光雷达和工业相机；在离线阶段进行设备标定，建立激光点云数据到图像数据的空间变换矩阵，采集激光点云和图像数据并进行预处理构建海上风机登陆平台点云模型，同时构建海上风机登陆口检测模型并进行训练；基于在线阶段再次采集激光点云和图像数据，应用训练好的海上风机登陆口检测模型检测风机登陆口的目标点云，并使用改进快速全局配准算法计算海上风机登乘舷梯与登陆平台之间的相对姿态。本发明，为登乘舷梯与海上风机登陆口的平稳对接提供了有力的技术支持，从而显著降低了海上作业的风险。

主权利要求：
1.激光点云与图像融合的海上风机登乘舷梯姿态估计方法，其特征在于，包括以下步骤：
S1，设备配置和数据采集：在海上风机的运维舷梯前端安装激光雷达和工业相机，所述激光雷达和工业相机在离线阶段和在线阶段均收集数据，所述离线阶段用于标定和模型训练，所述在线阶段用于数据采集和姿态估计；
S2：在离线阶段进行设备标定，建立激光点云数据到图像数据的空间变换矩阵，采集激光点云和图像数据并进行预处理构建海上风机登陆平台点云模型，同时构建海上风机登陆口检测模型并进行训练，所述预处理具体包括：S21，筛选：凸毓獾牡椭柿渴、对图像数据进行边缘增强和对比度调整，采用高斯：退婊诘布际趵┏涫菁，以保证风机登陆口检测模型的精度和鲁棒性；
S22，将图像数据分辨率进行调整，使图像数据与点云数据具有同一尺度；
S23，对处理得到的图像数据和激光点云数据分别进行标注，包括：
标注出风机登陆平台图像检测框的平面位置和标签类别；
标注出风机登陆平台激光点云检测框的空间位置和标签类别；
预处理后的激光点云和图像数据按比例划分为训练集、验证集和测试集，采用训练集训练基于激光点云及图像数据融合的双支路深度神经网络，从而得到基于双支路深度神经网络的海上风机登陆口检测模型，采用验证集优化模型，采用测试集评估模型的性能；
所述双支路深度神经网络包括图像数据处理支路、激光点云数据处理支路、激光点云/图像特征融合网络以及目标检测模块；
所述图像数据处理支路结合YOLOV8网络结构和SE权重提取方法，针对图像特征提取进行优化，生成图像特征图和提取海上风机登陆口的图像特征图；
所述激光点云数据处理支路利用PointPillars网络和压缩激励网络提取激光点云特征；
所述激光点云/图像特征融合网络采用图像特征权重对激光点云特征进行校准，对海上风机登陆口的图像特征权重和激光点云特征权重进行加权融合，在表示目标特征时激光点云信息和图像信息具有互补性，调整图像特征权重的权重系数、激光点云特征权重的权重系数，再将融合后权重作为激光点云特征图权重，得到融合特征；
所述目标检测模块采用SSD检测头对融合特征进行检测，得到海上风机登陆口目标点云；
所述YOLOV8网络结构和SE权重提取方法具体包括：
S24，采用YOLOV8骨干网络对风机登陆平台图像进行特征提。来紊啥喔龀叽绲奶卣魍，在YOLOV8骨干网络中的C2f中增加BiFormer注意力机制，并采用并联和跳跃连接结构，形成C2f?Parallel?Bif模块，同时将YOLOV8骨干网络中的3*3卷积核改为5*5卷积核；
S25，用YOLOV8颈部网络，对最小尺寸的特征图进行多尺度特征提取和融合，提取风机登陆平台的中心点、边缘、纹理、颜色、结构特征，依次生成多尺寸的图像特征图，并将C2f替换为C2f?Parallel?Bif模块，将3*3卷积核改为5*5卷积核；
S26，采用筛选激光点云数据的图像特征提取网络，提取图像特征图；
S27，考虑S25生成的多尺寸的图像特征图的相关性，采用压缩和激励网络中的权重提取网络分别提取权重，对每个尺度特征图依次进行全局池化、ReLU激活函数、全连接层、Sigmoid激活函数处理，得到对应通道的图像特征权重向量以及权重向量的维数；
S3：基于在线阶段再次采集激光点云和图像数据，应用训练好的海上风机登陆口检测模型检测风机登陆口的目标点云，并使用改进快速全局配准算法计算海上风机登乘舷梯与登陆平台之间的相对姿态，所述改进快速全局配准算法基于距离权重和颜色相干向量，根据检测得到的海上风机登陆口目标点云P和海上风机登陆口点云模型Q解算得到海上风机登乘舷梯与风机登陆平台的相对姿态角，具体包括：S31，利用快速点特征描述算法FPFH提取P、Q的特征点p、q及相应的FPFH描述子，在工业相机采集的图像中，找到与特征点p、q位置对应的像素点，提取该像素点像素邻域内的颜色相干向量CCV及相应的CCV描述子；
S32，分别将CCV描述子、特征点p的FPFH描述子以及特征点q的FPFH描述子进行融合，得到CFPFH(p)描述子和CFPFH(q)描述子，对CFPFH(p)描述子和CFPFH(q)描述子进行特征匹配，得到关系集K；
S33，定义基于距离权重的误差函数，将其作为目标函数，以减小p和q的匹配误差，根据关系集K，求解目标函数最小时p与q之间的变换矩阵T，即：其中，d为特征点p到点云P的质心的欧氏距离，ɑ(d)为距离权重函数，距离权重函数参数根据海上风机登陆平台的长轴长度计算得到，ρ为Geman?McClure鲁棒函数，T由旋转变换参数rij(i,j＝1,2,3)和平移变换参数ti(i＝x,y,z)组成：S34，将变换矩阵T中的旋转变换参数和平移变换参数代入罗德里格斯公式，求解得到海上风机登乘舷梯与风机登陆平台的相对姿态角和相对位移，所述相对姿态角包括俯仰角、滚转角、偏航角。
2.根据权利要求1所述的激光点云与图像融合的海上风机登乘舷梯姿态估计方法，其特征在于，所述激光点云数据处理支路根据所述图像数据处理支路输出的图像特征图对激光点云数据进行筛。顺弈勘晏卣餍畔⒒蛉跆卣餍畔⒌牡阍剖，生成若干个柱Pillar，将生成的柱Pillar作为PointPillars网络的输入，提取海上风机登陆口的激光点云特征，依次生成多尺寸的激光点云特征图，采用压缩和激励网络中的权重提取网络分别提取不同尺度激光点云特征图的权重，对每个尺度特征图依次进行全局池化、ReLU激活函数、全连接层、Sigmoid激活函数处理，得到多个激光点云通道的权重向量以及权重向量的维数。
3.根据权利要求2所述的激光点云与图像融合的海上风机登乘舷梯姿态估计方法，其特征在于，所述对激光点云数据进行筛选包括：采用空间变换矩阵将点云数据变换至图像空间，在图像特征图中检索与点云数据对应的特征值，筛掉图像特征值大于阈值的对应点云数据，图像特征值的阈值通过大津率法计算得到；
对于筛选后的点云数据，划分成若干个Pillar，采用空间变换矩阵将点云数据变换至图像空间，在图像特征图中检索与点云数据对应的特征值，按照对应的图像特征值对每个Pillar中的点云数据进行由大到小排序，仅保留每个Pillar中的前32个点云数据，筛掉其余点云数据。
4.根据权利要求1所述的激光点云与图像融合的海上风机登乘舷梯姿态估计方法，其特征在于，所述关系集K表示为：CFPFH(x)＝[FPFH(x),CCV(x)]x＝p,q；
K＝{(CFPFH(p1),CFPFH(q1)),......,(CFPFH(pn),CFPFH(qn))}。 说明书 : 激光点云与图像融合的海上风机登乘舷梯姿态估计方法技术领域[0001] 本发明涉及海上风机测控技术领域，尤其涉及激光点云与图像融合的海上风机登乘舷梯姿态估计方法。背景技术[0002] 在海洋环境中，由于海浪和潮汐的波动，使用非自稳定式的运维设备(如登乘舷梯)在海上摆渡船登陆大船或海上平台时面临着较大的挑战。这些波动导致登乘舷梯与目标(如海上风机登陆口)之间的对接变得不稳定，为登乘人员带来了较大的风险。因此，准确测量并估计登乘舷梯与海上风机登陆口之间的相对姿态信息变得至关重要，这是实现二者准确、平稳对接的前提条件。[0003] 目前，姿态估计主要依赖于两种方法：基于视觉图像的方法和基于惯性传感器的方法。基于视觉图像的方法能提供丰富的感知信息，但其性能易受环境因素(如光照)的影响，而基于惯性传感器的方法虽然不受光照等外部因素影响，但其精度受限于传感器本身，难以独立提供高精度的姿态估计。[0004] 鉴于单一测量方法的局限性，融合不同测量方法的互补优势，以提高姿态估计的精度和可靠性，已成为姿态测量技术发展的重要趋势。在这一背景下，本技术提出了一种融合激光点云与图像的海上风机登乘舷梯姿态估计方法，不仅提高了姿态估计的准确性和可靠性，而且为登乘舷梯与海上风机登陆口的平稳对接提供了有力的技术支持，从而显著降低了海上作业的风险。发明内容[0005] 基于上述目的，本发明提供了激光点云与图像融合的海上风机登乘舷梯姿态估计方法。[0006] 激光点云与图像融合的海上风机登乘舷梯姿态估计方法，包括以下步骤：[0007] S1，设备配置和数据采集：在海上风机的运维舷梯前端安装激光雷达和工业相机，所述激光雷达和工业相机在离线阶段和在线阶段均收集数据，所述离线阶段用于标定和模型训练，所述在线阶段用于数据采集和姿态估计；[0008] S2：在离线阶段进行设备标定，建立激光点云数据到图像数据的空间变换矩阵，采集激光点云和图像数据并进行预处理构建海上风机登陆平台点云模型，同时构建海上风机登陆口检测模型并进行训练；[0009] S3：基于在线阶段再次采集激光点云和图像数据，应用训练好的海上风机登陆口检测模型检测风机登陆口的目标点云，并使用改进快速全局配准算法计算海上风机登乘舷梯与登陆平台之间的相对姿态。[0010] 进一步的，所述S2中的预处理具体包括：[0011] S21，筛选：凸毓獾牡椭柿渴、对图像数据进行边缘增强和对比度调整，采用高斯：退婊诘布际趵┏涫菁，以保证风机登陆口检测模型的精度和鲁棒性；[0012] S22，将图像数据分辨率进行调整，使图像数据与点云数据具有同一尺度；[0013] S23，对处理得到的图像数据和激光点云数据分别进行标注，包括：[0014] 标注出风机登陆平台图像检测框的平面位置和标签类别；[0015] 标注出风机登陆平台激光点云检测框的空间位置和标签类别。[0016] 进一步的，所述S2中预处理后的激光点云和图像数据按比例划分为训练集、验证集和测试集，采用训练集训练基于激光点云及图像数据融合的双支路深度神经网络，从而得到基于双支路深度神经网络的海上风机登陆口检测模型，采用验证集优化模型，采用测试集评估模型的性能。[0017] 进一步的，所述双支路深度神经网络包括图像数据处理支路、激光点云数据处理支路、激光点云/图像特征融合网络以及目标检测模块；[0018] 所述图像数据处理支路结合YOLOV8网络结构和SE权重提取方法，针对图像特征提取进行优化，生成图像特征图和提取海上风机登陆口的图像特征图；[0019] 所述激光点云数据处理支路利用PointPillars网络和压缩激励网络提取激光点云特征；[0020] 所述激光点云/图像特征融合网络采用图像特征权重对激光点云特征进行校准，对海上风机登陆口的图像特征权重和激光点云特征权重进行加权融合，在表示目标特征时激光点云信息和图像信息具有互补性，调整图像特征权重的权重系数、激光点云特征权重的权重系数，再将融合后权重作为激光点云特征图权重，得到融合特征；[0021] 所述目标检测模块采用SSD检测头对融合特征进行检测，得到海上风机登陆口目标点云。[0022] 进一步的，所述YOLOV8网络结构和SE权重提取方法具体包括：[0023] S24，采用YOLOV8骨干网络对风机登陆平台图像进行特征提。来紊啥喔龀叽绲奶卣魍，在YOLOV8骨干网络中的C2f中增加BiFormer注意力机制，并采用并联和跳跃连接结构，形成C2f?Parallel?Bif模块，同时将YOLOV8骨干网络中的3*3卷积核改为5*5卷积核；[0024] S25，用YOLOV8颈部网络，对最小尺寸的特征图进行多尺度特征提取和融合，提取风机登陆平台的中心点、边缘、纹理、颜色、结构特征，依次生成多尺寸的图像特征图，并将C2f替换为C2f?Parallel?Bif模块，将3*3卷积核改为5*5卷积核；[0025] S26，采用筛选激光点云数据的图像特征提取网络，提取图像特征图；[0026] S27，考虑S25生成的多尺寸的图像特征图的相关性，采用压缩和激励网络中的权重提取网络分别提取权重，对每个尺度特征图依次进行全局池化、全连接层、ReLU激活函数、全连接层、Sigmoid激活函数处理，得到对应通道的图像特征权重向量以及权重向量的维数。[0027] 进一步的，所述激光点云数据处理支路根据所述图像处理支路输出的图像特征图对激光点云数据进行筛。顺弈勘晏卣餍畔⒒蛉跆卣餍畔⒌牡阍剖，生成若干个柱Pillar，将生成的柱Pillar作为PointPillars网络的输入，提取海上风机登陆口的激光点云特征，依次生成多尺寸的激光点云特征图，采用压缩和激励网络中的权重提取网络分别提取不同尺度激光点云特征图的权重，对每个尺度特征图依次进行全局池化、全连接层、ReLU激活函数、全连接层、Sigmoid激活函数处理，得到多个激光点云通道的权重向量以及权重向量的维数。[0028] 进一步的，所述对激光点云数据进行筛选包括：[0029] 采用空间变换矩阵将点云数据变换至图像空间，在图像特征图中检索与点云数据对应的特征值，筛掉图像特征值大于阈值的对应点云数据，图像特征值的阈值通过大津率法计算得到；[0030] 对于筛选后的点云数据，划分成若干个Pillar，采用空间变换矩阵将点云数据变换至图像空间，在图像特征图中检索与点云数据对应的特征值，按照对应的图像特征值对每个Pillar中的点云数据进行由大到小排序，仅保留每个Pillar中的前32个点云数据，筛掉其余点云数据。[0031] 进一步的，所述S3中的改进快速全局配准算法基于距离权重和颜色相干向量，根据检测得到的海上风机登陆口目标点云P和海上风机登陆口点云模型Q解算得到海上风机登乘舷梯与风机登陆平台的相对姿态角，具体包括：[0032] S31，利用快速点特征描述算法FPFH提取P、Q的特征点p、q及相应的FPFH描述子，在工业相机采集的图像中，找到与特征点p、q位置对应的像素点，提取该像素点像素邻域内的颜色相干向量CCV及相应的CCV描述子；[0033] S32，分别将CCV描述子、特征点p的FPFH描述子以及特征点q的FPFH描述子进行融合，得到CFPFH(p)描述子和CFPFH(q)描述子，对CFPFH(p)描述子和CFPFH(q)描述子进行特征匹配，得到关系集K；[0034] S33，定义基于距离权重的误差函数，将其作为目标函数，以减小p和q的匹配误差，根据关系集K，求解目标函数最小时p与q之间的变换矩阵T，即：[0035][0036] 其中，d为特征点p到点云P的质心的欧氏距离，ɑ(d)为距离权重函数，距离权重函数参数根据海上风机登陆平台的长轴长度计算得到，ρ为Geman?McClure鲁棒函数，T由旋转变换参数rij(i,j＝1,2,3)和平移变换参数ti(i＝x,y,z)组成：[0037][0038] S34，将变换矩阵T中的旋转变换参数和平移变换参数代入罗德里格斯公式，求解得到海上风机登乘舷梯与风机登陆平台的相对姿态角和相对位移，所述相对姿态角包括俯仰角、滚转角、偏航角。[0039] 进一步的，所述关系集K表示为：[0040] CFPFH(x)＝[FPFH(x),CCV(x)]x＝p,q；[0041] K＝{(CFPFH(p1),CFPFH(q1)),......,(CFPFH(pn),CFPFH(qn))}。[0042] 本发明的有益效果：[0043] 精确的姿态估计：通过在海上风机登乘舷梯前端安装激光雷达和相机，采集激光点云数据和图像数据，并基于这些数据检测海上风机登陆口，该方法能够精确解算出登乘舷梯与海上风机登陆平台之间的相对姿态。[0044] 激光点云与图像融合的深度学习方法：开发了一种融合激光点云和图像数据的双支路深度神经网络，通过改进Pointpillars网络和YOLOV8网络中的关键部分，提高了风机登陆口的检测精度，从而增强了姿态估计的精度和抗干扰性。[0045] 高效的数据融合策略：实施了两级数据融合策略以提升姿态估计的性能。一级融合通过图像特征筛选相关的激光点云数据，减少了无关数据的干扰，提高了处理速度。二级融合则依据图像特征权重对点云特征进行校正，进一步提升了检测精度和姿态估计的可靠性。[0046] 改进特征匹配算法：对快速全局注册(FastGlobalRegistration,FGR)算法进行了改进，引入了颜色相干向量(CCV)并考虑了模型点云与目标点云特征之间的距离影响，通过定义包含距离权重函数的误差函数来优化变换矩阵的求解精度，从而进一步提升了姿态估计的精度。附图说明[0047] 为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0048] 图1为本发明中相机和激光雷达的安装示意图；[0049] 图2为本发明在线阶段数据处理流程；[0050] 图3为本发明中海上风机登陆口点云模型图；[0051] 图4为本发明中姿态估计方法主流程图；[0052] 图5为本发明中C2f?Parallel?Bif模块结构图；[0053] 图6为本发明中基于距离权重和颜色相干向量的改进FGR算法流程图；[0054] 图7为本发明输出俯仰角的误差曲线图；[0055] 图8为本发明输出横滚角的误差曲线图；[0056] 图9为本发明输出偏航角的误差曲线图。具体实施方式[0057] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。[0058] 需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。[0059] 如图1?9所示，激光点云与图像融合的海上风机登乘舷梯姿态估计方法，包括在海上风机运维舷梯前端安装激光雷达与工业相机，如图1所示，通过迈德威视MV?GE31型工业相机采集得到分辨率为640*480的RBG三通道图像数据，通过镭神开云优惠体育网页版入口CH32A型激光雷达采集32线激光点云数据。[0060] 激光点云与图像融合的海上风机登乘舷梯姿态估计方法包括离线阶段和在线阶段。[0061] 激光点云与图像融合的海上风机登乘舷梯姿态估计方法的离线阶段包括以下步骤：[0062] S1.制作标定板，标记四个边缘点和四个圆孔，采用激光雷达和相机分别采集标定板的点云数据和图像数据，依据已知的边缘点和圆孔，对激光雷达和相机进行标定，得到点云空间至图像空间的变换矩阵TP,T；[0063] S2.采用激光雷达和工业相机同步采集风机登陆口的激光点云和图像数据，之后对数据进行预处理和标注，首先筛选掉：凸毓獾牡椭柿渴、对图像数据进行边缘增强和对比度调整、采用高斯：退婊诘布际趵┏涫菁，以保证风机登陆口检测模型的精度和鲁棒性，其次为了使图像数据与点云数据具有同一尺度，将640*480*3图像数据变换为992*864*3图像数据，最后采用LabelImg软件标注出风机登陆平台图像检测框的平面位置和标签类别，采用LabelCloud软件标注出风机登陆平台激光点云检测框的空间位置和标签类别，并存储海上风机登陆平台点云模型，如图2所示；[0064] S3.将数据按7:2:1的比例划分为训练集、验证集和测试集，采用训练集训练激光点云/图像融合的双支路深度神经网络，得到基于双支路深度神经网络的海上风机登陆口检测模型，并采用验证集优化模型，采用测试集评估模型的性能。[0065] 激光点云与图像融合的海上风机登乘舷梯姿态估计方法的在线阶段数据处理流程如图2所示，包括以下步骤：[0066] S1.采用激光雷达和工业相机实时同步采集风机登陆口的激光点云和图像数据；[0067] S2.采用基于双支路深度神经网络的海上风机登陆口检测模型检测得到海上风机登陆口目标点云，包括图像数据处理支路、激光点云数据处理支路、激光点云/图像特征融合网络和目标检测模块。[0068] S3.采用基于距离权重和颜色相干向量的改进快速全局配准(FastGlobalRegistration，FGR)算法对风机登陆平台点云模型和检测得到的目标点云进行特征匹配，根据匹配得到的变换矩阵解算得到海上风机登乘舷梯与风机登陆平台的相对姿态。[0069] 在线阶段的图像数据处理支路网络结构，包括以下步骤：[0070] S1.为了使图像数据与点云数据具有同一尺度，将离线阶段640*480*3的图像数据变换为992*864*3的图像数据；[0071] S2.采用YOLOV8骨干网络(backbone)对风机登陆平台图像进行特征提。来紊沙叽缥496*432*32、248*216*64、124*108*128、62*59*256的特征图。其中，为了提高YOLOV8骨干网络(backbone)的特征提取能力，在网络中的C2f中增加BiFormer注意力机制，并采用并联和跳跃连接结构，形成C2f?Parallel?Bif模块，如图5所示，同时考虑到风机登陆平台目标较大，为了使图像特征图具有更大的感受野，将网络中的3*3卷积核改为5*5卷积核。[0072] S3.用YOLOV8颈部(neck)网络，对S2得到的62*59*256特征图进行多尺度特征提取和融合，提取风机登陆平台的中心点、边缘、纹理、颜色、结构等特征，依次生成尺寸为248*216*64、124*108*128以及62*59*256的图像特征图。其中，为了提高YOLOV8颈部网络的特征提取和融合能力，兼顾目标图像的分辨率和完整性，将网络中的C2f替换为C2f?Parallel?Bif(图5)，并将网络中的3*3卷积核改为5*5卷积核。[0073] S4.采用筛选激光点云数据的图像特征提取网络，提取图像特征图。该网络首先对S3生成的248*216*64图像特征图进行上采样，将S2生成的496*432*32图像特征图进行融合后，采用C2f?Parallel?Bif模块(图5)对融合后的特征图进行特征提。恢，再次采用上述方法进行上采样和特征提。蛔詈，对特征图进行池化、归一化和Softmax处理，得到用于筛选激光点云数据的图像特征图。[0074] S5.考虑S3生成的248*216*64、124*108*128和62*59*256等三个尺度(通道)特征图的相关性，采用压缩和激励网络(SENet)中的权重提取网络分别提取三个尺度特征图的权重，对每个尺度特征图依次进行全局池化(Globalpooling)、全连接层(FC)、ReLU激活函数、全连接层(FC)、Sigmoid激活函数等处理，得到三个通道的图像特征权重向量，权重向量的维数分别为1*1*64、1*1*128、1*1*256。[0075] 在线阶段的激光点云数据处理支路网络结构，包括以下步骤：[0076] S1.采用离线阶段得到的变换矩阵TP,I将点云数据变换至图像空间，在图像数据处理支路生成的图像特征图中检索与点云数据对应的特征值，通过大津率法计算得到特征阈值，筛掉图像特征值大于阈值(通过大津率法计算得到)的对应点云数据；[0077] S2.将筛选后的点云数据划分成若干个Pillar，采用离线阶段得到的变换矩阵TP,I将点云数据变换至图像空间，在在图像数据处理支路生成的图像特征图中检索与点云数据对应的特征值，因为激光点云数据处理支路中采用的PointPillar网络，要求生成的每个pillar中包含的点云数据最多为32个，所以按照对应的图像特征值对每个Pillar中的点云数据进行由大到小排序，仅保留每个Pillar中的前32个点云数据，筛掉其余点云数据；[0078] S3.将生成的Pillar作为PointPillars网络的输入，提取海上风机登陆口的激光点云特征，依次生成尺寸为248*216*64、124*108*128和62*54*256的激光点云特征图，之后采用压缩和激励网络(SENet)中的权重提取网络分别提取三个尺度激光点云特征图的权重，对每个尺度特征图依次进行全局池化(Globalpooling)、全连接层(FC)、ReLU激活函数、全连接层(FC)、Sigmoid激活函数等处理，得到三个激光点云通道的权重向量，权重向量的维数分别为1*1*64、1*1*128、1*1*256。[0079] 在线阶段的激光点云/图像特征融合网络和目标检测模块的网络结构，包括以下步骤：[0080] S1.对图像处理支路输出的图像特征权重和激光点云支路输出的点云特征权重进行加权融合，考虑海上环境天气多变，而图像信息比激光点云信息更易受光照变化的影响，因此图像特征权重的权重系数为0.3，激光点云特征权重的权重系数为0.7；[0081] S2.将融合后的权重作为激光点云特征的权重，对激光点云支路输出的点云特征进行校准，作为融合特征；[0082] S3.采用SSD检测头对融合特征进行检测，得到海上风机登陆口目标点云。[0083] 在线阶段的基于距离权重和颜色相干向量的改进快速全局配准(FastGlobalRegistration，FGR)算法流程如图6所示，包括以下步骤：[0084] S1.利用快速点特征描述(FastPointFeatureHistograms，FPFH)算法提取海上风机登陆口目标点云P、海上风机登陆口点云模型Q的特征点p、q及相应的FPFH描述子(高维描述子)，在相机采集的图像中，找到与特征点p、q位置对应的像素点，提取并得到该点像素邻域内的颜色相干向量(ColorCo?ccurrenceVector，CCV)及相应的CCV描述子(低维描述子)。[0085] S2.为了提高特征描述子的精度，分别将CCV描述子与特征点p的FPFH描述子和特征点q的FPFH描述子进行融合，得到CFPFH(p)描述子和CFPFH(q)描述子，对CFPFH(p)描述子和CFPFH(q)描述子进行特征匹配，得到关系集K，其中，[0086] CFPFH(x)＝[FPFH(x),CCV(x)]x＝p,q[0087] K＝{(CFPFH(p1),CFPFH(q1)),......,(CFPFH(pn),CFPFH(qn))}[0088] S3.因为距离点云质心越远的点包含的目标特征信息越少，所以为了减小p和q的匹配误差，定义基于距离权重的误差函数，将其作为目标函数，根据关系集K，求解目标函数最小时p与q之间的变换矩阵T，即[0089][0090] 式中，d为特征点p到点云P的质心的欧氏距离，ɑ(d)为距离权重函数，其参数根据海上风机登陆平台的长轴长度计算得到，ρ为Geman?McClure鲁棒函数，T由旋转变换和平移变换组成，[0091][0092][0093][0094] S4.将变换矩阵T中的旋转变换参数rij(i,j＝1,2,3)和平移变换参数ti(i＝x,y,z)代入罗德里格斯公式，求解得到海上风机登乘舷梯与风机登陆平台的相对姿态角(俯仰角、滚转角、偏航角)和相对位移。[0095] 在本申请的实施例中，依据双支路深度神经网络结构和图6基于距离权重和颜色相干向量的改进FGR算法流程图，采用Python编写算法程序，并在PC机上运行。为了验证本发明的效果，将制作的海上风机登陆平台实物模型放置于调平的实验台上，将迈德威视MV?GE31型工业相机和镭神开云优惠体育网页版入口CH32A型激光雷达安装在六自由度摇摆台上，控制摇摆台动作，观测算法运行结果和摇摆台输出理论值，姿态角估计误差曲线如图7、图8、图9所示，均方根误差(RMSE)见表1，姿态角误差小于0.7°。实验结果表明，本发明提供的激光点云与图像融合的海上风机登乘舷梯姿态估计方法具有实现成本低、精度高的特点，为实现海上风机登乘舷梯的准确对接提供可靠高精度的姿态信息。[0096] 表1姿态角估计误差[0097] RX Ry RzRMSE 0.669 0.608 0.575标准差 0.622 0.378 0.458[0098] 所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。[0099] 本发明旨在涵盖落入权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

专利地区：内蒙古

专利申请日期：2024-02-28

专利公开日期：2024-11-29

专利公告号：CN118115588B