开云优惠体育网页版入口

专利名称：一种测绘作业数据的实时采集处理方法及系统

专利类型：发明专利

专利申请号：CN202410502708.0

专利申请（专利权）人：宜昌市勘察测绘研究院有限公司
权利人地址：湖北省宜昌市伍家岗区沿江大道189号

专利发明（设计）人：吕良楷,刘进甫,邹洋,卢云辉,覃进,王卫华,李威,王寅

专利摘要：本发明涉及测绘技术领域，提供一种测绘作业数据的实时采集处理方法及系统，该方法包括：获取城市建筑物影像以及城市建筑物影像的交互信息；将城市建筑物影像和交互信息输入至建筑物提取神经网络模型，得到建筑物提取神经网络模型输出的建筑物提取结果；将城市建筑物影像及其对应的分割影像进行影像匹配，得到匹配特征点；匹配特征点包括第一特征点与第二特征点；基于第一特征点与第二特征点对城市建筑物影像进行赋色。本发明基于城市建筑物影像和交互信息进行建筑物提。杂谄屏亢臀荻シ指钐崛〉淖既沸愿，提高了建筑物提取准确性，同时不需重新采集点云数据和点云建模即可对建筑物进行赋色，实现了对点云数据的复用，降低了采集成本。

主权利要求：
1.一种测绘作业数据的实时采集处理方法，其特征在于，包括
获取城市建筑物影像以及所述城市建筑物影像的交互信息；所述城市建筑物图像的交互信息包括建筑物的类型及用途、建筑物的状态、建筑物的规模及高度、建筑物之间的空间关系、建筑物的设计风格和建筑物的功能服务；
将所述城市建筑物影像和所述交互信息输入至建筑物提取神经网络模型，得到所述建筑物提取神经网络模型输出的建筑物提取结果；所述建筑物提取神经网络模型包括特征提取模块、特征解码模块和坐落推理模块；所述建筑物提取结果包括建筑屋顶提取结果、建筑偏移量提取结果和建筑物坐落提取结果；
将所述城市建筑物影像及其对应的分割影像进行影像匹配，得到匹配特征点；所述匹配特征点包括第一特征点与第二特征点；所述第一特征点是基于所述城市建筑物影像确定的；所述第二特征点是基于所述分割影像确定的；所述第一特征点与所述第二特征点对应匹配；
基于所述第一特征点与所述第二特征点对所述城市建筑物影像进行赋色；
所述将所述城市建筑物影像和所述交互信息输入至建筑物提取神经网络模型，得到所述建筑物提取神经网络模型输出的建筑物提取结果，包括：将所述城市建筑物影像和所述交互信息输入至所述特征提取模块，得到所述特征提取模块输出的前时相影像块特征图和交互特征；
将所述前时相影像块特征图和所述交互特征输入至所述特征解码模块，得到所述特征解码模块输出的建筑屋顶提取结果和建筑偏移量提取结果；
将所述建筑屋顶提取结果和所述建筑偏移量提取结果输入至所述坐落推理模块，得到所述坐落推理模块输出的建筑物坐落提取结果。
2.根据权利要求1所述的测绘作业数据的实时采集处理方法，其特征在于，所述将所述城市建筑物影像和所述交互信息输入至所述特征提取模块，得到所述特征提取模块输出的前时相影像块特征图和交互特征，包括：基于影像特征提取网络对所述城市建筑物影像进行特征提。玫匠鞘薪ㄖ物影像特征图；
基于交互信息编码器对所述交互信息进行编码，得到交互特征；
根据所述城市建筑物影像和所述交互信息，对所述城市建筑物影像特征图和所述交互特征进行配对，输出所述前时相影像块特征图和所述交互特征。
3.根据权利要求2所述的测绘作业数据的实时采集处理方法，其特征在于，所述将所述前时相影像块特征图和所述交互特征输入至所述特征解码模块，得到所述特征解码模块输出的建筑屋顶提取结果和建筑偏移量提取结果，包括：基于双向注意力网络对所述前时相影像块特征图和所述交互特征进行信息提。玫狡屏苛钆坪陀镆逖谀ち钆疲
将所述偏移量令牌输入至第一全连接网络，得到所述第一全连接网络输出的建筑偏移量提取结果；
将所述语义掩膜令牌输入至第二全连接网络，得到所述第二全连接网络输出的建筑屋顶提取结果。
4.根据权利要求3所述的测绘作业数据的实时采集处理方法，其特征在于，所述将所述建筑屋顶提取结果和所述建筑偏移量提取结果输入至所述坐落推理模块，得到所述坐落推理模块输出的建筑物坐落提取结果，包括：根据所述建筑偏移量提取结果选择解译头进行回归推理，得到屋顶偏移量；
根据所述屋顶偏移量对所述建筑屋顶提取结果进行偏移校正，得到所述建筑物坐落提取结果；
其中，所述根据所述建筑偏移量提取结果选择解译头进行回归推理的具体步骤包括：根据所述建筑偏移量提取结果选择用于回归推理的解译头，其表达式为：其中，ω代表选择器，是一组由0和1组成的向量，代表是否让 参与到i偏移量的回归；
为Aug头对i偏移量的预测， 为Ref头对i偏移量的预测， 为实际的针对i偏移量的预测结果。
5.根据权利要求1所述的测绘作业数据的实时采集处理方法，其特征在于，所述基于所述第一特征点与所述第二特征点对所述城市建筑物影像进行赋色，包括：基于所述第一特征点与所述第二特征点，确定所述城市建筑物影像与所述分割影像之间的第一转换矩阵；
基于所述分割影像、所述第一转换矩阵与第二转换矩阵对点云模型赋色；所述第二转换矩阵是所述城市建筑物影像与点云数据之间的转换矩阵；所述点云模型是基于所述点云数据确定的；所述点云模型中的各点与所述点云数据中的各点对应。
6.根据权利要求5所述的测绘作业数据的实时采集处理方法，其特征在于，所述第二转换矩阵是通过所述城市建筑物影像与所述点云数据的标定确定的；
所述基于所述分割影像、所述第一转换矩阵与第二转换矩阵对点云模型赋色，包括：基于所述第一转换矩阵与所述第二转换矩阵，确定所述分割影像与所述点云数据的转换关系；
基于所述转换关系，将所述分割影像上各点的RGB值赋色到对应的所述点云模型的各点上。
7.一种测绘作业数据的实时采集处理系统，其特征在于，包括：
获取模块，用于获取城市建筑物影像以及所述城市建筑物影像的交互信息；所述城市建筑物图像的交互信息包括建筑物的类型及用途、建筑物的状态、建筑物的规模及高度、建筑物之间的空间关系、建筑物的设计风格和建筑物的功能服务；
建筑物提取模块，用于将所述城市建筑物影像和所述交互信息输入至建筑物提取神经网络模型，得到所述建筑物提取神经网络模型输出的建筑物提取结果；所述建筑物提取神经网络模型包括特征提取模块、特征解码模块和坐落推理模块；所述建筑物提取结果包括建筑屋顶提取结果、建筑偏移量提取结果和建筑物坐落提取结果；
影像匹配模块，用于将所述城市建筑物影像及其对应的分割影像进行影像匹配，得到匹配特征点；所述匹配特征点包括第一特征点与第二特征点；所述第一特征点是基于所述城市建筑物影像确定的；所述第二特征点是基于所述分割影像确定的；所述第一特征点与所述第二特征点对应匹配；
建筑物赋色模块，用于基于所述第一特征点与所述第二特征点对所述城市建筑物影像进行赋色；
所述将所述城市建筑物影像和所述交互信息输入至建筑物提取神经网络模型，得到所述建筑物提取神经网络模型输出的建筑物提取结果，包括：将所述城市建筑物影像和所述交互信息输入至所述特征提取模块，得到所述特征提取模块输出的前时相影像块特征图和交互特征；
将所述前时相影像块特征图和所述交互特征输入至所述特征解码模块，得到所述特征解码模块输出的建筑屋顶提取结果和建筑偏移量提取结果；
将所述建筑屋顶提取结果和所述建筑偏移量提取结果输入至所述坐落推理模块，得到所述坐落推理模块输出的建筑物坐落提取结果。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述计算机软件程序，进而实现权利要求1?6任一项所述的测绘作业数据的实时采集处理方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如权利要求1?6任一项所述的测绘作业数据的实时采集处理方法。 说明书 : 一种测绘作业数据的实时采集处理方法及系统技术领域[0001] 本发明涉及测绘技术领域，尤其涉及一种测绘作业数据的实时采集处理方法及系统。背景技术[0002] 城市建筑物分布在城市规划、灾害管理、地理信息系统等多个领域都是重要的研究指标之一。建筑物提取是获取城市建筑物分布信息的关键步骤，对于理解城市结构、指导城市发展和应对紧急情况具有重要意义。[0003] 现有技术中，主要通过高分辨率遥感影像进行建筑物提。紫仁褂梦佬腔袢∧勘甑赜虻母叻直媛室８杏跋，再进一步使用统计学或神经网络模型等方式提取建筑物信息。然而，对于卫星拍摄时完全垂直于建筑物，或卫星拍摄时几乎垂直于建筑物，屋顶与坐落存在较大重叠的情形而言，神经网络模型可以通过直接进行建筑屋顶的语义分割，达到不错的提取效果；然而对于高度偏移情形，即卫星拍摄到大面积建筑体的侧面、屋顶和屋角的情形中，现有技术方案的效果并不理想，难以准确提取到高分辨率遥感影像中的建筑物信息。同时，在需要对建筑物赋色时，通过三维赋色技术赋色，但是，这种方式过于依赖在拍摄时通过全景相机采集的影像，点云数据的复用性不高，对于同一区域的不同时段需要进行多次采集建模，使得采集成本增高。发明内容[0004] 本发明针对现有技术中存在的技术问题，提供一种测绘作业数据的实时采集处理方法及系统，用以提高建筑物提取准确性，以及降低点云数据采集成本。[0005] 本发明解决上述技术问题的技术方案如下：[0006] 一种测绘作业数据的实时采集处理方法，包括：[0007] 获取城市建筑物影像以及所述城市建筑物影像的交互信息；[0008] 将所述城市建筑物影像和所述交互信息输入至建筑物提取神经网络模型，得到所述建筑物提取神经网络模型输出的建筑物提取结果；所述建筑物提取神经网络模型包括特征提取模块、特征解码模块和坐落推理模块；所述建筑物提取结果包括建筑屋顶提取结果、建筑偏移量提取结果和建筑物坐落提取结果；[0009] 将所述城市建筑物影像及其对应的分割影像进行影像匹配，得到匹配特征点；所述匹配特征点包括第一特征点与第二特征点；所述第一特征点是基于所述城市建筑物影像确定的；所述第二特征点是基于所述分割影像确定的；所述第一特征点与所述第二特征点对应匹配；[0010] 基于所述第一特征点与所述第二特征点对所述城市建筑物影像进行赋色。[0011] 根据本发明提供的一种测绘作业数据的实时采集处理方法，所述将所述城市建筑物影像和所述交互信息输入至建筑物提取神经网络模型，得到所述建筑物提取神经网络模型输出的建筑物提取结果，包括：[0012] 将所述城市建筑物影像和所述交互信息输入至所述特征提取模块，得到所述特征提取模块输出的前时相影像块特征图和交互特征；[0013] 将所述前时相影像块特征图和所述交互特征输入至所述特征解码模块，得到所述特征解码模块输出的建筑屋顶提取结果和建筑偏移量提取结果；[0014] 将所述建筑屋顶提取结果和所述建筑偏移量提取结果输入至所述坐落推理模块，得到所述坐落推理模块输出的建筑物坐落提取结果。[0015] 根据本发明提供的一种测绘作业数据的实时采集处理方法，所述将所述城市建筑物影像和所述交互信息输入至所述特征提取模块，得到所述特征提取模块输出的前时相影像块特征图和交互特征，包括：[0016] 基于影像特征提取网络对所述城市建筑物影像进行特征提。玫匠鞘薪ㄖ物影像特征图；[0017] 基于交互信息编码器对所述交互信息进行编码，得到交互特征；[0018] 根据所述城市建筑物影像和所述交互信息，对所述城市建筑物影像特征图和所述交互特征进行配对，输出所述前时相影像块特征图和所述交互特征。[0019] 根据本发明提供的一种测绘作业数据的实时采集处理方法，所述将所述前时相影像块特征图和所述交互特征输入至所述特征解码模块，得到所述特征解码模块输出的建筑屋顶提取结果和建筑偏移量提取结果，包括：[0020] 基于双向注意力网络对所述前时相影像块特征图和所述交互特征进行信息提。玫狡屏苛钆坪陀镆逖谀ち钆疲籟0021] 将所述偏移量令牌输入至第一全连接网络，得到所述第一全连接网络输出的建筑偏移量提取结果；[0022] 将所述语义掩膜令牌输入至第二全连接网络，得到所述第二全连接网络输出的建筑屋顶提取结果。[0023] 根据本发明提供的一种测绘作业数据的实时采集处理方法，所述将所述建筑屋顶提取结果和所述建筑偏移量提取结果输入至所述坐落推理模块，得到所述坐落推理模块输出的建筑物坐落提取结果，包括：[0024] 根据所述建筑偏移量提取结果选择解译头进行回归推理，得到屋顶偏移量；[0025] 根据所述屋顶偏移量对所述建筑屋顶提取结果进行偏移校正，得到所述建筑物坐落提取结果；[0026] 其中，所述根据所述建筑偏移量提取结果选择解译头进行回归推理的具体步骤包括：[0027] 根据所述建筑偏移量提取结果选择用于回归推理的解译头，其表达式为：[0028][0029] 其中，ω代表选择器，是一组由0和1组成的向量，代表是否让 参与到i偏移量的i回归； 为Aug头对i偏移量的预测， 为Ref头对i偏移量的预测，O 为实际的针对i偏移量的预测结果。[0030] 根据本发明提供的一种测绘作业数据的实时采集处理方法，所述基于所述第一特征点与所述第二特征点对所述城市建筑物影像进行赋色，包括：[0031] 基于所述第一特征点与所述第二特征点，确定所述城市建筑物影像与所述分割影像之间的第一转换矩阵；[0032] 基于所述分割影像、所述第一转换矩阵与第二转换矩阵对点云模型赋色；所述第二转换矩阵是所述城市建筑物影像与点云数据之间的转换矩阵；所述点云模型是基于所述点云数据确定的；所述点云模型中的各点与所述点云数据中的各点对应。[0033] 根据本发明提供的一种测绘作业数据的实时采集处理方法，所述第二转换矩阵是通过所述城市建筑物影像与所述点云数据的标定确定的；[0034] 所述基于所述分割影像、所述第一转换矩阵与第二转换矩阵对点云模型赋色，包括：[0035] 基于所述第一转换矩阵与所述第二转换矩阵，确定所述分割影像与所述点云数据的转换关系；[0036] 基于所述转换关系，将所述分割影像上各点的RGB值赋色到对应的所述点云模型的各点上。[0037] 本发明还提供一种测绘作业数据的实时采集处理系统，包括：[0038] 获取模块，用于获取城市建筑物影像以及所述城市建筑物影像的交互信息；[0039] 建筑物提取模块，用于将所述城市建筑物影像和所述交互信息输入至建筑物提取神经网络模型，得到所述建筑物提取神经网络模型输出的建筑物提取结果；所述建筑物提取神经网络模型包括特征提取模块、特征解码模块和坐落推理模块；所述建筑物提取结果包括建筑屋顶提取结果、建筑偏移量提取结果和建筑物坐落提取结果；[0040] 影像匹配模块，用于将所述城市建筑物影像及其对应的分割影像进行影像匹配，得到匹配特征点；所述匹配特征点包括第一特征点与第二特征点；所述第一特征点是基于所述城市建筑物影像确定的；所述第二特征点是基于所述分割影像确定的；所述第一特征点与所述第二特征点对应匹配；[0041] 建筑物赋色模块，用于基于所述第一特征点与所述第二特征点对所述城市建筑物影像进行赋色。[0042] 本发明还提供一种电子设备，包括：存储器，用于存储计算机软件程序；处理器，用于读取并执行所述计算机软件程序，进而实现如上述任一种所述测绘作业数据的实时采集处理方法。[0043] 本发明还提供一种非暂态计算机可读存储介质，其特征在于，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如上述任一种所述测绘作业数据的实时采集处理方法。[0044] 本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述测绘作业数据的实时采集处理方法。[0045] 本发明的有益效果是：基于城市建筑物影像和交互信息进行建筑物提。杂谄屏亢臀荻シ指钐崛〉淖既沸愿，具有更强的泛化性。在未知数据集的表现依然更加准确，提高了建筑物提取准确性。对于建筑、地形等要素，其点云模型并不会频繁改动，因此本发明只需采集目标的影像，而不需重新采集点云数据和点云建模，即可对已构建或未构建的点云模型进行赋色，即对建筑物进行赋色，从而实现了对点云数据的复用，降低了采集成本。附图说明[0046] 图1是本发明提供的测绘作业数据的实时采集处理方法的流程示意图；[0047] 图2是本发明提供的测绘作业数据的实时采集处理系统的结构示意图；[0048] 图3为本发明实施例提供的电子设备的实施例示意图；[0049] 图4为本发明实施例提供的计算机可读存储介质的实施例示意图。具体实施方式[0050] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0051] 在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。[0052] 在本发明的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本发明中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本发明所公开的原理和特征的最广范围相一致。[0053] 参照图1，图1是本发明提供的测绘作业数据的实时采集处理方法的流程示意图。以实时采集处理系统为执行主体说明，实时采集处理系统的其中一种表现形式为测绘系统，本发明的一种测绘作业数据的实时采集处理方法，包括：[0054] 步骤10，获取城市建筑物影像以及城市建筑物影像的交互信息。[0055] 可选的，测绘系统获取城市建筑物影像，城市建筑物影像为根据卫星获取的高分辨率遥感影像，可以问具有相同分辨率和尺寸的卫星遥感原始影像，也可以为对建筑物原始影像进行预处理后得到的城市建筑物影像。[0056] 可选的，对建筑物原始影像进行预处理后得到城市建筑物影像具体为：利用尺寸均匀、无重叠的滑动窗口裁剪经过预处理的建筑原始物影像Img，得到具有相同尺寸的影像块；得到尺寸为1024×1024×3的遥感影像，其中，滑窗最后一行影像块高度不足1024、最后一列影像块宽度不足1024的像素以0值填充；并在输入模型之前，使用四倍下采样将原始影像压缩为256×256×3。[0057] 可以理解的是，本发明实施例通过上述步骤得到的用于建筑物提取神经网络模型输入的城市建筑物影像为具有相同尺寸的影像块，并使用建筑物提取神经网络模型对影像块进行建筑物提。菇ㄖ物提取神经网络模型进行提取时更关注高分辨率遥感影像中的局部特征，降低建筑物在大尺度上的分布以及遥感影像中的其他环境特征对建筑物提取结果的影响。[0058] 可选的，测绘系统获取城市建筑物影像的交互信息，其中，城市建筑物图像的交互信息可以包括建筑物的类型及用途、建筑物的状态、建筑物的规模及高度、建筑物之间的空间关系、建筑物的设计风格和建筑物的功能服务。[0059] 步骤20，将城市建筑物影像和交互信息输入至建筑物提取神经网络模型，得到建筑物提取神经网络模型输出的建筑物提取结果。[0060] 可选的，测绘系统将城市建筑物影像和交互信息输入至建筑物提取神经网络模型，得到建筑物提取神经网络模型输出的建筑物提取结果，其中，建筑物提取神经网络模型包括特征提取模块、特征解码模块和坐落推理模块，建筑物提取结果包括建筑屋顶提取结果、建筑偏移量提取结果和建筑物坐落提取结果。[0061] 可选的，测绘系统将城市建筑物影像和交互信息输入至建筑物提取神经网络模型，得到建筑物提取神经网络模型输出的建筑物提取结果，包括：将城市建筑物影像和交互信息输入至特征提取模块，得到特征提取模块输出的前时相影像块特征图和交互特征，将前时相影像块特征图和交互特征输入至特征解码模块，得到特征解码模块输出的建筑屋顶提取结果和建筑偏移量提取结果，将建筑屋顶提取结果和建筑偏移量提取结果输入至坐落推理模块，得到坐落推理模块输出的建筑物坐落提取结果。[0062] 步骤30，将城市建筑物影像及其对应的分割影像进行影像匹配，得到匹配特征点。[0063] 可选的，测绘系统对城市建筑物影像进行分割，得到分割影像。例如，可以采用基于阈值的分割方法、基于边缘的分割方法或基于区域的分割方法等对城市建筑物影像进行分割，从而得到分割影像。[0064] 可选的，测绘系统可以先确定城市建筑物影像的分辨率，影像分辨率决定提取特征点的数量和质量，分割后的影像也应满足分辨率要求，以保持影像特征提取过程中对影像进行压缩、拉伸等变换后特征点提取的稳定性。此外，在进行影像匹配前，测绘系统可以通过计算城市建筑物影像中的灰度均值与分割影像的灰度均值，调节影像明暗，从而增加特征点提取的鲁棒性与健壮性。之后，测绘系统可以将城市建筑物影像与分割影像进行影像匹配(例如：通过暴力方法、最近邻搜索算法等进行影像匹配)，得到匹配特征点。其中，匹配特征点包括第一特征点与第二特征点，第一特征点是基于城市建筑物影像确定的；第二特征点是基于分割影像确定的，第一特征点与第二特征点一一对应匹配。[0065] 步骤40，基于第一特征点与第二特征点对城市建筑物影像进行赋色。[0066] 可选的，测绘系统根据第一特征点与第二特征点对城市建筑物影像赋色。[0067] 本发明实施例基于城市建筑物影像和交互信息进行建筑物提。杂谄屏亢臀荻シ指钐崛〉淖既沸愿，具有更强的泛化性。在未知数据集的表现依然更加准确，提高了建筑物提取准确性。对于建筑、地形等要素，其点云模型并不会频繁改动，因此本发明只需采集目标的影像，而不需重新采集点云数据和点云建模，即可对已构建或未构建的点云模型进行赋色，即对建筑物进行赋色，从而实现了对点云数据的复用，降低了采集成本。[0068] 可选的，基于第一特征点与第二特征点对城市建筑物影像进行赋色，包括：[0069] 基于第一特征点与第二特征点，确定城市建筑物影像与分割影像之间的第一转换矩阵；[0070] 基于分割影像、第一转换矩阵与第二转换矩阵对点云模型赋色。[0071] 可选的，测绘系统可以通过匹配的第一特征点与第二特征点，计算城市建筑物影像与分割影像的转换关系，并将其记为第一转换矩阵X。[0072] 可选的，测绘系统可以基于分割影像、第一转换矩阵X与第二转换矩阵Y对点云模型赋色，第二转换矩阵Y是城市建筑物影像与点云数据的转换矩阵，点云模型是基于点云数据确定，点云模型中的各点与点云数据中的各点对应。[0073] 具体地，测绘系统可以获取分割影像的颜色属性，通过第一转换矩阵与第二转换矩阵赋色到点云模型上。[0074] 可选的，第二转换矩阵是通过城市建筑物影像与点云数据的标定确定的。[0075] 基于分割影像、第一转换矩阵与第二转换矩阵对点云模型赋色，包括：[0076] 基于第一转换矩阵与第二转换矩阵，确定分割影像与点云数据的转换关系；[0077] 基于转换关系，将分割影像上各点的RGB值赋色到对应的点云模型的各点上。[0078] 本发明中可以通过标定获得城市建筑物影像与点云数据的第二转换矩阵Y。测绘系统可以基于第一转换矩阵X与第二转换矩阵Y，确定分割影像与点云数据的转换关系。例如，分割影像上的任意一点P(x，y)所对应的点云数据坐标为(XP*Y)。而点云模型的各点与点云数据的各点对应，测绘系统可以通过上述转换关系，将分割影像上各点的RGB值赋色到对应的点云模型的各点上，从而完成点云模型的更新。[0079] 本发明实施例基于分割影像、第一转换矩阵与第二转换矩阵对点云模型赋色，只需采集目标的影像，不需重新采集点云数据和点云建模，即可以对已构建或未构建的点云模型进行赋色，实现了对点云数据的复用，降低了采集成本。[0080] 在一个实施例中，将城市建筑物影像与分割影像进行影像匹配，得到匹配特征点，包括：[0081] 基于特征提取算法分别提取城市建筑物影像与分割影像的影像特征，得到影像特征点；[0082] 对影像特征点进行特征匹配，得到匹配特征点。[0083] 可选的，测绘系统可以利用特征提取算法，分别提取城市建筑物影像与分割影像的影像特征，以进行影像特征匹配。具体地，特征提取算法可以包括尺度不变特征变换(Scale?InvariantFeatureTransform，SIFT)、加速鲁棒特征(Speeded?UpRobustFeatures，SURF)、Harris角点检测等。影像特征提取后可以得到城市建筑物影像与分割影像的影像特征点。测绘系统通过对影像特征点进行特征匹配，可以得到匹配特征点。具体地，测绘系统可以通过对多维度特征向量进行空间最邻近值计算，得到匹配特征点。[0084] 本发明实施例通过特征提取与特征匹配将城市建筑物影像与分割影像进行影像匹配，得到匹配特征点，从而能确定第一转换矩阵，进而对点云模型赋色，为点云赋色提供了数据准备，从而实现了对点云数据的复用，降低了采集成本。[0085] 在一个实施例中，基于城市建筑物影像确定分割影像，包括：[0086] 基于城市建筑物影像的成像原理，对城市建筑物影像进行投影分割，得到分割影像。[0087] 具体地，测绘系统以影像坐标((0，0)为起始点，y轴所在方向为0°经线方向，x轴所在方向为赤道进行投影，并基于经纬度将投影后的城市建筑物影像分割为以不同经纬度为边界的多个分割影像。以这种方式投影分割的影像可支持任意大小的影像分割(即根据投影范围改变影像分割后的尺寸)。[0088] 本发明实施例通过对城市建筑物影像进行投影分割，得到分割影像，从而能保证影像匹配精度，保证点云赋色的准确性。[0089] 在一个实施例中，测绘作业数据的实时采集处理方法还包括：[0090] 通过边界点确定分割影像的投影面积；[0091] 通过最大面积法判断第一特征点与投影面积的位置关系，得到判断结果；[0092] 根据判断结果，确定影像匹配的质量。[0093] 在进行影像匹配后，测绘系统还可以检验影像特征点匹配质量。测绘系统可以通过影像边界点分别确定城市建筑物影像与分割影像的投影面积，然后对特征点进行投影计算。假设A影像特征点坐标投影在B影像的投影坐标为(x，y)，测绘系统可以通过最大面积法(任意一点落到平面内，计算平面4点与该点组成图形的面积)判断A影像特征点是否在B影像投影面积外，从而计算投影面积内的点所占比例，比例越高，影像匹配质量越高。[0094] 具体地，测绘系统既可以通过边界点确定分割影像的投影面积；通过最大面积法判断第一特征点与分割影像的投影面积的位置关系，得到判断结果；根据判断结果，确定影像匹配的质量。也可以通过边界点确定城市建筑物影像的投影面积；通过最大面积法判断第二特征点与城市建筑物影像的投影面积的位置关系，得到判断结果；根据判断结果，确定影像匹配的质量。[0095] 本发明实施例通过检验影像匹配的质量，在影像匹配质量合格时直接进行点云赋色，在图片匹配质量不合格时重新进行匹配直至合格再进行点云赋色，可以进一步保证点云赋色的准确性。[0096] 可选的，将城市建筑物影像和交互信息输入至特征提取模块，得到特征提取模块输出的前时相影像块特征图和交互特征，包括：[0097] 基于影像特征提取网络对城市建筑物影像进行特征提。玫匠鞘薪ㄖ物影像特征图；[0098] 基于交互信息编码器对交互信息进行编码，得到交互特征；[0099] 根据城市建筑物影像和交互信息，对城市建筑物影像特征图和交互特征进行配对，输出前时相影像块特征图和交互特征。[0100] 本发明实施例的影像特征提取网络可以为无监督训练得到的ViT网络；本发明实施例中的前时相影像块特征图和交互特征与输入的token相对应。[0101] 本发明一实施例中，针对输入影像使用无监督训练的ViT进行特征提。笔褂肞romptEncoder对输入的交互式信息进行编码，得到两组对应的token的前时相影像块特征图Feaimg、交互特征Feapro。经过影像特征提取网络的多次注意力与自注意力机制后，最终输出的特征图Feaimg尺寸为256×256×32。[0102] 可选的，将前时相影像块特征图和交互特征输入至特征解码模块，得到特征解码模块输出的建筑屋顶提取结果和建筑偏移量提取结果，包括：[0103] 基于双向注意力网络对前时相影像块特征图和交互特征进行信息提。玫狡屏苛钆坪陀镆逖谀ち钆疲籟0104] 将偏移量令牌输入至第一全连接网络，得到第一全连接网络输出的建筑偏移量提取结果；[0105] 将语义掩膜令牌输入至第二全连接网络，得到第二全连接网络输出的建筑屋顶提取结果。[0106] 本发明实施例中，双向注意力网络用于对前时相影像块特征图和交互特征进行多层的自注意力和交叉注意力处理，提取得到偏移量令牌和语义掩膜令牌。在进行信息提取的过程中，偏移量令牌和语义掩膜令牌的尺寸保持不变。[0107] 本发明实施例中，输入偏移量令牌至第一全连接网络，具体地，首先通过一个前向连接层，并使用ReLU进行激活，然后通过一个全连接层，将通道的节点数回归为2通道。该双通道分别代表偏移量在平面直角坐标系下的坐标位置。输入语义掩膜令牌至第二全连接网络，具体地，首先通过一个前向连接层，第二全连接网络的前向连接层与第一全连接网络的前向连接层具有相同或相似的结构，但参数不共享，并在前向连接层的经过矩阵运算，得到相同的共享提示下的不同语义层信息；再经过消除歧义运算，模型将固定选择出最终的屋顶代表令牌，得到建筑屋顶提取结果。[0108] 本发明一实施例中，基于输入影像块的特征图Feaimg、以及交互特征Feapro，利用一个two?waytransformer进行信息的提。⑹涑鲇胧道杂Φ钠屏慷杂Φ牧钆芆ffto、语义掩膜对应的令牌Masto；令牌Offto通过一组全连接网络，回归偏移量Off；令牌Masto则通过全连接层后，与特征图Feaimg进行乘积运算，然后进行一次上采样从而获得最终的实例分割掩膜Mas。Offto将首先通过一个前向连接层(FeedForwardNetwork，FFN)，该前向连接层的隐藏层的结点数为1024，并使用ReLU进行激活，隐藏层的层数为4层。然后通过一个全连接层，将通道的节点数回归为2通道。该双通道分别代表偏移量在平面直角坐标系下的坐标位置。Masto将通过一个非参数共享的FFN，结构与上文类似，然后在最后一层经过矩阵运算，通道数变为4，分别代表相同的共享提示下的不同语义层信息。经过消除歧义运算，模型将固定选择出最终的屋顶代表令牌。[0109] 可选的，将建筑屋顶提取结果和建筑偏移量提取结果输入至坐落推理模块，得到坐落推理模块输出的建筑物坐落提取结果，包括：[0110] 根据建筑偏移量提取结果选择解译头进行回归推理，得到屋顶偏移量；[0111] 根据屋顶偏移量对建筑屋顶提取结果进行偏移校正，得到建筑物坐落提取结果。[0112] 本发明实施例在进行坐落推理时，将会有多个不同的偏移量解码器进行联合预测，针对在预测过程中，由于建筑物长度的不确定性带来的损失，模型将通过一个ROAM系统(ReferenceOffsetAugmentationModule)自主地选择合适的解译头进行最终的推理预测。而随后使用的DistanceNon?MaxSuppression算法(DNMS算法)则会依据先验的统计学知识，使用预测结果较好的偏移量对：屏拷蟹较蛞种，进而获得更加优秀的总体预测结果。[0113] 根据建筑偏移量提取结果选择用于回归推理的解译头，其表达式为：[0114][0115] 其中，ω代表选择器，是一组由0和1组成的向量，代表是否让 参与到该偏移量i的回归； 为Aug头对i偏移量的预测， 为Ref头对i偏移量的预测，O 为实际的针对i偏移量的预测结果；[0116] 根据建筑偏移量提取结果，选择解译头进行回归推理步骤之后，还包括以下步骤：对：屏拷蟹较蛞种，其表达式为：[0117][0118] 其中，K代表高斯核函数，x为输入的样本，l代表样本集全集，σ为样本集标准差，e为自然常数。统计了范围内所有偏移量的长度与方向后，计算各偏移量的长度与所有偏移量的均值的高斯距离，作为对方向的影响权重进行方向修正。该算法可以迭代使用，进而达到最终的平衡点，即回归推理结果。[0119] 下面对本发明提供的测绘作业数据的实时采集处理系统进行描述，下文描述的测绘作业数据的实时采集处理系统与上文描述的测绘作业数据的实时采集处理方法可相互对应参照。如图2所示，该系统包括：[0120] 获取模块201，用于获取城市建筑物影像以及所述城市建筑物影像的交互信息；[0121] 建筑物提取模块202，用于将所述城市建筑物影像和所述交互信息输入至建筑物提取神经网络模型，得到所述建筑物提取神经网络模型输出的建筑物提取结果；所述建筑物提取神经网络模型包括特征提取模块、特征解码模块和坐落推理模块；所述建筑物提取结果包括建筑屋顶提取结果、建筑偏移量提取结果和建筑物坐落提取结果；[0122] 影像匹配模块203，用于将所述城市建筑物影像及其对应的分割影像进行影像匹配，得到匹配特征点；所述匹配特征点包括第一特征点与第二特征点；所述第一特征点是基于所述城市建筑物影像确定的；所述第二特征点是基于所述分割影像确定的；所述第一特征点与所述第二特征点对应匹配；[0123] 建筑物赋色模块204，用于基于所述第一特征点与所述第二特征点对所述城市建筑物影像进行赋色。[0124] 本发明实施例基于城市建筑物影像和交互信息进行建筑物提。杂谄屏亢臀荻シ指钐崛〉淖既沸愿，具有更强的泛化性。在未知数据集的表现依然更加准确，提高了建筑物提取准确性。对于建筑、地形等要素，其点云模型并不会频繁改动，因此本发明只需采集目标的影像，而不需重新采集点云数据和点云建模，即可对已构建或未构建的点云模型进行赋色，即对建筑物进行赋色，从而实现了对点云数据的复用，降低了采集成本。[0125] 在一实施例中，建筑物提取模块202还用于：[0126] 将所述城市建筑物影像和所述交互信息输入至所述特征提取模块，得到所述特征提取模块输出的前时相影像块特征图和交互特征；[0127] 将所述前时相影像块特征图和所述交互特征输入至所述特征解码模块，得到所述特征解码模块输出的建筑屋顶提取结果和建筑偏移量提取结果；[0128] 将所述建筑屋顶提取结果和所述建筑偏移量提取结果输入至所述坐落推理模块，得到所述坐落推理模块输出的建筑物坐落提取结果。[0129] 在一实施例中，建筑物提取模块202还用于：[0130] 基于影像特征提取网络对所述城市建筑物影像进行特征提。玫匠鞘薪ㄖ物影像特征图；[0131] 基于交互信息编码器对所述交互信息进行编码，得到交互特征；[0132] 根据所述城市建筑物影像和所述交互信息，对所述城市建筑物影像特征图和所述交互特征进行配对，输出所述前时相影像块特征图和所述交互特征。[0133] 在一实施例中，建筑物提取模块202还用于：[0134] 基于双向注意力网络对所述前时相影像块特征图和所述交互特征进行信息提。玫狡屏苛钆坪陀镆逖谀ち钆疲籟0135] 将所述偏移量令牌输入至第一全连接网络，得到所述第一全连接网络输出的建筑偏移量提取结果；[0136] 将所述语义掩膜令牌输入至第二全连接网络，得到所述第二全连接网络输出的建筑屋顶提取结果。[0137] 在一实施例中，建筑物提取模块202还用于：[0138] 根据所述建筑偏移量提取结果选择解译头进行回归推理，得到屋顶偏移量；[0139] 根据所述屋顶偏移量对所述建筑屋顶提取结果进行偏移校正，得到所述建筑物坐落提取结果；[0140] 其中，所述根据所述建筑偏移量提取结果选择解译头进行回归推理的具体步骤包括：[0141] 根据所述建筑偏移量提取结果选择用于回归推理的解译头，其表达式为：[0142][0143] 其中，ω代表选择器，是一组由0和1组成的向量，代表是否让 参与到i偏移量的i回归； 为Aug头对i偏移量的预测， 为Ref头对i偏移量的预测，O 为实际的针对i偏移量的预测结果。[0144] 在一实施例中，建筑物赋色模块204还用于：[0145] 基于所述第一特征点与所述第二特征点，确定所述城市建筑物影像与所述分割影像之间的第一转换矩阵；[0146] 基于所述分割影像、所述第一转换矩阵与第二转换矩阵对点云模型赋色；所述第二转换矩阵是所述城市建筑物影像与点云数据之间的转换矩阵；所述点云模型是基于所述点云数据确定的；所述点云模型中的各点与所述点云数据中的各点对应。[0147] 在一实施例中，建筑物赋色模块204还用于：[0148] 基于所述第一转换矩阵与所述第二转换矩阵，确定所述分割影像与所述点云数据的转换关系；[0149] 基于所述转换关系，将所述分割影像上各点的RGB值赋色到对应的所述点云模型的各点上。[0150] 请参阅图3，图3为本发明实施例提供的电子设备的实施例示意图。如图3所示，本发明实施例提了一种电子设备300，包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现以下步骤：[0151] 获取城市建筑物影像以及所述城市建筑物影像的交互信息；[0152] 将所述城市建筑物影像和所述交互信息输入至建筑物提取神经网络模型，得到所述建筑物提取神经网络模型输出的建筑物提取结果；所述建筑物提取神经网络模型包括特征提取模块、特征解码模块和坐落推理模块；所述建筑物提取结果包括建筑屋顶提取结果、建筑偏移量提取结果和建筑物坐落提取结果；[0153] 将所述城市建筑物影像及其对应的分割影像进行影像匹配，得到匹配特征点；所述匹配特征点包括第一特征点与第二特征点；所述第一特征点是基于所述城市建筑物影像确定的；所述第二特征点是基于所述分割影像确定的；所述第一特征点与所述第二特征点对应匹配；[0154] 基于所述第一特征点与所述第二特征点对所述城市建筑物影像进行赋色。[0155] 请参阅图4，图4为本发明实施例提供的计算机可读存储介质的实施例示意图。如图4所示，本实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现如下步骤：[0156] 获取城市建筑物影像以及所述城市建筑物影像的交互信息；[0157] 将所述城市建筑物影像和所述交互信息输入至建筑物提取神经网络模型，得到所述建筑物提取神经网络模型输出的建筑物提取结果；所述建筑物提取神经网络模型包括特征提取模块、特征解码模块和坐落推理模块；所述建筑物提取结果包括建筑屋顶提取结果、建筑偏移量提取结果和建筑物坐落提取结果；[0158] 将所述城市建筑物影像及其对应的分割影像进行影像匹配，得到匹配特征点；所述匹配特征点包括第一特征点与第二特征点；所述第一特征点是基于所述城市建筑物影像确定的；所述第二特征点是基于所述分割影像确定的；所述第一特征点与所述第二特征点对应匹配；[0159] 基于所述第一特征点与所述第二特征点对所述城市建筑物影像进行赋色。[0160] 需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。[0161] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD?ROM、光学存储器等)上实施的计算机程序产品的形式。[0162] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0163] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0164] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0165] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。[0166] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

专利地区：湖北

专利申请日期：2024-04-25

专利公开日期：2024-11-22

专利公告号：CN118334056B