产学研创新服务平台(开云优惠体育网页版入口)
专利申请类型:发明专利;专利名称:一种PCB免焊接光学器件定位方法
专利类型:发明专利
专利申请号:CN202411305957.7
专利申请(专利权)人:中山市达尔科光学有限公司
权利人地址:广东省中山市翠亨新区横门西二围纬十二路10号;增设1处经营场所,具体为:1、中山市东区中山五路2号紫马奔腾广场3座15层1卡之一
专利发明(设计)人:熊大章,邹达伟,梁晓辉,夏磊,张建华
专利摘要:本发明涉及一种PCB免焊接光学器件定位方法,方法首先采集器件图像并进行降采样处理以获取特征,随后在不同尺度图像中提取并初步筛选角点特征集合;通过计算角点显著性得分进行二次筛。玫礁骼嘈凸庋骷的精细化角点特征;利用迭代收敛得到具有均匀分布的稳定角点特征集合;提取器件多尺度轮廓边缘信息,计算多尺度曲率极值点作为潜在的复杂形状角点,并与稳定角点特征集合融合构建角点综合特征集;根据角点综合特征集构建角点拓扑结构模型,并与模板库匹配验证几何布局;融合匹配结果与角点坐标信息,生成定位信息,并传递给PCB装配控制系统。本发明能够准确提取和定位微小非标准光学器件的关键特征点,实现PCB免焊接微小光学器件的快速装配。
主权利要求:
1.一种PCB免焊接光学器件定位方法,其特征在于,包括以下步骤:S1、对PCB板上待装配的微小非标准光学器件的图像进行采集并降采样处理,获取器件图像特征;
S2、在不同尺度层级的器件图像中分别提取角点候选区域,并初步筛选出包含不同材质和方向的角点初始特征集合;
S3、对初始角点特征集合中的每个角点候选点,计算角点显著性得分;
S4、基于所述角点显著性得分,对候选角点进行二次筛。⒒袢〔煌庋骷类型的精细化角点特征点集;
S5、根据所述精细化角点特征点集,通过迭代收敛得到具有均匀分布的稳定角点特征集合;
S6、提取器件的多尺度轮廓边缘信息,并在边缘线段上计算多尺度曲率极值点作为潜在的复杂形状角点;
S7、将所述复杂形状角点与所述稳定角点特征集合进行融合,构建角点综合特征集;
S8、根据检测到的角点综合特征集,构建光学器件的角点拓扑结构模型,并与各类光学器件角点模板库进行匹配,判断是否符合预期的几何布局;
S9、将角点拓扑结构匹配结果与角点精细化坐标信息进行融合,生成光学器件的定位信息,并传递给PCB装配控制系统;
所述步骤S3具体包括:
对所述角点初始特征集合中的每个角点候选点,提取其周围区域的纹理特征,结合哈里斯角点响应函数,并引入器件材质识别因子,计算角点显著性得分;
所述步骤S4具体包括:
基于所述角点显著性得分,根据光学器件种类的多样性,对不同种类的光学器件设置不同的角点显著性阈值,对角点候选点进行二次筛。袢〔煌庋骷类型的精细化角点特征点集;
所述步骤S5具体包括:
根据不同光学器件类型的所述精细化角点特征点集,采用非极大值抑制算法,结合角点密集度动态调整局部邻域范围,在局部邻域内比较角点响应强度,抑制非最大值点,保留局部最优角点,通过迭代收敛得到具有均匀分布的稳定角点特征集合。
2.根据权利要求1所述PCB免焊接光学器件定位方法,其特征在于,所述步骤S1具体包括:采集PCB板上待装配的微小非标准光学器件的原始图像,并采用多尺度图像金字塔分解方法对所述原始图像进行降采样处理,获取不同尺度层级的器件图像特征;
降采样处理包括以下步骤:
对所述原始图像进行预处理,处理后得到器件图像;
构建所述器件图像的高斯金字塔和拉普拉斯金字塔,通过下采样和差分运算获得不同尺度的图像序列和特征图;
对金字塔各尺度层图像,采用SURF算法提取尺度不变特征,计算特征描述符,建立特征点集合;
使用形状上下文描述符捕捉器件的全局特征,结合局部特征,形成完整的器件特征表示。
3.根据权利要求1所述PCB免焊接光学器件定位方法,其特征在于,所述步骤S2具体包括:根据器件材质的多样性,在不同尺度层级的器件图像中分别提取角点候选区域,对各层级的角点候选区域进行初步筛。玫桨煌闹、不同方向的角点初始特征集合。
4.根据权利要求1所述PCB免焊接光学器件定位方法,其特征在于,所述步骤S6具体包括:结合器件形状的复杂性,提取器件的多尺度轮廓边缘信息,在边缘线段上计算多尺度曲率极值点作为潜在的复杂形状角点。
5.根据权利要求1所述PCB免焊接光学器件定位方法,其特征在于,所述步骤S7具体包括:将所述复杂形状角点与所述稳定角点特征集合进行融合,构建包含不同类型、不同尺度、不同方向的角点综合特征集。
6.根据权利要求1所述PCB免焊接光学器件定位方法,其特征在于,所述步骤S8具体包括:根据检测到的角点综合特征集,计算光学器件相邻角点之间的几何拓扑关系,构建光学器件的角点拓扑结构模型,并与各类光学器件角点模板库进行匹配,判断当前光学器件的角点组合是否符合预期的几何布局。
7.根据权利要求1所述PCB免焊接光学器件定位方法,其特征在于,所述步骤S9具体包括:通过所述角点拓扑结构模型与各类光学器件角点模板库进行匹配,获得光学器件的角点拓扑结构匹配结果,将角点拓扑结构匹配结果与光学器件的角点精细化坐标信息进行融合,生成光学器件的定位信息;
将所述定位信息转换为PCB装配控制系统可识别的指令格式,通过ModbusTCP协议将所述指令格式传输至所述PCB装配控制系统;
所述指令格式包括器件类型、安装坐标、姿态角度、装配力度及装配方法。 说明书 : 一种PCB免焊接光学器件定位方法技术领域[0001] 本发明涉及电子元器件定位技术领域,具体涉及一种PCB免焊接光学器件定位方法。背景技术[0002] 在PCB光学器件免焊接定位过程中,存在一个关键的技术难题,当光学器件尺寸微小且形状复杂时,从其图像中准确提取角点特征信息变得极为困难,传统的边缘检测和角点提取在面对高反射率表面、不规则几何形状以及微小尺度时往往失效;此外,由于PCB基板材料的非均匀性和表面纹理,背景干扰也给特征提取带来挑战,在高速生产线上,还需要在极短的时间内完成特征提。饩鸵笏惴ň哂屑叩氖凳毙裕蝗欢,提高算法复杂度以增强鲁棒性又会显著增加计算负担,造成处理延迟,如何在有限的计算资源和严格的时间约束下,针对复杂多变的光学器件和PCB环境,实现快速、准确、稳定的角点特征提。晌桓鲐酱饩龅募际跄烟,这个问题直接影响到后续定位算法的匹配精度和识别可靠性,是整个PCB光学器件免焊接定位技术的关键瓶颈。发明内容[0003] 为了解决上述现有技术存在的问题,本发明目的在于提供一种PCB免焊接光学器件定位方法。PCB免焊接光学器件定位方法通过多尺度图像处理和角点显著性评分的精细筛。芄蛔既诽崛『投ㄎ晃⑿》潜曜脊庋骷的关键特征点,从而实现高精度的器件定位;整个定位过程从图像采集到特征提取、筛选、匹配,再到定位信息的生成,均实现了自动化处理,减少了人工干预,提高了生产效率和一致性,从而实现PCB免焊接微小光学器件的精准定位和快速装配。[0004] 本发明所述的一种PCB免焊接光学器件定位方法,包括以下步骤:[0005] S1、对PCB板上待装配的微小非标准光学器件的图像进行采集并降采样处理,获取器件图像特征;[0006] S2、在不同尺度层级的器件图像中分别提取角点候选区域,并初步筛选出包含不同材质和方向的角点初始特征集合;[0007] S3、对初始角点特征集合中的每个角点候选点,计算角点显著性得分;[0008] S4、基于所述角点显著性得分,对候选角点进行二次筛。⒒袢〔煌庋骷类型的精细化角点特征点集;[0009] S5、根据所述精细化角点特征点集,通过迭代收敛得到具有均匀分布的稳定角点特征集合;[0010] S6、提取器件的多尺度轮廓边缘信息,并在边缘线段上计算多尺度曲率极值点作为潜在的复杂形状角点;[0011] S7、将所述复杂形状角点与所述稳定角点特征集合进行融合,构建角点综合特征集;[0012] S8、根据检测到的角点综合特征集,构建光学器件的角点拓扑结构模型,并与各类光学器件角点模板库进行匹配,判断是否符合预期的几何布局;[0013] S9、将角点拓扑结构匹配结果与角点精细化坐标信息进行融合,生成光学器件的定位信息,并传递给PCB装配控制系统。[0014] 优选地,所述步骤S1具体包括:[0015] 采集PCB板上待装配的微小非标准光学器件的原始图像,并采用多尺度图像金字塔分解方法对所述原始图像进行降采样处理,获取不同尺度层级的器件图像特征;[0016] 降采样处理包括以下步骤:[0017] 对所述原始图像进行预处理,处理后得到器件图像;[0018] 构建所述器件图像的高斯金字塔和拉普拉斯金字塔,通过下采样和差分运算获得不同尺度的图像序列和特征图;[0019] 对金字塔各尺度层图像,采用SURF算法提取尺度不变特征,计算特征描述符,建立特征点集合;[0020] 使用形状上下文描述符捕捉器件的全局特征,结合局部特征,形成完整的器件特征表示。[0021] 优选地,所述步骤S2具体包括:[0022] 根据器件材质的多样性,在不同尺度层级的器件图像中分别提取角点候选区域,对各层级的角点候选区域进行初步筛。玫桨煌闹、不同方向的角点初始特征集合。[0023] 优选地,所述步骤S3具体包括:[0024] 对所述角点初始特征集合中的每个角点候选点,提取其周围区域的纹理特征,结合哈里斯角点响应函数,并引入器件材质识别因子,计算角点显著性得分。[0025] 优选地,所述步骤S4具体包括:[0026] 基于所述角点显著性得分,根据光学器件种类的多样性,对不同种类的光学器件设置不同的角点显著性阈值,对角点候选点进行二次筛。袢〔煌庋骷类型的精细化角点特征点集。[0027] 优选地,所述步骤S5具体包括:[0028] 根据不同光学器件类型的所述精细化角点特征点集,采用非极大值抑制算法,结合角点密集度动态调整局部邻域范围,在局部邻域内比较角点响应强度,抑制非最大值点,保留局部最优角点,通过迭代收敛得到具有均匀分布的稳定角点特征集合。[0029] 优选地,所述步骤S6具体包括:[0030] 结合器件形状的复杂性,提取器件的多尺度轮廓边缘信息,在边缘线段上计算多尺度曲率极值点作为潜在的复杂形状角点。[0031] 优选地,所述步骤S7具体包括:[0032] 将所述复杂形状角点与所述稳定角点特征集合进行融合,构建包含不同类型、不同尺度、不同方向的角点综合特征集。[0033] 优选地,所述步骤S8具体包括:[0034] 根据检测到的角点综合特征集,计算光学器件相邻角点之间的几何拓扑关系,构建光学器件的角点拓扑结构模型,并与各类光学器件角点模板库进行匹配,判断当前光学器件的角点组合是否符合预期的几何布局。[0035] 优选地,所述步骤S9具体包括:[0036] 通过所述角点拓扑结构模型与各类光学器件角点模板库进行匹配,获得光学器件的角点拓扑结构匹配结果,将角点拓扑结构匹配结果与光学器件的角点精细化坐标信息进行融合,生成光学器件的定位信息;[0037] 将所述定位信息转换为PCB装配控制系统可识别的指令格式,通过ModbusTCP协议将所述指令格式传输至所述PCB装配控制系统;[0038] 所述指令格式包括器件类型、安装坐标、姿态角度、装配力度及装配方法。[0039] 本发明所述的一种PCB免焊接光学器件定位方法,其优点在于:[0040] 本发明的一种PCB免焊接光学器件定位方法通过多尺度图像处理和角点显著性评分的精细筛。芄蛔既诽崛『投ㄎ晃⑿》潜曜脊庋骷的关键特征点,从而实现高精度的器件定位;结合不同材质和方向的角点特征,以及复杂形状角点的提。沟媚芄挥Χ远嘌墓庋骷和复杂的PCB板环境,提高了系统的鲁棒性和适应性;整个定位过程从图像采集到特征提取、筛选、匹配,再到定位信息的生成,均实现了自动化处理,减少了人工干预,提高了生产效率和一致性,从而实现PCB免焊接微小光学器件的精准定位和快速装配。附图说明[0041] 图1是本发明所述一种PCB免焊接光学器件定位方法的流程图。具体实施方式[0042] 如图1所示,本发明所述的一种PCB免焊接光学器件定位方法,包括以下步骤:[0043] S1、对PCB板上待装配的微小非标准光学器件的图像进行采集并降采样处理,获取器件图像特征;[0044] S2、在不同尺度层级的器件图像中分别提取角点候选区域,并初步筛选出包含不同材质和方向的角点初始特征集合;[0045] S3、对初始角点特征集合中的每个角点候选点,计算角点显著性得分;[0046] S4、基于角点显著性得分,对候选角点进行二次筛。⒒袢〔煌庋骷类型的精细化角点特征点集;[0047] S5、根据精细化角点特征点集,通过迭代收敛得到具有均匀分布的稳定角点特征集合;[0048] S6、提取器件的多尺度轮廓边缘信息,并在边缘线段上计算多尺度曲率极值点作为潜在的复杂形状角点;[0049] S7、将复杂形状角点与稳定角点特征集合进行融合,构建角点综合特征集;[0050] S8、根据检测到的角点综合特征集,构建光学器件的角点拓扑结构模型,并与各类光学器件角点模板库进行匹配,判断是否符合预期的几何布局;[0051] S9、将角点拓扑结构匹配结果与角点精细化坐标信息进行融合,生成光学器件的定位信息,并传递给PCB装配控制系统。[0052] 进一步的,本实施例中,步骤S1具体包括:[0053] 采集PCB板上待装配的微小非标准光学器件的原始图像,并采用多尺度图像金字塔分解方法对原始图像进行降采样处理,获取不同尺度层级的器件图像特征;原始图像通过高分辨率相机采集;[0054] 降采样处理包括以下步骤:[0055] 对原始图像进行预处理,处理后得到器件图像;[0056] 构建器件图像的高斯金字塔和拉普拉斯金字塔,通过下采样和差分运算获得不同尺度的图像序列和特征图;[0057] 对金字塔各尺度层图像,采用SURF算法提取尺度不变特征,计算特征描述符,建立特征点集合;[0058] 使用形状上下文描述符捕捉器件的全局特征,结合局部特征,形成完整的器件特征表示;[0059] 具体的,采用高分辨率相机获取PCB板上待装配光学器件的原始图像,针对获取的原始图像进行预处理,包括使用中值滤波去除噪点,应用直方图均衡化增强图像对比度,处理后得到器件图像;[0060] 对处理后得到的器件图像构建高斯金字塔和拉普拉斯金字塔,通过多次下采样和差分运算,获得不同尺度的图像序列和特征图,提取多尺度的边缘、角点局部特征;[0061] 使用高斯滤波器对图像进行降采样构建高斯金字塔,通过相邻层之间的差分运算得到拉普拉斯金字塔;[0062] 对金字塔各尺度层图像,利用SURF算法提取尺度不变特征,计算特征描述符,建立特征点集合,通过特征匹配确定器件在不同尺度下的对应关系;[0063] 结合非标准形状的特点,使用形状上下文描述符捕捉全局特征,结合局部特征,形成完整的器件特征表示;[0064] 根据匹配结果融合多尺度特征信息,利用逆小波变换重建器件的精细结构,获得高精度的三维点云数据;[0065] 将重建的三维点云数据与预先建立的器件CAD模型进行配准,采用迭代最近点算法计算变换矩阵,得到器件的精确位姿参数,用于后续PCB板装配定位;[0066] 示例如下:[0067] 采用高分辨率相机获取PCB板上待装配光学器件的原始图像,图像分辨率为4096x3072像素;[0068] 对原始图像进行预处理,使用5x5窗口的中值滤波去除噪点,然后应用直方图均衡化增强图像对比度,将像素灰度值范围从原始的[0,255]扩展到[0,4095],对处理后的图像构建5层高斯金字塔和拉普拉斯金字塔,每层图像尺寸为上一层的1/2,最小图像尺寸为256x192像素;[0069] 使用3x3高斯核进行下采样构建高斯金字塔,相邻层之间做差分得到拉普拉斯金字塔;[0070] 在各尺度层图像上应用SURF算法,设置Hessian矩阵阈值为500,提取约1000个特征点,每个特征点由64维向量描述;[0071] 结合非标准形状特点,使用形状上下文描述符,选取200个采样点,划分5个对数距离和12个角度区间,得到60维全局特征向量;[0072] 通过FLANN(快速最近邻搜索库)进行特征匹配,设置距离比阈值为0.7,获得约500对匹配点。利用小波变换重建器件精细结构,选用Daubechies4小波基函数,进行3层分解和重构,得到分辨率为2048x1536的三维点云数据。将重建的点云数据与预先建立的CAD模型进行配准,CAD模型精度为0.01mm;[0073] 采用迭代最近点(ICP)算法,设置最大迭代次数为50,收敛阈值为0.001mm,计算刚体变换矩阵,得到器件的6自由度位姿参数,包括3个平移量(精度0.05mm)和3个旋转角(精度0.1度),这些参数用于指导PCB板上光学器件的精确装配定位。[0074] 进一步的,本实施例中,步骤S2具体包括:[0075] 根据器件材质的多样性,在不同尺度层级的器件图像中分别提取角点候选区域,对各层级的角点候选区域进行初步筛。玫桨煌闹、不同方向的角点初始特征集合;[0076] 具体的,获取器件图像金字塔分解结果,采用Harris角点检测算法对分解结果中每个尺度层级的图像进行处理;[0077] 设置角点响应函数阈值,得到多尺度角点候选集合,对多尺度角点候选集合中的图像采用OTSU自适应阈值分割算法进行区域划分;[0078] 根据预先建立的材质数据库中存储的反射率和纹理特征,判断角点候选区域的材质类型;[0079] 若角点候选区域的材质为金属,则将角点响应阈值提高至预设值;[0080] 若角点候选区域的材质为塑料,则将角点响应阈值降低至预设值;[0081] 利用梯度方向直方图算法计算角点候选区域的主方向,将360度划分为预设数量的柱;[0082] 选取峰值所在柱对应的方向作为主方向,比较相邻三个尺度层级的角点响应值;保留中间尺度响应值最大的角点;[0083] 构建包含不同材质、不同方向的角点初始特征集合,根据材质类型对特征点进行加权:为金属材质特征点赋予第一预设权重,为玻璃材质特征点赋予第二预设权重,为塑料材质特征点赋予第三预设权重,得到加权后的特征集合;[0084] 示例如下:[0085] 根据器件图像金字塔分解结果,对每个尺度层级的图像应用Harris角点检测算法,设置角点响应函数阈值为0.01,提取角点候选区域,得到多尺度角点候选集合;[0086] 对不同材质的光学特性,采用OTSU自适应阈值分割算法对各尺度层级的图像进行区域划分,结合预先建立的材质数据库中存储的反射率和纹理特征,对角点候选区域进行材质分类;[0087] 材质数据库包含常见光学器件材质如玻璃、塑料、金属的反射率曲线和灰度共生矩阵特征;[0088] 根据材质分类结果,动态调整Harris角点检测的参数,对金属材质区域提高角点响应阈值至0.015,对塑料材质区域降低阈值至0.008;[0089] 利用梯度方向直方图算法计算每个角点候选区域的主方向,将360度划分为36个柱,选取峰值所在柱对应的方向作为主方向;[0090] 若梯度方向直方图中存在多个相近的峰值,则将其判定为不稳定角点并剔除,通过比较相邻三个尺度层级的角点响应值,保留在中间尺度响应值最大的角点,构建包含不同材质、不同方向的角点初始特征集合;[0091] 根据材质特性对特征点进行加权:为金属材质特征点赋予权重1.2,玻璃材质1.0,塑料材质0.8,以平衡不同材质在特征集合中的贡献;[0092] 在PCB板上的光学器件图像处理中,首先构建5层图像金字塔,原始图像分辨率为4096x3072像素,每层缩小为上一层的1/2,最小图像尺寸为256x192像素;[0093] 对每层图像应用Harris角点检测算法,初始角点响应函数阈值设为0.01,例如,在第3层2048x1536像素的图像上检测到约5000个角点候。婧笫褂肙TSU自适应阈值分割算法对图像进行区域划分,阈值通常落在灰度值80?120之间;[0094] 材质数据库中存储了玻璃、塑料、金属这些常见光学器件材质的反射率曲线和灰度共生矩阵特征;[0095] 反射率曲线以10nm为间隔记录400?700nm可见光范围内的反射率值,灰度共生矩阵选取0°、45°、90°、135°四个方向,距离为1像素,量化为16级灰度。根据材质分类结果,对金属区域的Harris角点检测阈值调整为0.015,塑料区域调整为0.008;[0096] 利用梯度方向直方图算法计算角点主方向,将360°划分为36个柱,每柱10°,选取最高峰值所在柱作为主方向;[0097] 若存在多个峰值且次高峰值超过最高峰的80%,则判定为不稳定角点并剔除;[0098] 在相邻三个尺度层级中,比较角点响应值,若中间尺度响应值最大且超过相邻尺度的1.2倍,则保留角点;[0099] 最终得到的特征集合中,对金属、玻璃、塑料材质的特征点分别赋予1.2、1.0、0.8的权重;[0100] 例如,在一个包含1000个特征点的集合中,可能包括400个金属材质点、350个玻璃材质点和250个塑料材质点,加权后的有效特征点数为1130,平衡了不同材质的贡献。[0101] 进一步的,本实施例中,步骤S3具体包括:[0102] 对角点初始特征集合中的每个角点候选点,提取其周围区域的纹理特征,结合哈里斯角点响应函数,并引入器件材质识别因子,计算角点显著性得分;[0103] 具体的,获取以角点候选点坐标为中心的11x11像素窗口,通过灰度共生矩阵计算窗口内的纹理特征,其中,纹理特征包括对比度、相关性、能量和同质性;[0104] 根据哈里斯角点检测算法计算角点候选点的响应函数值;[0105] 若角点候选点位于金属材质区域,则设置响应函数中的k值为0.06;[0106] 若角点候选点位于玻璃材质区域,则设置响应函数中的k值为0.04;[0107] 若角点候选点位于塑料材质区域,则设置响应函数中的k值为0.02;[0108] 采用k?d树结构存储的材质数据库提取与角点候选点所在区域材质相对应的识别因子;[0109] 识别因子通过k近邻算法进行材质识别得到。其中,k近邻算法的k值设为5;[0110] 结合纹理特征、角点响应函数值和材质识别因子,计算角点候选点的显著性得分;显著性得分S由公式S=0.3*(T_norm)+0.5*(H_norm)+0.2*M确定;[0111] 其中,T_norm为归一化的纹理特征得分,H_norm为归一化的哈里斯角点响应值,M为材质识别因子;[0112] 计算角点候选点局部梯度方向直方图的熵值H_entropy,根据熵值H_entropy修正显著性得分,修正后的显著性得分S_final由公式S_final=S*(1+0.1*H_entropy)确定;[0113] 示例如下:[0114] 根据初始角点特征集合中的每个角点候选点坐标,在原始图像中提取以该点为中心的11x11像素窗口,对于靠近图像边缘的角点,采用镜像填充方法扩展图像边界;[0115] 通过灰度共生矩阵计算窗口内的纹理特征,选择0°、45°、90°、135°四个方向,距离为1像素,计算对比度、相关性、能量和同质性;[0116] 采用哈里斯角点检测算法计算角点响应函数值,设置窗口大小为3x3像素,高斯核参数σ为1.5,角点响应函数中的k值根据材质动态调整,金属材质设为0.06,玻璃材质设为0.04,塑料材质设为0.02;[0117] 从预先建立的材质数据库中提取与角点候选点所在区域材质相对应的识别因子,数据库采用k?d树结构存储材质特征向量,使用k近邻算法进行材质识别,k值设为5。材质识别结果中,金属材质赋值为1.2,玻璃材质赋值为1.0,塑料材质赋值为0.8;[0118] 通过加权求和的方式,结合纹理特征、哈里斯角点响应函数值和材质识别因子,计算每个角点候选点的显著性得分;[0119] 显著性得分S计算公式为:S=0.3*(T_norm)+0.5*(H_norm)+0.2*M,其中T_norm为归一化的纹理特征得分,H_norm为归一化的哈里斯角点响应值,M为材质识别因子;[0120] 结合局部纹理的方向性和复杂度,引入局部梯度方向直方图作为额外特征,将360°划分为8个方向bin,计算梯度方向直方图的熵值H_entropy,将显著性得分修正为:S_final=S*(1+0.1*H_entropy);[0121] 在PCB板上光学器件的角点特征提取过程中,首先对4096x3072像素的原始图像进行预处理。针对每个初始角点候选点,提取11x11像素窗口,对于靠近边缘的点,如距离左边界小于5像素,采用镜像填充扩展图像;[0122] 使用灰度共生矩阵计算纹理特征,选择0°、45°、90°、135°四个方向,距离为1像素,得到16x16的矩阵;[0123] 计算对比度、相关性、能量和同质性四个特征值,例如某金属表面的对比度为0.85,相关性为0.72,能量为0.06,同质性为0.92;[0124] 应用哈里斯角点检测算法,窗口大小3x3像素,高斯核σ=1.5,k值根据材质调整:金属0.06,玻璃0.04,塑料0.02;[0125] 材质数据库采用k?d树存储1000个样本的特征向量,使用k近邻算法(k=5)进行识别,例如,某点被识别为金属的概率为0.8,得到材质因子1.2,显著性得分计算中,纹理特征归一化值为0.75,哈里斯角点响应归一化值为0.88,得到初始得分S=0.30.75+0.50.88+0.21.2=0.915;[0126] 结合局部纹理,计算11x11窗口内的梯度方向直方图,8个方向bin的值分别为[0.15,0.12,0.18,0.10,0.14,0.11,0.09,0.11],熵值H_entropy=2.97;[0127] 最终显著性得分S_final=0.915(1+0.1*2.97)=1.187,体现了该角点在复杂纹理区域的重要性,这一过程对图像中所有角点候选重复进行,形成包含位置、显著性得分、材质信息的特征描述符集合。[0128] 进一步的,本实施例中,步骤S4具体包括:[0129] 基于角点显著性得分,根据光学器件种类的多样性,对不同种类的光学器件设置不同的角点显著性阈值,对角点候选点进行二次筛。袢〔煌庋骷类型的精细化角点特征点集;[0130] 具体的,获取预先建立的光学器件数据库及待识别图像,待识别图像的输入尺寸为预设像素值;[0131] 采用预设卷积神经网络对待识别图像进行器件类型识别,得到器件类型识别结果;[0132] 若器件类型识别结果包含重叠器件,则利用区域提议网络生成候选区域;[0133] 通过非极大值抑制算法对候选区域进行筛。玫矫扛銮虻钠骷类型标签和置信度得分;[0134] 根据器件类型标签,从预设的角点显著性阈值数据库中获取与器件类型标签对应的初始角点显著性阈值;[0135] 对待识别图像中的每个器件区域,计算角点候选点的密度分布;采用高斯核密度估计算法获得角点密度图,高斯核密度估计算法的核带宽设置为待识别图像宽度的预设比例;[0136] 根据角点密度图和初始角点显著性阈值,计算得到调整后的显著性阈值;[0137] 对角点候选点进行二次筛。A粝灾缘梅指哂诘髡蟮南灾糟兄档慕堑,得到精细化角点特征点集;[0138] 示例如下:[0139] 根据预先建立的光学器件数据库,采用ResNet50卷积神经网络对图像中的器件进行类型识别,网络输入尺寸为224x224像素,使用交叉熵损失函数训练;[0140] 对于重叠器件,利用区域提议网络生成候选区域,通过非极大值抑制算法筛。玫矫扛銮虻钠骷类型标签和置信度得分;[0141] 对不同类型的光学器件,基于历史数据统计分析,设置初始角点显著性阈值,如透镜类器件设置为0.82,棱镜类器件设置为0.75,光纤连接器设置为0.68;[0142] 根据器件种类的多样性,调整角点检测策略,对于复杂度高的器件,如棱镜,增加Harris角点检测器的敏感度;[0143] 对于表面平滑的器件,如透镜,增加FAST角点检测器的阈值;[0144] 对每个识别出的光学器件区域,计算角点候选点的密度分布,采用高斯核密度估计算法获得角点密度图,核带宽设置为图像宽度的1/20;[0145] 结合器件类型和角点密度,动态调整角点显著性阈值,调整公式为:新阈值=初始阈值*(1+0.1*归一化密度值);[0146] 基于调整后的显著性阈值,对候选角点进行二次筛。A粝灾缘梅指哂阢兄档慕堑,对于得分在阈值±0.05范围内的角点,根据周围角点的分布情况决定是否保留;[0147] 形成每种光学器件类型的精细化角点特征点集,记录每个特征点的位置坐标、显著性得分和所属器件类型;[0148] 通过计算每种器件类型特征点的空间分布熵,验证筛选结果的均匀性,若熵值低于预设阈值,则调整相应器件类型的显著性阈值,重复筛选过程直至满足分布要求;[0149] 在光学器件角点特征提取过程中,首先使用ResNet50卷积神经网络对4096x3072像素的PCB图像进行器件识别;[0150] 网络经过10万张样本图像训练,最终在验证集上达到95%的准确率,对于识别出的重叠器件,如两个紧邻的透镜,使用区域提议网络生成50个候选区域,通过非极大值抑制算法保留IoU小于0.5的区域,最终得到3个器件区域,置信度分别为0.92、0.88和0.85;[0151] 基于历史数据分析,设置透镜初始显著性阈值为0.82,棱镜为0.75,光纤连接器为0.68;[0152] 对识别出的棱镜,将Harris角点检测器的k值从0.04降低到0.03,提高敏感度;对于透镜,将FAST角点检测器的阈值从20提高到25,使用高斯核密度估计算法计算角点密度,核带宽设为204.8像素(图像宽度的1/20),例如,在某棱镜区域,原始显著性阈值0.75,计算得到的归一化密度值为0.6,新阈值调整为0.75*(1+0.1*0.6)=0.795;[0153] 对棱镜区域的1000个候选角点进行筛。A粝灾缘梅指哂0.795的角点,对于分数在0.745?0.845范围内的角点,若其8邻域内有2个以上高于阈值的角点,则予以保留;[0154] 最终得到350个特征点,计算空间分布熵为3.2,低于预设阈值3.5,故将显著性阈值下调0.01至0.785,重新筛选得到380个特征点,空间分布熵提升至3.6,满足均匀分布要求;[0155] 对所有器件重复此过程,最终形成包含位置坐标、显著性得分和器件类型标签的精细化角点特征点集;[0156] 进一步,根据角点显著性得分提取落在关键区域内的角点,计算关键区域内角点特征点与该器件种类的密集程度范围,若关键区域内角点特征点密集程度低于范围下限,则将阈值降低一个梯度,重新提取角点特征点;若密集程度高于范围上限,则将阈值提高一个梯度,重新提取角点特征点;若密集程度在范围内,则将当前阈值确定为该器件的最优阈值;[0157] 接收携带有光学器件关键区域的角点显著性得分,角点显著性得分由光学器件图像处理时生成;[0158] 根据角点显著性得分采用区域生长算法划分光学器件的关键区域,得到每个器件的关键区域边界坐标;采用最近邻距离法计算关键区域内的角点特征点密集程度,统计每个角点到其最近邻角点的距离,取平均值作为密集程度指标;[0159] 从预设数据库获取光学器件种类的密集程度范围,预设数据库基于历史图像的统计分析结果构建;[0160] 判断角点特征点密集程度指标是否在器件种类预设范围内,若低于预设范围下限,则降低显著性阈值,若高于预设范围上限,则提高显著性阈值;[0161] 重复密集程度计算和阈值调整过程,直到得到最优阈值或达到最大迭代次数;[0162] 若达到最大迭代次数仍未得到最优阈值,则选择迭代过程中密集程度最近目标范围中点的阈值作为最终阈值;[0163] 示例如下:[0164] 根据角点显著性得分,采用区域生长算法划分光学器件的关键区域,选择显著性得分最高的点作为种子点,设置生长阈值为显著性得分的80%,得到每个器件的关键区域边界坐标;[0165] 计算关键区域内的角点特征点密集程度,采用最近邻距离法,统计每个角点到其最近邻角点的距离,取平均值作为密集程度指标,并将结果除以关键区域面积的平方根进行归一化;[0166] 从预设数据库中获取该种类器件的密集程度范围,数据库基于10000张历史图像的统计分析结果构建,包含各类器件在不同工作条件下的密集程度分布;[0167] 根据器件种类调整密集程度评估标准,如对于精密光学元件,将允许的密集程度范围缩小20%;[0168] 判断当前密集程度是否在预设范围内,若低于范围下限,则将显著性阈值降低,降低幅度为(下限值-当前值)/当前值0.1;[0169] 若高于范围上限,则将显著性阈值提高,提高幅度为(当前值-上限值)/上限值0.1;[0170] 若在范围内,则记录当前阈值为该器件的最优阈值;[0171] 对于阈值调整后重新提取的角点特征点,重复密集程度计算和阈值调整过程,直到找到最优阈值或达到最大迭代次数10次;[0172] 若达到最大迭代次数仍未找到最优阈值,则选择迭代过程中密集程度最近目标范围中点的阈值作为最终阈值,最终确定每种器件的最优显著性阈值,并将结果更新到预设数据库中,用于后续处理的参考;[0173] 在光学器件角点特征提取过程中,以4096x3072像素的PCB图像为例,首先对某透镜器件应用区域生长算法;[0174] 选取显著性得分最高的点(坐标2048,1536,得分0.95)作为种子点,设置生长阈值为0.76(0.95的80%);[0175] 经过500次迭代,得到边界坐标为(1980,1470)至(2116,1602)的关键区域,面积为18496平方像素,在该区域内,使用最近邻距离法计算角点密集程度,统计得到平均距离为5.8像素,归一化后的密集度为0.0426(5.8除以136的平方根);[0176] 查询预设数据库,该类透镜在正常工作条件下的密集度范围为0.035?0.055。考虑到这是精密光学元件,将范围缩小20%至0.038?0.052;[0177] 当前密集度0.0426在范围内,记录当前显著性阈值0.82为最优阈值。为验证结果,将阈值调整至0.77和0.87重复计算,得到密集度分别为0.0362和0.0538,均超出范围。经过3次迭代,确认0.82为最优阈值;[0178] 对比处理其他器件,如棱镜,初始阈值0.75导致密集度0.0612,超出范围0.045?0.060;[0179] 通过4次迭代,阈值依次调整为0.7875、0.8156、0.8052、0.8104,最终得到密集度0.0573,位于目标范围内,将这些最优阈值更新到数据库中,用于后续2000张PCB图像的处理参考。[0180] 进一步的,本实施例中,步骤S5具体包括:[0181] 根据不同光学器件类型的精细化角点特征点集,采用非极大值抑制算法,结合角点密集度动态调整局部邻域范围,在局部邻域内比较角点响应强度,抑制非最大值点,保留局部最优角点,通过迭代收敛得到具有均匀分布的稳定角点特征集合;[0182] 具体的,获取不同光学器件的精细化角点特征点集,根据角点特征点集计算角点密集度,角点密集度通过K近邻算法统计每个角点的K个最近邻角点的平均距离得到;[0183] 生成角点密集度分布图,采用角点密集度分布图动态确定非极大值抑制算法的局部邻域范围;判断每个角点特征点的响应强度,若角点特征点的响应强度为局部最大值,则保留该角点特征点,否则抑制该角点特征点;[0184] 对筛选后的角点集合进行空间分布均匀性计算,空间分布均匀性通过Ripley'sK函数评估角点分布的聚集程度;[0185] 若空间分布均匀性不满足预设阈值,则调整非极大值抑制算法的参数重复角点筛选过程;[0186] 根据光学器件类型的特征点分布要求,调整局部区域的非极大值抑制阈值,得到满足各种光学器件特定需求的稳定角点特征集合;[0187] 示例如下:[0188] 根据不同光学器件类型的精细化角点特征点集,计算每种器件的角点密集度,采用K近邻算法统计每个角点的K个最近邻角点的平均距离,K值根据器件类型动态设置,如透镜取K=5,棱镜取K=8,光纤连接器取K=6;[0189] 基于计算得到的角点密集度分布图,动态调整非极大值抑制算法的局部邻域范围,在角点密集度高的区域设置较小的邻域范围,如密集度大于0.8时设置5x5像素邻域,在角点密集度低的区域设置较大的邻域范围,如密集度小于0.2时设置15x15像素邻域,生成邻域范围图;[0190] 对每个角点特征点,在其对应的局部邻域内比较角点响应强度,透镜类器件采用高斯曲率计算响应强度,棱镜类器件采用Harris角点响应函数计算响应强度,保留局部最大值点,抑制非最大值点,得到初步筛选后的角点集合;[0191] 计算筛选后角点集合的空间分布均匀性,采用Ripley'sK函数评估角点分布的聚集程度,在0到50像素的尺度范围内,每5像素计算一次K值,与完全空间随机分布的理论K值比较,若实际K值超过理论K值的1.2倍,判定为非均匀分布;[0192] 若均匀性不满足预设阈值,则调整非极大值抑制算法的参数,如增大或减小邻域范围的步长,重复角点筛选和均匀性评估过程,直到达到预设的均匀性要求或迭代次数达到20次。最后,根据不同光学器件类型的特征点分布要求,对筛选结果进行验证,如透镜要求角点沿边缘均匀分布,棱镜要求角点在棱边处密集分布,通过调整局部区域的非极大值抑制阈值,确保最终得到的角点特征集合满足各种光学器件的特定需求;[0193] 在4096x3072像素的PCB图像中,对于识别出的透镜区域(直径约500像素),采用K近邻算法计算角点密集度,设K=5,得到平均最近邻距离为15像素。根据密集度分布,在透镜边缘区域(密集度0.9)设置7x7像素的非极大值抑制邻域,中心区域(密集度0.3)设置13x13像素邻域;[0194] 对每个角点,计算高斯曲率作为响应强度,曲率半径阈值设为10像素。初步筛选后,透镜区域保留了200个角点;[0195] 使用Ripley'sK函数评估分布均匀性,在0?50像素范围内,每5像素计算一次K值;[0196] 结果显示在30像素尺度上,实际K值为理论值的1.3倍,超过1.2的阈值,判定为非均匀分布,调整非极大值抑制参数,将边缘区域邻域扩大到9x9像素,中心区域缩小到11x11像素,重新筛选得到180个角点;[0197] 第二次Ripley'sK函数分析显示,最大K值比为1.18,满足均匀性要求,结合透镜特性,要求边缘角点间距不小于10像素,通过局部阈值调整,最终得到160个均匀分布的角点,其中边缘120个,中心区域40个,整个过程迭代7次,总耗时1.2秒,满足透镜器件的特征点分布需求。[0198] 进一步的,本实施例中,步骤S6具体包括:[0199] 结合器件形状的复杂性,提取器件的多尺度轮廓边缘信息,在边缘线段上计算多尺度曲率极值点作为潜在的复杂形状角点;[0200] 具体的,获取原始图像并采用高斯金字塔进行多尺度分解,得到5个尺度层级的图像序列;[0201] 根据图像序列,在每个尺度层级上应用Canny边缘检测算法,提取图像序列中的器件轮廓;[0202] 针对器件轮廓,采用Douglas?Peucker算法进行边缘线段化处理,得到简化后的轮廓线段;[0203] 通过在简化后的轮廓线段上使用滑动窗口法,计算局部曲率值序列;[0204] 若局部曲率值序列中存在曲率极值点,则采用尺度空间特征点匹配方法,将不同尺度的曲率极值点进行关联;根据关联结果,形成多尺度特征描述符,用于确定潜在的复杂形状角点;[0205] 示例如下:[0206] 采用高斯金字塔对原始图像进行多尺度分解,构建5个尺度层级,每层图像尺寸为上一层的1/2,最小图像尺寸为256x192像素,在图像边缘采用镜像填充方法处理,填充宽度为15像素;[0207] 在每个尺度层级上应用Canny边缘检测算法提取器件轮廓,低通滤波器的σ值从底层的1.4逐层递减至顶层的0.4;[0208] 对每个尺度层级的轮廓图像进行边缘线段化处理,采用Douglas?Peucker算法进行轮廓简化,简化阈值基于图像分辨率和器件尺寸动态设置,最底层阈值为图像对角线长度的0.1%,最顶层为0.00625%;[0209] 在简化后的边缘线段上,使用滑动窗口法计算局部曲率,窗口大小随尺度变化,底层为21像素,顶层为3像素,窗口移动步长为1像素,边界处采用循环填充;[0210] 通过差分approximation方法计算曲率值,采用三点法计算曲率,对计算得到的曲率值序列应用一维极大值抑制算法,提取每个尺度层级上的曲率极值点,抑制半径设为窗口大小的1/3,阈值设为该尺度曲率均值的1.5倍;[0211] 引入形状复杂度评估指标,计算轮廓的分形维数,根据分形维数调整曲率极值点的提取密度;[0212] 采用尺度空间特征点匹配方法,将不同尺度的曲率极值点进行关联,形成多尺度特征描述符,综合考虑各尺度信息,最终确定潜在的复杂形状角点;[0213] 在处理一个4096x3072像素的PCB图像时,首先构建5层高斯金字塔,最小图像尺寸为256x192像素;[0214] 图像边缘采用15像素宽的镜像填充,确保边缘信息完整,对每层应用Canny算法,底层σ=1.4,顶层σ=0.4,提取轮廓,以一个复杂光学器件为例,底层检测到2000个边缘像素点,应用Douglas?Peucker算法简化轮廓,底层阈值设为5像素(对角线长度0.1%),顶层为0.3像素(0.00625%),简化后底层保留300个点;[0215] 使用滑动窗口计算曲率,底层窗口21像素,步长1像素,边界循环填充,采用三点法计算曲率,如在(100,100)处的曲率值为0.05;[0216] 一维极大值抑制提取曲率极值点,抑制半径7像素,阈值为该层曲率均值0.03的1.5倍,即0.045;[0217] 计算轮廓分形维数为1.3,根据此值将曲率极值点提取密度提高20%,通过尺度空间特征匹配,如底层(100,100)点与上层(50,50)点匹配,形成多尺度描述符;[0218] 综合5个尺度信息,最终在该器件上识别出50个潜在的复杂形状角点,其中角点(100,100)在3个尺度上均有响应,被判定为稳定的复杂形状角点,整个过程耗时1.5秒,为后续精确定位和特征提取奠定基础。[0219] 进一步的,本实施例中,步骤S7具体包括:[0220] 将复杂形状角点与稳定角点特征集合进行融合,构建包含不同类型、不同尺度、不同方向的角点综合特征集;[0221] 具体的,获取复杂形状角点和稳定角点特征集合,采用DBSCAN算法对特征集合进行空间聚类;[0222] 对空间聚类结果,计算每个聚类的中心点作为代表点;[0223] 根据代表点,提取多尺度描述符,多尺度描述符包括HOG特征、SIFT特征及LBP特征;[0224] 对多尺度描述符进行主成分分析,得到降维后的特征描述符;[0225] 若降维后的特征描述符满足预设条件,则根据角点的空间分布、特征描述符相似度、响应强度、尺度和方向信息,采用加权投票机制选择代表性角点;[0226] 获取代表性角点的空间均匀性指标和特征多样性指标,判断空间均匀性指标和特征多样性指标是否满足预设阈值;[0227] 若空间均匀性指标和特征多样性指标满足预设阈值,则确定代表性角点为最终特征集;[0228] 若空间均匀性指标和特征多样性指标不满足预设阈值,则调整DBSCAN算法的参数,重新执行空间聚类;[0229] 示例如下:[0230] 对复杂形状角点和稳定角点特征集合进行空间聚类,采用DBSCAN算法,聚类半径设置为图像对角线长度的0.5%,最小样本数为图像中预期角点总数的0.1%,将空间位置相近的角点归为一类,得到角点聚类结果;[0231] 对每个聚类,计算聚类中心作为代表点,提取该点的多尺度描述符,包括8x8像素块的HOG特征(9个方向bin),4个尺度的SIFT特征(128维),以及半径为1、2、3像素的LBP特征,形成324维的特征向量,记录该点的尺度信息(高斯金字塔层级)和方向信息(主方向角度);[0232] 利用主成分分析法对特征向量进行降维处理,首先计算324x324的协方差矩阵,进行特征值分解,选取前64个最大特征值对应的特征向量作为投影矩阵,将原特征向量投影到64维空间,构建新的特征描述符,同时计算每个角点的响应强度,综合考虑Harris响应值和曲率值,取两者的加权平均(权重分别为0.6和0.4);[0233] 引入角点类型标签(复杂形状或稳定角点)和方向量化(将360度均分为8个方向区间),根据角点的空间分布(权重0.2)、特征描述符相似度(权重0.3)、响应强度(权重0.2)、尺度(权重0.15)和方向(权重0.15)信息,采用加权投票机制选择最具代表性的角点,每个属性根据其在聚类中的排名得分,总分最高的角点被选为代表。构建最终的综合特征集,每个特征点包含位置、描述符、响应强度、尺度、方向和类型六个属性;[0234] 采用空间均匀性指标和特征多样性指标评估特征集质量,空间均匀性通过计算最近邻距离的变异系数衡量,特征多样性通过不同类型、尺度和方向角点的熵值衡量,综合得分低于阈值时,调整DBSCAN参数重新聚类,直到满足质量要求;[0235] 在处理一个4096x3072像素的PCB图像时,首先对1000个复杂形状角点和2000个稳定角点进行DBSCAN聚类,聚类半径设为25像素(对角线长度的0.5%),最小样本数为3(总角点数的0.1%),得到150个聚类;[0236] 以其中一个聚类为例,包含7个角点,计算中心点(1024,768)作为代表点。提取该点的多尺度描述符,8x8像素块的HOG特征得到81维向量,4个尺度的SIFT特征得到128维向量,3种半径的LBP特征得到115维向量,合并成324维特征向量。记录其尺度信息(金字塔第2层)和方向信息(主方向45度);[0237] 通过主成分分析降维,324x324协方差矩阵的前64个特征值占总和的95%,用对应特征向量构建投影矩阵,将特征向量降至64维,计算响应强度,Harris响应值0.8,曲率值0.6,加权平均得0.72。标记角点类型为复杂形状,方向量化到45度区间;[0238] 在加权投票中,该点空间分布得分0.9,特征相似度0.85,响应强度0.72,尺度0.8,方向0.75,总分3.79,在聚类中排名第一被选为代表点;[0239] 最终特征集包含150个特征点,空间均匀性指标(最近邻距离变异系数)为0.3,特征多样性指标(类型、尺度、方向熵值)为2.5,满足预设阈值要求,无需重新聚类。整个过程耗时2.3秒,为后续PCB图像分析提供了全面的角点特征表示;[0240] 进一步,对角点不同类型区分为复杂形和稳定性,对角点进行尺度属性分析,根据角点所在边缘曲线的局部曲率变化,区分出小尺度和大尺度角点;[0241] 对角点进行方向属性分析,通过计算角点邻域内边缘曲线的主方向,得到不同方向的角点集合,根据角点的类型属性、尺度属性和方向属性,构建角点特征描述子,形成角点特征集;[0242] 具体的,获取角点邻域内边缘曲线,采用盒计数法计算边缘曲线的分形维数;[0243] 根据分形维数判断角点类型,若分形维数大于预设阈值,则将角点标记为复杂形状角点;[0244] 对角点所在边缘曲线,采用滑动窗口法计算曲率值,根据曲率值最大值出现的窗口大小判断角点尺度属性,若最大曲率值出现在小于预设像素数的窗口中,则判定角点为小尺度角点;[0245] 对角点周围预设大小的邻域内,采用Sobel算子计算每个像素的梯度幅值和方向;[0246] 根据梯度幅值和方向统计边缘像素的梯度方向直方图,选取梯度方向直方图中最大响应的bin对应的方向作为角点的主方向;[0247] 根据角点的类型属性、尺度属性和方向属性,构建角点特征描述子;[0248] 特征描述子包括类型属性、尺度属性、方向属性和局部特征,其中局部特征通过SIFT算法在角点邻域内提取并降维得到;[0249] 对特征描述子进行L2范数归一化处理,得到包含位置、类型、尺度、方向和特征描述子的角点特征集,角点特征集具有尺度和旋转不变性;[0250] 示例如下:[0251] 采用形状复杂度指标对角点进行类型区分,计算角点邻域内边缘曲线的分形维数,使用盒计数法,从1像素到10像素的盒子大。臣聘哺潜咴登咚璧暮凶邮,通过双对数回归得到分形维数;[0252] 若分形维数大于预设阈值1.5,则将角点标记为复杂形状,否则标记为稳定性角点。根据角点所在边缘曲线的局部曲率变化进行尺度属性分析,采用滑动窗口法计算曲率值,窗口大小从5像素到21像素,步长为2像素;[0253] 使用三点法计算曲率,选取窗口内的首、中、尾三个点,通过这三点确定一个圆,圆的曲率即为该窗口的曲率值;[0254] 若最大曲率值出现在小于11像素的窗口中,则判定为小尺度角点,否则判定为大尺度角点;[0255] 对角点进行方向属性分析,在角点周围21x21像素的邻域内,使用Sobel算子计算每个像素的梯度幅值和方向,统计边缘像素的梯度方向直方图,将360度划分为18个bin,每个bin宽度20度,以梯度幅值为权重累加到对应的bin中,选取最大响应的bin对应的方向作为角点的主方向;[0256] 根据角点的类型属性、尺度属性和方向属性,构建64维的角点特征描述子,其中类型属性占2维(one?hot编码),尺度属性占2维(one?hot编码),方向属性占18维(梯度方向直方图),剩余42维使用SIFT算法在角点16x16像素邻域内提取局部特征,将该区域划分为4x4个子区域,每个子区域计算8方向的梯度直方图,得到4x4x8=128维特征,通过主成分分析降至42维。对于位于图像边缘的角点,采用镜像填充方法扩展图像边界。最后对64维特征描述子进行L2范数归一化,提高其尺度和旋转不变性,最终得到包含位置、类型、尺度、方向和特征描述子的角点特征集;[0257] 在处理一个4096x3072像素的PCB图像时,首先对检测到的1000个角点进行分析。以其中一个角点(1024,768)为例,在其31x31像素邻域内应用盒计数法计算分形维数;[0258] 使用1到10像素的盒子大。玫礁哺潜咴档暮凶邮糠直鹞310、158、82、43、23、13、8、5、3、2;[0259] 通过双对数回归,计算得到分形维数为1.62,大于阈值1.5,因此将其标记为复杂形状角点。随后进行尺度分析,使用5到21像素的滑动窗口,步长为2像素,应用三点法计算曲率,得到曲率值序列:0.15、0.12、0.09、0.08、0.07、0.06、0.05、0.05、0.04;[0260] 最大曲率0.15出现在5像素窗口,判定为小尺度角点,在方向分析中,使用Sobel算子计算21x21邻域内的梯度,得到18bin的方向直方图:[12、18、25、42、78、120、156、187、201、198、176、143、98、65、43、32、24、19];[0261] 主方向对应第9个bin,即160°?180°,构建64维特征描述子时,复杂形状对应[1,0],小尺度对应[1,0],18维方向直方图归一化后占用18维;[0262] 剩余42维通过SIFT算法在16x16邻域内提。玫128维特征,经PCA降至42维,最后对64维特征进行L2归一化,得到最终描述子;[0263] 整个过程对1000个角点重复进行,耗时约2.5秒,形成了包含位置、类型、尺度、方向和描述子的完整角点特征集,为后续PCB图像分析奠定基础。[0264] 进一步的,本实施例中,步骤S8具体包括:[0265] 根据检测到的角点综合特征集,计算光学器件相邻角点之间的几何拓扑关系,构建光学器件的角点拓扑结构模型,并与各类光学器件角点模板库进行匹配,判断当前光学器件的角点组合是否符合预期的几何布局;[0266] 具体的,获取角点综合特征集,采用Delaunay三角剖分算法构建角点之间的初始拓扑关系;[0267] 根据初始拓扑关系计算每对相邻角点之间的欧氏距离、角度和相对方向,得到角点对特征向量;[0268] 采用层次聚类算法对角点进行分组,若聚类距离小于预设阈值,则将角点归入同一簇,得到多个角点簇;[0269] 针对每个角点簇,计算簇内角点的空间分布特征,包括角点密度、角点间距离的均值和方差、角点方向的一致性,构建光学器件的角点拓扑结构模型;[0270] 将角点拓扑结构模型与预先建立的光学器件角点模板库进行匹配,采用图编辑距离算法计算结构相似度;[0271] 若结构相似度超过预设阈值,则判断当前光学器件的角点组合符合预期的几何布局;[0272] 对匹配结果进行可信度评估,若综合评分超过预设阈值,则确认匹配结果有效;[0273] 示例如下:[0274] 根据检测到的角点综合特征集,采用Delaunay三角剖分算法构建角点之间的初始拓扑关系,计算每对相邻角点之间的欧氏距离、角度和相对方向,形成角点对特征向量;[0275] 对于图像边缘的角点,添加虚拟边界点,虚拟点位置设置为边缘角点沿边界外延20像素;[0276] 基于角点对特征向量,使用层次聚类算法对角点进行分组,采用单链接法,设置聚类阈值为角点对平均距离的1.5倍,得到多个角点簇,每个簇代表一个潜在的光学器件;[0277] 对每个角点簇,计算簇内角点的空间分布特征,包括角点密度(单位面积内角点数量)、角点间距离的均值和方差和角点方向的一致性(通过计算角点方向向量的方差得到),构建光学器件的角点拓扑结构模型;[0278] 将构建的角点拓扑结构模型与预先建立的各类光学器件角点模板库进行匹配,采用图编辑距离算法计算结构相似度,具体步骤包括节点替换代价、边替换代价和结构变形代价的计算,设置匹配阈值为0.8;[0279] 若相似度超过阈值,则判断当前光学器件的角点组合符合预期的几何布局。对于匹配结果不确定的情况,采用多模板投票机制,选取前三个最相似的模板进行二次匹配,根据加权得分确定最终匹配结果;[0280] 对匹配结果进行可信度评估,考虑角点数量占模板角点总数的比例(设阈值为0.85)和角点空间分布的完整性(通过计算角点覆盖率得到,设阈值为0.9),综合评分超过预设阈值0.88时,确认匹配结果有效;[0281] 在处理一个4096x3072像素的PCB图像时,检测到500个角点,应用Delaunay三角剖分算法构建初始拓扑关系,生成约1400个三角形。对于靠近边缘的50个角点,在边界外20像素处添加虚拟点;[0282] 计算角点对特征,例如角点(1024,768)和(1056,792)之间的距离为40像素,角度为26.57度,相对方向为0.82;[0283] 使用单链接层次聚类,设置阈值60像素(平均距离40像素的1.5倍),得到20个角点簇。以其中一个包含25个角点的簇为例,计算得到角点密度为0.005个/平方像素,角点间距离均值为35像素,方差为8像素,方向一致性(方向向量方差)为0.15;[0284] 将该簇与模板库中100个预设模板比较,使用图编辑距离算法,节点替换代价为0.3,边替换代价为0.5,结构变形代价为0.2,得到最佳匹配模板的相似度为0.85,超过阈值0.8;[0285] 对于另一个相似度为0.75的簇,采用多模板投票,前三相似模板得分分别为0.75、0.72、0.68,加权后得分为0.73;[0286] 最后评估匹配可信度,该簇25个角点占模板30个角点的83.3%,低于85%阈值,空间分布完整性为0.92,超过0.9阈值,综合评分为0.87,略低于0.88阈值,标记为待进一步验证,整个过程耗时1.8秒,为后续PCB器件识别提供了可靠的几何布局分析基础。[0287] 进一步的,本实施例中,步骤S9具体包括:[0288] 通过角点拓扑结构模型与各类光学器件角点模板库进行匹配,获得光学器件的角点拓扑结构匹配结果,将角点拓扑结构匹配结果与光学器件的角点精细化坐标信息进行融合,生成光学器件的定位信息;[0289] 接收光学器件的角点拓扑结构匹配结果及角点精细化坐标信息;[0290] 根据匹配结果及坐标信息,采用RANSAC算法筛选匹配点对,剔除异常值;[0291] 利用最小二乘法对筛选后的匹配点对进行坐标变换,得到光学器件在PCB坐标系中的位置和方向信息;[0292] 获取PCB设计图纸及器件尺寸信息,根据PCB设计图纸及器件尺寸信息,计算光学器件在PCB上的安装位置;[0293] 采用A*算法对安装位置进行优化,得到避让障碍物后的优化安装位置;[0294] 利用卡尔曼滤波算法对光学器件的位置偏差进行估计;[0295] 卡尔曼滤波算法的状态向量包含位置、速度和加速度,观测向量为位置测量值;[0296] 根据位置偏差估计结果,生成补偿后的定位信息;[0297] 将定位信息转换为PCB装配控制系统可识别的指令格式,通过ModbusTCP协议将指令格式传输至PCB装配控制系统;[0298] 指令格式包括器件类型、安装坐标、姿态角度、装配力度及装配方法;[0299] 示例如下:[0300] 将角点拓扑结构匹配结果与角点的精细化坐标信息进行融合,采用RANSAC算法筛选匹配点对,剔除异常值,然后使用最小二乘法对筛选后的匹配点对进行坐标变换,计算出光学器件在PCB坐标系中的精确位置和方向;[0301] 根据光学器件的类型和尺寸信息,结合PCB设计图纸,计算器件在PCB上的理想安装位置,使用A*算法进行障碍物避让,考虑PCB上其他元件的布局,优化安装位置,与实际检测位置进行比对,得到位置偏差值;[0302] 利用卡尔曼滤波算法对位置偏差进行估计和修正,状态向量包含位置、速度和加速度,观测向量为位置测量值,结合PCB制造误差和图像畸变因素,生成补偿后的定位信息;[0303] 根据器件类型选择适当的免焊接装配方法,例如压接或卡扣,将定位信息和装配方法转换为PCB装配控制系统可识别的指令格式,包括器件类型、安装坐标、姿态角度、装配力度和装配方法参数,通过ModbusTCP协议传输给控制系统;[0304] 在处理一个4096x3072像素的PCB图像时,检测到一个微型透镜的50个角点;[0305] 使用RANSAC算法进行匹配点筛。柚勉兄滴2像素,迭代500次,筛选出45个有效匹配点;[0306] 应用最小二乘法计算坐标变换矩阵,得到透镜在PCB坐标系中的中心位置为(1024.5,768.3)mm,旋转角度为1.2°,结合PCB设计图纸,理想安装位置为(1025.0,768.0)mm;[0307] 使用A*算法进行障碍物避让,网格大小设为0.1mm,考虑周围10个元件,优化后的安装位置为(1024.8,768.1)mm;[0308] 应用卡尔曼滤波,状态向量为[x,y,θ,vx,vy,ω],观测向量为[x,y,θ],过程噪声协方差Q设为对角矩阵[0.01,0.01,0.001,0.1,0.1,0.01],测量噪声协方差R设为对角矩阵[0.1,0.1,0.01],经过5次迭代,得到修正后的位置(1024.7,768.2)mm,角度1.1°;[0309] 选择压接法进行免焊接装配,压力设定为5N,通过ModbusTCP协议,使用功能码16写入6个保持寄存器,分别对应x、y、θ、压力、器件类型和装配方法;[0310] 视觉传感器采集100fps的图像流,使用模板匹配算法实时跟踪透镜位置,偏差阈值设为0.05mm和0.5°,超过阈值则立即发送调整指令,整个过程耗时0.5秒,实现了微小光学器件的精准定位和快速装配。[0311] 在本发明的描述中,需要理解的是,方位词如“前、后、上、下、左、右”、“横向、竖向、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,在未作相反说明的情况下,这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作,因此不能理解为对本发明保护范围的限制。[0312] 对于本领域的技术人员来说,可根据以上描述的技术方案以及构思,做出其它各种相应的改变以及形变,而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
专利地区:广东
专利申请日期:2024-09-19
专利公开日期:2024-11-29
专利公告号:CN118823126B