开云优惠体育网页版入口

专利名称：一种基于产品颜色及形状识别的智能分拣系统及方法

专利类型：发明专利

专利申请号：CN202210229454.0

专利申请（专利权）人：沈阳工学院
权利人地址：辽宁省抚顺市经济技术开发区

专利发明（设计）人：发明人:刘业峰,孙维堂,赵元,陶林,张丽丽,穆德敏

专利摘要：本发明公开了一种基于产品颜色及形状识别的智能分拣系统及方法，在现场传送带上方布置CCD相机，通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；CCD相机尺度采用的是像素坐标，机器人坐标是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；采用九点标定直接建立CCD相机和机器人之间的坐标变换关系，让机器人的末端通过九个点得到在机器人坐标系中的坐标，用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人坐标系的坐标转化的标定参数。本发明构建了基于机器视觉的智能分拣系统，实现了工件的自动分拣，自动进行工件的外部尺寸检测，并与标准工件模板比较，从而区分不同类别的工件。

主权利要求：
1.一种基于产品颜色及形状识别的智能分拣方法，其特征在于，包括如下步骤：步骤1：通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；
CCD相机尺度采用是像素坐标，机器人坐标为是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；采用九点标定直接建立CCD相机和机器人之间的坐标变换关系，让机器人的末端通过九个点得到在机器人坐标系中的坐标，同时用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人坐标系的坐标转化的标定参数；
如果有一个点变换之前是[x,y,1],变换后是[ , ,1]，则转化关系表示如下:（1）
T
其中， ,M=[c,f,0] ,X=[x,y,1]，Y=[ , ,1]；
如果想求a?f之间6个变量需要3组点；为了提高标定的精度，使用9组点，利用最小二乘法确定待定的系数；
步骤2：采用CCD成像标准的工件模板，存储在车间总控服务器的数据库中；
通过标准工件模板CCD成像，建立待分拣工件的模板并存储在车间总控服务器的数据库中；
步骤3：判断待测工件是否在视野内
通过传送带的辅助开关进行检测，判断是否有工件在视野范围内，如果有工件，辅助开关闭合，单元总控检测到辅助开关闭合后，控制CCD相机对视野内工件进行图像采集，否则，系统循环检测工件是否在视野内；
步骤4：通过对工件颜色及形状特征的提。导渥芸胤务器判断视野内的工件是否为待拣工件，具体包括以下步骤：
4.1工件图像的预处理
4.2工件图像特征提取
4.3工件颜色和形状的相似度计算
4.4工件类型的辨识；
步骤5：工件形心位置及角度的计算
CCD相机匹配到对应的目标工件后，接下来便要获取匹配工件的位姿信息来引导机器人完成对目标工件的准确抓。皇泳跞挝裣碌哪勘晡蛔诵畔勘暝诙维运动平面上的位置信息及偏转角度；利用形状特征所提取的质心坐标来描述目标工件在图像中的位置坐标信息；目标的偏转角度是相对于其初始模板状态下的旋转过程，因此分别对当前目标图像和其对应类别模板图像求取最小外接矩形，比较两个矩形在水平或垂直方向上的角度差值，作为机器人抓取当前目标工件时的补偿角度；默认分拣工件表面的图案特征为非对称图形，因此规定目标工件的角度旋转范围为±180°，这样便获取了2D视觉任务下单个目标工件的位姿信息：X_Y_A_；
步骤6：控制机器人到达指定位置，执行分拣操作
如果当前工件为某类假设合格工件，则根据步骤5计算的位置及角度，调整机器末端执行器，分拣至指定通道，如果不是某类所需寻找的工件，则跳转到步骤3，继续执行，直到完成分拣处理；
所述工件颜色和形状的相似度计算包括③颜色相似度计算、④形状相似度计算、⑤特征相似度融合归一化；
③颜色相似度计算：
高斯滤波后的特征区域基础色调单一，不存在色调突变，且颜色分布均匀；综合考虑特征区域的特点、常用颜色特征描述的优缺点以及算法效率，选用最简单的颜色直方图各颜色通道的差值判断工件颜色的相似度；颜色差值计算公式如下所示：（4）
式中C为颜色直方图任一通道的颜色差值；n,m为图像x,y方向的像素数；p为图像像素均差值；
利用颜色直方图计算目标图像感兴趣区域与各个颜色模板之间的颜色距离，距离越小相似度越高，目标图像所属的类别为距离最小的颜色模板代表的类别；
④形状相似度计算：
利用工件图像形心坐标与模板图像的形心坐标比较的方法，判断工件的形状特征是否符合分拣要求，比较后得到的结果提供了图像间的差异信息；可对检测工件图像与合格模板工件图像形心坐标对应并作方差运算，直观地得出工件的模板图像与待检测图像之间形状的差别，进而根据差值图像与阈值作比较，来进行工件分类；
如果 =0,即Img（A）?Img（B）=0,Img（A）为工件模板的形心坐标向量，Img（B）为待测工件图像形心坐标向量，则表示待测工件与工件模块完全相同；但由于加工误差的存在，不可能为零，所以设定一个阈值，当 小于阈值时，则判断为同一工件，否则为非同类工件或不合格品；
⑤特征相似度融合归一化：
基于图像的颜色特征和形状特征进行物体识别，需要两个特征识别的相似度进行融合；利用数值的方差值计算两颜色及形状特征向量间的相似程度，越接近0则两特征相似性越大；由于颜色特征与形状特征的量化单位不同，因此，需要对相似度距离函数进行归一化操作，使两个特征的相似度度量都归一化在区间[0,1]内，从而进行线性加权融合；
形状特征相似度和颜色特征相似度分别为Dc和Dt，其计算公式如下：（5）
其中， 为物体与模板图像形心坐标差的平方和， 为模板形心坐标的平方和，为物体与模板图像像素差的平方和， 为模板图像像素的平方和；
所述工件类型的辨识包括基于图像的颜色特征和形状特征进行工件识别，需要将两种特征相似度进行融合；通过加权融合方式将颜色特征相似度与形状特征相似度进行融合组成工件相似度函数；则融合规则如下：假设给定两工件的形状特征相似度和颜色特征相似度分别为Dt和Dc，则形状特征与颜色特征的融合相似度DTC为：（6）
其中， 是颜色相似度的权重， 是形状相似度的权重， 式为：
（7）
公式（7）表示当形状特征相似度与颜色特征相似度其中有一个小于0.5时，则 和都为0，说明两个工件不存在相似性；因此，DTC∈[0,1]；根据此规则建立的工件相似度函数，表明两个工件只有在形状特征以及颜色特征都满足一定阈值，即都大于0.5的情况下，才有可能是相似工件，否则两个工件不存在相似性；其中DTC越接近于1则两个工件越相似；反之，两个工件的相似度越。蛄礁龉ぜ越不可能相似。
2.根据权利要求1所述的基于产品颜色及形状识别的智能分拣方法，其特征在于：所述工件图像的预处理包括对获取的图像采用高斯滤波进行滤波去噪处理，通过图像分割将图像分割成各具特性的区域，并将图像中的前景目标从背景中分离并提取出来；对工件图像进行边缘检测，根据检测出的边缘区域将目标从背景中分离开。
3.根据权利要求1所述的基于产品颜色及形状识别的智能分拣方法，其特征在于：所述工件图像特征提取包括①颜色特征的提取、②形状特征的提。
①所述颜色特征的提。
颜色特征的提取方法采用颜色直方图，颜色直方图是最基本的颜色特征表示方法，它反映的是图像中颜色的组成分布，即出现了哪些颜色以及颜色出现的概率；其函数表达式如下：（2）
其中，k代表图像的特征取值，L是特征可取值的个数， 是图像中具有特征值为k的像素的个数，N是图像像素的总数；由于该颜色特征的提取过程不必考虑物体的空间位置，可以根据颜色直方图所描述的不同色彩在整幅图像中所占的比例判断工件颜色的相似性；
②形状特征的提。
对工件形状特征的提取采用边缘形心距离的模板匹配方法，通过预处理的边缘特征提取得到目标稳定的边缘信息后，对边缘形心距离作为形状特征的表达方法；利用图像分析求取目标工件的最小外接矩形，类比质心原理来获取目标工件的形心坐标：（3）
式中，n表示获取到的目标工件外接矩形框所有像素点的数量，Pix表示当前像素点在图像x方向上的坐标位置，同理，Piy表示像素点在图像y方向上的坐标位置；接下来，计算目标工件每一个边缘点到其形心的距离，并将所有距离按序构成多维向量作为目标边缘的抽象表达，这样就完成了目标模板的建立；分别建立所有类别工件的模板，对搜索图像中的所有目标工件进行上述操作，通过计算模板工件和搜索工件间的特征向量距离来完成对应目标的匹配过程。
4.一种基于产品颜色及形状识别的智能分拣系统，其特征在于：用以实施权利要求1至
3中任一项所述的基于产品颜色及形状识别的智能分拣方法，包括视觉信号采集层、视觉信号处理层、视觉任务控制层、视觉应用层；
视觉信号采集层，用于为系统提供实时现场流水线视觉信息；在现场传送带上方布置CCD相机，CCD相机与现场的机器人配合使用，以实现控制机器人分拣工件；当有外部信号触发时，采集视觉信号用于获取分拣工件的颜色及形状信息，为工件类别的判断与工件的定位提供原始数据；
视觉信号处理层，该层包括车间总控服务器、上位机、工件仓储总控；视觉信号处理层用于对视觉信号采集层所获得信号的处理与分析及向上层设备的信息反。月愠导涓鞯ピ璞付允泳跣藕诺男枨螅
视觉任务控制层，该层包括单元总控；视觉任务控制层用于实现生产任务调度及单元内设备的协调控制，实现视觉任务的下发；同时还用于实现各加工单元的视觉采集控制，实现现场信息的采集及设备状态信息、生产管理信息、质量统计信息的在线监控；
视觉应用层，该层包括机器人控制器，利用视觉信号处理层处理及分析的结果，对现场的机器人实施运动控制，实现工件抓取功能；并能针对不同的功能对视觉信号施予不同的应用。
5.根据权利要求4所述的一种基于产品颜色及形状识别的智能分拣系统，其特征在于：所述视觉信号采集层包括镜头、CCD相机、光源以及图像采集卡，光源设置于传送带上的工件上方，CCD相机位于光源的上方，镜头配合安装于CCD相机上，机器人位于传送带一侧，CCD相机与图像采集卡相连；所述视觉任务控制层还包括检测任务、工件运输任务。
6.根据权利要求5所述的一种基于产品颜色及形状识别的智能分拣系统，其特征在于：所述图像采集卡与视觉信号处理层的上位机相连，上位机通过云平台与机器人控制器通信连接，机器人控制器与机器人相连。 说明书 : 一种基于产品颜色及形状识别的智能分拣系统及方法技术领域[0001] 本发明属于智能制造技术领域，特别适用于工业产品分拣过程中；具体地是涉及一种基于产品颜色及形状识别的智能分拣系统及方法。背景技术[0002] 对目标产品进行准确抓取并按照类别放置在预定位置被定义为工业分拣过程。在食品、物流和电子等轻工行业，生产过程往往需要完成对大批量工业产品的分拣操作，传统依靠大量人工的分拣方式已经难以满足生产需求。随着自动化相关技术的普及与发展，越来越多的工业生产过程已经开始装备自动化设备来实施分拣作业任务。分拣过程包括静态分拣和动态分拣两种方式。静态分拣过程要求目标处于静止状态，目标产品的位置姿态和机器人末端的运动路径都需要预先通过示教或离线编程的方式严格设定，虽然可以保证分拣精度，但工业机器人对环境的适应能力较弱，灵活性较差，无法满足生产系统高速分拣和柔性化的生产需求。动态分拣过程更适用于对流水线上运动的轻小物品进行高速抓取放置(pick?and?place)的操作，如再结合工业视觉系统，则机器人就能够快速地对流水线上随机呈现的移动目标产品完成分拣过程，这样会显著提升机器人的智能化程度，使机器人能够快速地应对生产环境的改变。因此，研究出一种基于机器视觉的机器人分拣系统及方法对提升工业生产效率具有十分重要的意义。发明内容[0003] 本发明就是针对上述问题，弥补现有技术的不足，提供一种基于产品颜色及形状识别的智能分拣系统及方法；本发明构建了基于机器视觉的机器人智能分拣系统，实现了工件即目标产品的自动分拣，自动进行工件的外部尺寸检测，并与标准工件模板比较，从而区分不同类别的工件。本发明系统可以大大提高工件分拣的效率，从而降低产品的检测成本，满足企业对产品品质管理的需求。[0004] 为实现上述目的，本发明采用如下技术方案。[0005] 本发明提供的一种基于产品颜色及形状识别的智能分拣系统，包括视觉信号采集层、视觉信号处理层、视觉任务控制层、视觉应用层；[0006] 视觉信号采集层，用于为系统提供实时现场流水线视觉信息；在现场传送带上方布置CCD相机，CCD相机与现场的机器人配合使用，以实现控制机器人分拣工件；当有外部信号触发时，采集视觉信号用于获取分拣工件的颜色及形状信息，为工件类别的判断与工件的定位提供原始数据；[0007] 视觉信号处理层，该层包括车间总控服务器、上位机、工件仓储总控；视觉信号处理层用于对视觉信号采集层所获得信号的处理与分析及向上层设备的信息反。月愠导涓鞯ピ璞付允泳跣藕诺男枨螅籟0008] 视觉任务控制层，该层包括单元总控；视觉任务控制层用于实现生产任务调度及单元内设备的协调控制，实现视觉任务的下发；同时还用于实现各加工单元的视觉采集控制，实现现场信息的采集及设备状态信息、生产管理信息、质量统计信息的在线监控；[0009] 视觉应用层，该层包括机器人控制器，利用视觉信号处理层处理及分析的结果，对现场的机器人实施运动控制，实现工件抓取功能；并能针对不同的功能对视觉信号施予不同的应用。[0010] 作为本发明的一种优选方案，所述视觉信号采集层包括镜头、CCD相机、光源以及图像采集卡，光源设置于传送带上的工件上方，CCD相机位于光源的上方，镜头配合安装于CCD相机上，机器人位于传送带一侧，CCD相机与图像采集卡相连；所述视觉任务控制层还包括检测任务、工件运输任务。[0011] 作为本发明的另一种优选方案，所述图像采集卡与视觉信号处理层的上位机相连，上位机通过云平台与机器人控制器通信连接，机器人控制器与机器人相连。[0012] 本发明所述的基于产品颜色及形状识别的智能分拣系统，能够满足不同协议的设备的网络通信连接，实现对工件质量的统计分析及智能化管理；并通过采用图像采集处理技术与运动控制技术相结合，实现产品的智能分拣。[0013] 本发明提供的一种基于产品颜色及形状识别的智能分拣方法，利用所述的智能分拣系统实现智能分拣方法，包括如下步骤：[0014] 步骤1：通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；[0015] CCD相机尺度采用的是像素坐标，机器人坐标是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；采用九点标定直接建立CCD相机和机器人之间的坐标变换关系，让机器人的末端通过九个点得到在机器人坐标系中的坐标，同时用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人坐标系的坐标转化的标定参数；[0016] 如果有一个点变换之前是[x,y,1],变换后是[x’,y’，1]，则转换化系表示如下:[0017] TX+M＝Y(1)T[0018] 其中， M＝[c,f,0] ,X＝[x,y,1]，Y＝[x’,y’,1]；[0019] 如果想求a?f之间6个变量需要3组点；为了提高标定的精度，通常使用9组点，利用最小二乘法确定待定的系数。[0020] 步骤2：采用CCD成像标准的工件模板，存储在车间总控服务器的数据库中；[0021] 通过标准工件模板CCD成像，建立待分拣工件的模板并存储在车间总控服务器的数据库中。[0022] 步骤3：判断待测工件是否在视野内[0023] 通过传送带的辅助开关进行检测，判断是否有工件在视野范围内，如果有工件，辅助开关闭合，单元总控检测到辅助开关闭合后，控制CCD相机对视野内工件进行图像采集，否则，系统循环检测工件是否在视野内。[0024] 步骤4：通过对工件颜色及形状特征的提。导渥芸胤务器判断视野内的工件是否为待拣工件，具体包括以下步骤：[0025] 4.1工件图像的预处理[0026] 对获取的图像采用高斯滤波进行滤波去噪处理，减少噪声对图像的影响；通过图像分割将图像分割成各具特性的区域，并将图像中的前景目标从背景中分离并提取出来；对工件图像进行边缘检测，根据检测出的边缘区域将目标从背景中分离开；[0027] 4.2工件图像特征提取[0028] ①颜色特征的提取[0029] 颜色特征的提取方法采用颜色直方图，颜色直方图是最基本的颜色特征表示方法，它反映的是图像中颜色的组成分布，即出现了哪些颜色以及颜色出现的概率；其函数表达式如下：[0030][0031] 其中，k代表图像的特征取值，L是特征可取值的个数，nk是图像中具有特征值为k的像素的个数，N是图像像素的总数；由于该颜色特征的提取过程不必考虑物体的空间位置，可以根据颜色直方图所描述的不同色彩在整幅图像中所占的比例判断工件颜色的相似性；[0032] ②形状特征的提取[0033] 对工件形状特征的提取采用边缘形心距离的模板匹配方法，通过预处理的边缘特征提取得到目标稳定的边缘信息后，对边缘形心距离作为形状特征的表达方法；利用图像分析求取目标工件的最小外接矩形，类比质心原理来获取目标工件的形心坐标：[0034][0035] 式中，n表示获取到的目标工件外接矩形框所有像素点的数量，Pix表示当前像素点在图像x方向上的坐标位置，同理，Piy表示像素点在图像y方向上的坐标位置；接下来，计算目标工件每一个边缘点到其形心的距离，并将所有距离按序构成多维向量作为目标边缘的抽象表达，这样就完成了目标模板的建立；分别建立所有类别工件的模板，对搜索图像中的所有目标工件进行上述操作，通过计算模板工件和搜索工件间的特征向量距离来完成对应目标的匹配过程；[0036] 4.3工件颜色和形状的相似度计算[0037] ③颜色相似度计算[0038] 高斯滤波后的特征区域基础色调单一，不存在色调突变，且颜色分布均匀；综合考虑特征区域的特点、常用颜色特征描述的优缺点以及算法效率，选用最简单的颜色直方图各颜色通道的差值判断工件颜色的相似度；颜色差值计算公式如下所示：[0039][0040] 式中C为颜色直方图任一通道的颜色差值；n,m为图像x,y方向的像素数；p为图像像素均差值；[0041] 利用颜色直方图计算目标图像感兴趣区域与各个颜色模板之间的颜色距离，距离越小相似度越高，目标图像所属的类别为距离最小的颜色模板代表的类别；[0042] ④形状相似度计算[0043] 利用工件图像形心坐标与模板图像的形心坐标比较的方法，判断工件的形状特征是否符合分拣要求，比较后得到的结果提供了图像间的差异信息；可对检测工件图像与合格模板工件图像形心坐标对应并作方差运算，直观地得出工件的模板图像与待检测图像之间形状的差别，进而根据差值图像与阈值作比较，来进行工件分类；[0044] 如果∑ΔG＝0，即Img(A)?Img(B)＝0，Img(A)为工件模板的形心坐标向量，Img(B)为待测工件图像形心坐标向量，则表示待测工件与工件模块完全相同；但由于加工误差的存在，∑ΔG不可能为零，所以设定一个阈值，当∑ΔG小于阈值时，则判断为同一工件，否则为非同类工件或不合格品；[0045] ⑤特征相似度融合归一化[0046] 基于图像的颜色特征和形状特征进行物体识别，需要两个特征识别的相似度进行融合；利用数值的方差值计算两颜色及形状特征向量间的相似程度，越接近0则两特征相似性越大；由于颜色特征与形状特征的量化单位不同，因此，需要对相似度距离函数进行归一化操作，使两个特征的相似度度量都归一化在区间[0，1]内，从而进行线性加权融合；[0047] 形状特征相似度和颜色特征相似度分别为Dc和Dt，其计算公式如下：[0048][0049] 其中，∑ΔG为物体与模板图像形心坐标差的平方和，∑G为模板形心坐标的平方和，∑Δp为物体与模板图像像素差的平方和，∑p为模板图像像素的平方和；[0050] 4.4工件类型的辨识[0051] 基于图像的颜色特征和形状特征进行工件识别，需要将两种特征相似度进行融合；在4.3中已经通过最大匹配距离得到归一化的形状及颜色特征相似度，此时两种特征相似度取值范围相同，可以进行融合；通过加权融合方式将颜色特征相似度与形状特征相似度进行融合组成工件相似度函数；则融合规则如下：[0052] 假设给定两工件的形状特征相似度和颜色特征相似度分别为Dt和Dc，则形状特征与颜色特征的融合相似度DTC为：[0053] DTC＝ωcDC+ωTDT(6)[0054] 其中，ωc是颜色相似度的权重，ωT是形状相似度的权重，ωc，ωT式为：[0055][0056] 公式(7)表示当形状特征相似度与颜色特征相似度其中有一个小于0.5时，则ωc和ωT都为0，说明两个工件不存在相似性；因此，DTC∈[0,1]；根据此规则建立的工件相似度函数，表明两个工件只有在形状特征以及颜色特征都满足一定阈值，即都大于0.5的情况下，才有可能是相似工件，否则两个工件不存在相似性；其中DTC越接近于1则两个工件越相似；反之，两个工件的相似度越。蛄礁龉ぜ越不可能相似。[0057] 步骤5：工件形心位置及角度的计算[0058] CCD相机匹配到对应的目标工件后，接下来便要获取匹配工件的位姿信息来引导机器人完成对目标工件的准确抓。皇泳跞挝裣碌哪勘晡蛔诵畔勘暝诙维运动平面上的位置信息及偏转角度；利用形状特征所提取的质心坐标来描述目标工件在图像中的位置坐标信息；目标的偏转角度是相对于其初始模板状态下的旋转过程，因此分别对当前目标图像和其对应类别模板图像求取最小外接矩形，比较两个矩形在水平或垂直方向上的角度差值，作为机器人抓取当前目标工件时的补偿角度；默认分拣工件表面的图案特征为非对称图形，因此规定目标工件的角度旋转范围为±180°，这样便获取了2D视觉任务下单个目标工件的位姿信息：X_Y_A_。[0059] 步骤6：控制机器人到达指定位置，执行分拣操作[0060] 如果当前工件为某类假设合格工件，则根据步骤5计算的位置及角度，调整机器末端执行器，分拣至指定通道，如果不是某类所需寻找的工件，则跳转到步骤3，继续执行，直到完成分拣处理。[0061] 本发明有益效果：[0062] 1、本发明具有智能化特点，本发明采用机器视觉实现工件的分拣，节省了人工成本，同时降低了人为失误造成的损失。[0063] 2、本发明具有可靠性高特点，本发明采用车间总控服务器实现图像的处理及分析，实现系统整体的算力平衡，提高了系统的运算效率，从而满足系统的实时处理性能。附图说明[0064] 图1为本发明的分拣系统应用于现场流水线上的一种实施例结构示意图。[0065] 图2为本发明的分层模块化式系统结构示意图。[0066] 图3为本发明的智能分拣方法的处理流程图。[0067] 图4为本发明的机器人手眼标定的原理图。[0068] 图中标记：1为传送带、2为光源、3为镜头、4为CCD相机、5为图像采集卡、6为上位机、7为云平台、8为机器人控制器、9为机器人。具体实施方式[0069] 为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。[0070] 实施例1[0071] 本发明的智能分拣系统由图像采集处理(即机器视觉)技术生成工件1形心位置，为机器人9抓取提供了坐标点；上位机6将处理得到的坐标点作为运动控制参数通过云平台7发送给机器人控制器8，机器人控制器8控制机器人9的末端执行机构在上位机6设定的区域内进行跟踪和抓取操作，以实现工件抓取功能。本发明系统采用模板匹配的方法来区分待分拣的工件，用待测工件与标准工件模板进行比较，超过一定误差即判为非同类品。[0072] 结合图1与图2所示，本发明提供的一种基于产品颜色及形状识别的智能分拣系统，包括视觉信号采集层、视觉信号处理层、视觉任务控制层、视觉应用层；[0073] 视觉信号采集层，用于为系统提供实时现场流水线视觉信息；在现场传送带1上方布置CCD相机4，CCD相机4与现场的机器人9配合使用，以实现控制机器人9分拣工件；当有外部信号触发时，采集视觉信号用于获取分拣工件的颜色及形状信息，为工件类别的判断与工件的定位提供原始数据；[0074] 视觉信号处理层，该层包括车间总控服务器、上位机6、工件仓储总控；视觉信号处理层用于对视觉信号采集层所获得信号的处理与分析及向上层设备的信息反。月愠导涓鞯ピ璞付允泳跣藕诺男枨螅籟0075] 视觉任务控制层，该层包括单元总控；视觉任务控制层用于实现生产任务调度及单元内设备的协调控制，实现视觉任务的下发；同时还用于实现各加工单元的视觉采集控制，实现现场信息的采集及设备状态信息、生产管理信息、质量统计信息的在线监控；[0076] 视觉应用层，该层包括机器人控制器8，利用视觉信号处理层处理及分析的结果，对现场的机器人9实施运动控制，实现工件抓取功能；并能针对不同的功能对视觉信号施予不同的应用。[0077] 所述视觉信号采集层包括镜头3、CCD相机4、光源2以及图像采集卡5，光源2设置于传送带1上的工件上方，CCD相机4位于光源2的上方，镜头3配合安装于CCD相机4上，机器人9位于传送带一侧，CCD相机4与图像采集卡5相连；所述视觉任务控制层还包括检测任务、工件运输任务。[0078] 所述图像采集卡5与视觉信号处理层的上位机6相连，上位机6通过云平台7与机器人控制器8通信连接，机器人控制器8与机器人9相连。[0079] 本发明所述的基于产品颜色及形状识别的智能分拣系统，能够满足不同协议的设备的网络通信连接，实现对工件质量的统计分析及智能化管理；并通过采用图像采集处理技术与运动控制技术相结合，实现产品的智能分拣。[0080] 实施例2[0081] 结合图3和图4所示，本发明提供的一种基于产品颜色及形状识别的智能分拣方法，利用所述的智能分拣系统实现智能分拣方法，包括如下步骤：[0082] 步骤1：通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；[0083] CCD相机尺度采用的是像素坐标，机器人坐标是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；如图4所示的机器人手眼标定的原理图，采用九点标定直接建立CCD相机4和机器人9之间的坐标变换关系，让机器人9的末端通过九个点得到在机器人9坐标系中的坐标，同时用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人9坐标系的坐标转化的标定参数；[0084] 如果有一个点变换之前是[x,y,1],变换后是[x’,y’，1]，则转化关系表示如下:[0085] TX+M＝Y(1)T[0086] 其中， M＝[c,f,0] ,X＝[x,y,1]，Y＝[x’,y’,1]；[0087] 如果想求a?f之间6个变量需要3组点；为了提高标定的精度，通常使用9组点，利用最小二乘法确定待定的系数。[0088] 步骤2：采用CCD成像标准的工件模板，存储在车间总控服务器的数据库中；[0089] 通过标准工件模板CCD成像，建立待分拣工件的模板并存储在车间总控服务器的数据库中。[0090] 步骤3：判断待测工件是否在视野内[0091] 通过传送带的辅助开关进行检测，判断是否有工件在视野范围内，如果有工件，辅助开关闭合，单元总控检测到辅助开关闭合后，控制CCD相机4对视野内工件进行图像采集，否则，系统循环检测工件是否在视野内。[0092] 步骤4：通过对工件颜色及形状特征的提。导渥芸胤务器判断视野内的工件是否为待拣工件，具体包括以下步骤：[0093] 4.1工件图像的预处理[0094] 对获取的图像采用高斯滤波进行滤波去噪处理，减少噪声对图像的影响；通过图像分割将图像分割成各具特性的区域，并将图像中的前景目标从背景中分离并提取出来；对工件图像进行边缘检测，根据检测出的边缘区域将目标从背景中分离开；[0095] 4.2工件图像特征提取[0096] ①颜色特征的提取[0097] 颜色特征的提取方法采用颜色直方图，颜色直方图是最基本的颜色特征表示方法，它反映的是图像中颜色的组成分布，即出现了哪些颜色以及颜色出现的概率；其函数表达式如下：[0098][0099] 其中，k代表图像的特征取值，L是特征可取值的个数，nk是图像中具有特征值为k的像素的个数，N是图像像素的总数；由于该颜色特征的提取过程不必考虑物体的空间位置，可以根据颜色直方图所描述的不同色彩在整幅图像中所占的比例判断工件颜色的相似性；[0100] ②形状特征的提取[0101] 本发明对工件形状特征的提取采用边缘形心距离的模板匹配方法，通过预处理的边缘特征提取得到目标稳定的边缘信息后，对边缘形心距离作为形状特征的表达方法；利用图像分析求取目标工件的最小外接矩形，类比质心原理来获取目标工件的形心坐标：[0102][0103] 式中，n表示获取到的目标工件外接矩形框所有像素点的数量，Pix表示当前像素点在图像x方向上的坐标位置，同理，Piy表示像素点在图像y方向上的坐标位置；接下来，计算目标工件每一个边缘点到其形心的距离，并将所有距离按序构成多维向量作为目标边缘的抽象表达，这样就完成了目标模板的建立；分别建立所有类别工件的模板，对搜索图像中的所有目标工件进行上述操作，通过计算模板工件和搜索工件间的特征向量距离来完成对应目标的匹配过程；[0104] 4.3工件颜色和形状的相似度计算[0105] ③颜色相似度计算[0106] 高斯滤波后的特征区域基础色调单一，不存在色调突变，且颜色分布均匀；综合考虑特征区域的特点、常用颜色特征描述的优缺点以及算法效率，选用最简单的颜色直方图各颜色通道的差值判断工件颜色的相似度；颜色差值计算公式如下所示：[0107][0108] 式中C为颜色直方图任一通道的颜色差值；n,m为图像x,y方向的像素数；p为图像像素均差值；[0109] 利用颜色直方图计算目标图像感兴趣区域与各个颜色模板之间的颜色距离，距离越小相似度越高，目标图像所属的类别为距离最小的颜色模板代表的类别；[0110] ④形状相似度计算[0111] 利用工件图像形心坐标与模板图像的形心坐标比较的方法，判断工件的形状特征是否符合分拣要求，比较后得到的结果提供了图像间的差异信息；可对检测工件图像与合格模板工件图像形心坐标对应并作方差运算，直观地得出工件的模板图像与待检测图像之间形状的差别，进而根据差值图像与阈值作比较，来进行工件分类；[0112] 如果∑ΔG＝0,即Img(A)?Img(B)＝0,Img(A)为工件模板的形心坐标向量，Img(B)为待测工件图像形心坐标向量，则表示待测工件与工件模块完全相同；但由于加工误差的存在，∑ΔG不可能为零，所以设定一个阈值，当∑ΔG小于阈值时，则判断为同一工件，否则为非同类工件或不合格品；[0113] ⑤特征相似度融合归一化[0114] 基于图像的颜色特征和形状特征进行物体识别，需要两个特征识别的相似度进行融合；利用数值的方差值计算两颜色及形状特征向量间的相似程度，越接近0则两特征相似性越大；由于颜色特征与形状特征的量化单位不同，因此，需要对相似度距离函数进行归一化操作，使两个特征的相似度度量都归一化在区间[0，1]内，从而进行线性加权融合；[0115] 形状特征相似度和颜色特征相似度分别为Dc和Dt，其计算公式如下：[0116][0117] 其中，∑ΔG为物体与模板图像形心坐标差的平方和，∑G为模板形心坐标的平方和，∑Δp为物体与模板图像像素差的平方和，∑p为模板图像像素的平方和；[0118] 4.4工件类型的辨识[0119] 基于图像的颜色特征和形状特征进行工件识别，需要将两种特征相似度进行融合；在4.3中已经通过最大匹配距离得到归一化的形状及颜色特征相似度，此时两种特征相似度取值范围相同，可以进行融合；通过加权融合方式将颜色特征相似度与形状特征相似度进行融合组成工件相似度函数；则融合规则如下：[0120] 假设给定两工件的形状特征相似度和颜色特征相似度分别为Dt和Dc，则形状特征与颜色特征的融合相似度DTC为：[0121] DTC＝ωcDC+ωTDT(6)[0122] 其中，ωc是颜色相似度的权重，ωT是形状相似度的权重，ωc，ωT式为：[0123][0124] 公式(7)表示当形状特征相似度与颜色特征相似度其中有一个小于0.5时，则ωc和ωT都为0，说明两个工件不存在相似性；因此，DTC∈[0，1]；根据此规则建立的工件相似度函数，表明两个工件只有在形状特征以及颜色特征都满足一定阈值，即都大于0.5的情况下，才有可能是相似工件，否则两个工件不存在相似性；其中DTC越接近于1则两个工件越相似；反之，两个工件的相似度越。蛄礁龉ぜ越不可能相似。[0125] 步骤5：工件形心位置及角度的计算[0126] CCD相机匹配到对应的目标工件后，接下来便要获取匹配工件的位姿信息来引导机器人完成对目标工件的准确抓。皇泳跞挝裣碌哪勘晡蛔诵畔勘暝诙维运动平面上的位置信息及偏转角度；利用形状特征所提取的质心坐标来描述目标工件在图像中的位置坐标信息；目标的偏转角度是相对于其初始模板状态下的旋转过程，因此分别对当前目标图像和其对应类别模板图像求取最小外接矩形，比较两个矩形在水平或垂直方向上的角度差值，作为机器人抓取当前目标工件时的补偿角度；默认分拣工件表面的图案特征为非对称图形，因此规定目标工件的角度旋转范围为±180°，这样便获取了2D视觉任务下单个目标工件的位姿信息：X_Y_A_。[0127] 步骤6：控制机器人到达指定位置，执行分拣操作[0128] 如果当前工件为某类假设合格工件，则根据步骤5计算的位置及角度，调整机器末端执行器，分拣至指定通道，如果不是某类所需寻找的工件，则跳转到步骤3，继续执行，直到完成分拣处理。[0129] 如图3所示，为本发明的智能分拣方法的处理流程图，该处理流程的主要特点为：[0130] (1)在机器视觉图像处理算法方面，解决了工件摆放的随意性，研究结果可应用到自动分拣系统。[0131] (2)在机器视觉特征提取方面，同时考虑工件的颜色特征及形状特征，通过两者融合的相似性判断，从而保证了分拣结果的可靠性。[0132] (3)在机器视觉图像识别方面，建立了标准工件模板，通过对待测工件的平移和旋转变换，和标准模板进行相似性比较，从而判断是否为同类工件。[0133] 综上所述，本发明利用机器人结合机器视觉实现工业生产过程中的动态高速分拣过程。分拣对象即工件会被随机的散落在传送带1上并随传送带1做匀速直线运动，当工件经过传送带1上方固定的CCD相机4视野范围时，本发明系统将采用触发的方式触发CCD相机4进行图像采集，系统的上位机6通过相应的处理算法获取到工件类别信息和位姿信息，依照一定的数据格式与机器人9的机器人控制器8进行交互，引导机器人9的末端执行机构在合适的动作区域内进行跟踪和抓取操作，将不同类别的工件分别放置到预先指定的位置。[0134] 可以理解的是，以上关于本发明的具体描述，仅用于说明本发明而并非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。

专利地区：辽宁

专利申请日期：2022-03-09

专利公开日期：2024-10-15

专利公告号：CN114913346B