开云优惠体育网页版入口

专利名称：唛头读码方法、读码系统以及堆垛机

专利类型：发明专利

专利申请号：CN202411234810.3

专利申请（专利权）人：科大智能物联技术股份有限公司
权利人地址：安徽省合肥市高新区中国(安徽)自由贸易试验区望江西路900号中安创谷开云优惠体育网页版入口园一期A1楼6、7层

专利发明（设计）人：张东阳,贺奇,汪亮量,郭世庆,黄鑫,吴显峰,王小康,张雨雷,闻中华,施立宜,许乐,阮程,钟智敏

专利摘要：本发明提供唛头读码方法、读码系统以及堆垛机。唛头读码方法获取拍摄设备与唛头位置变化的多张图片，从图片中识别并提取出条码区域，将条码区域对齐；对对齐之后的条码区域以通过若干幅条码区域中有效数据区域部分或者全部补齐条码区域中的数据缺失区域获得拼接融合后的条码区域；对拼接融合后的条码区域进行解码处理。唛头读码方法提供了通过获取包含条码区域的唛头或者标签等的多个不同位置的图像来提高条码的完整性的技术方案。基于不同的图像实现条码的有效区域的拼接融合从而基于多张图像重建条码，在此基础上保证了条码的可识别性，从而保证了系统检测条码的鲁棒性。

主权利要求：
1.一种唛头读码方法，其特征在于，
获取拍摄设备与唛头之间相对位置变化的多张图片，从多张图片中识别并提取出其中的条码区域，将多张图片的条码区域对齐；
对若干幅对齐之后的条码区域进行拼接融合得到拼接融合后的条码区域，通过若干幅条码区域中的有效数据区域补齐其中一幅条码区域中的全部数据缺失区域，或者，通过若干幅条码区域中的有效数据区域补齐其中一幅条码区域中的部分数据缺失区域，得到拼接融合后的条码区域；
对拼接融合后的条码区域进行解码处理；
所述对若干幅对齐之后的条码区域进行拼接融合得到拼接融合后的条码区域的步骤中，对条码区域进行二值化处理获得对应的二值化图像，对二值化图像进行基于像素或者基于数据块的融合拼接得到拼接融合后的条码区域；
所述对二值化图像进行基于像素或者基于数据块的融合拼接得到拼接融合后的条码区域的步骤中，拼接融合的原则为，对于具有相同颜色的像素或者数据块其融合后的颜色保持相同，对于具有不同颜色的像素或数据块通过该像素或者数据块周围的颜色取值确定融合后的像素或者数据块的颜色；
所述对于具有不同颜色的像素或数据块通过该像素或者数据块周围的颜色取值确定融合后的像素或者数据块的颜色的步骤中，选择以当前像素或者数据块为中心的一定尺寸的掩模，计算融合拼接的条码区域在掩模内，与当前像素或者数据块同色的面积占比，仅在一幅条码区域的该面积占比超过预设阈值，且另一条码区域的该面积占比低于预设阈值时，将低于预设阈值的条码区域的像素或者数据块的颜色赋值至拼接融合后的条码区域的对应位置。
2.一种唛头读码方法，其特征在于，
获取拍摄设备与唛头之间相对位置变化的多张图片，从多张所述图片中识别并提取出其中的条码区域，将若干张多张图片的条码区域对齐；
对若干幅对齐之后的条码区域进行拼接融合得到拼接融合后的条码区域，通过若干幅条码区域中的有效数据区域部分或者全部补齐其中一幅条码区域中的全部数据缺失区域，或者，通过若干幅条码区域中的有效数据区域补齐其中一幅条码区域中的部分数据缺失区域，得到拼接融合后的条码区域；
对拼接融合后的条码区域进行解码处理；
所述对若干幅对齐之后的条码区域进行拼接融合得到拼接融合后的条码区域的步骤中，对条码区域进行探测识别确定条码区域的数据缺失区域；然后对条码区域进行二值化处理；再对二值化图像进行融合处理；
在对二值化图像进行融合处理之前，基于条码区域的数据缺失区域的面积和/或若干幅条码区域中的数据缺失区域的并集面积，确定用于融合的条码区域的融合拼接顺序，从数据缺失区域的面积最小的条码区域和/或若干幅条码区域中的数据缺失区域的并集面积最小的组合开始拼接。
3.如权利要求2所述的唛头读码方法，其特征在于，所述基于条码区域的数据缺失区域的并集面积，确定用于融合的条码区域的融合拼接顺序的步骤中，以数量递增的顺序从一幅条码区域至全部条码区域中对条码区域的数据缺失区域的并集进行验证，若存在一个组合的并集面积在条码区域总面积的占比低于纠错率，则中断验证过程，选取这一组合中的所有条码区域进行融合拼接操作。
4.一种唛头读码方法，其特征在于，
获取拍摄设备与唛头之间相对位置变化的多张图片，从多张所述图片中识别并提取出其中的条码区域，将若干张多张图片的条码区域对齐；
对若干幅对齐之后的条码区域进行拼接融合得到拼接融合后的条码区域，通过若干幅条码区域中的有效数据区域部分或者全部补齐其中一幅条码区域中的全部数据缺失区域，或者，通过若干幅条码区域中的有效数据区域补齐其中一幅条码区域中的部分数据缺失区域，得到拼接融合后的条码区域；
对拼接融合后的条码区域进行解码处理；
所述对若干幅对齐之后的条码区域进行拼接融合得到拼接融合后的条码区域的步骤中，对条码区域进行探测识别确定条码区域的数据缺失区域，从获取到的所有条码区域中选择数据缺失区域最小的条码区域作为融合拼接的起点，然后从剩余条码区域集合中选择一幅条码区域用于与前述的数据缺失区域最小的条码区域融合，融合过程为将条码区域进行二值化处理得到二值化图像，对二值化图像基于像素或者数据块的颜色融合得到融合后的条码区域；对融合后的图像进行可解码性判断，如果通过对融合后的图像的数据缺失区域的面积占比判断低于条码的纠错率，执行解码操作，如果不可解码，将融合后的图像作为融合拼接的起点，与剩余条码区域集合中选择的一幅条码区域重复拼接融合步骤。
5.如权利要求2、4任一项所述的唛头读码方法，其特征在于，所述对条码区域进行探测，识别确定条码区域的数据缺失区域的步骤中：利用图像的灰度信息确定数据缺失区域，选择图像直方图两端点处一定范围内的灰度值所对应的像素点的集合作为数据缺失区域；
和/或，利用图像连通性确定数据缺失区域，将相同灰度的具有整块面积且面积大于预设面积阈值的区域作为为数据缺失区域。
6.如权利要求2、4任一项所述的唛头读码方法，其特征在于，所述对条码区域进行二值化处理的过程中，二值化处理仅应用于条码区域的除数据缺失区域之外的部分，二值化处理中使用的值作为表征值。
7.如权利要求6所述的唛头读码方法，其特征在于，所述对条码区域进行二值化处理的过程中，保证条码区域的数据缺失区域不存在与表征值相同的取值，其方法为：通过非表征值的其他值填充；或，对数据缺失区域中的与表征值相同的像素以其他值填充。
8.如权利要求2、4任一项所述的唛头读码方法，其特征在于，所述对二值化图像进行融合处理的步骤中，二值化处理中使用的值为表征值；
对于具有相同表征值的像素或者数据块，其融合后的条码区域保持相同的表征值；
对于存在表征值与除表征值之外的值对应的像素或者数据块，其融合后的像素或者数据块保持与表征值相同；
对于具有不同表征值的像素或者数据块，其融合后的条码区域的像素或者数据块以非表征值的其他值填充；
对于均为除表征值之外的值对应的像素或者数据块，其融合后的条码区域的像素或者数据块以非表征值的其他值填充。
9.一种唛头读码系统，其特征在于，包括拍摄设备，所述拍摄设备获取唛头的图像时与唛头之间相对位置能够变化，唛头读码系统运行时执行如权利要求1?8任一项所述的唛头读码方法。
10.一种堆垛机，其特征在于，包括拍摄设备，拍摄设备于堆垛机载货台侧面沿着载物台的高度方向移动设置，堆垛机运行时执行如权利要求1?8任一项所述的唛头读码方法。 说明书 : 唛头读码方法、读码系统以及堆垛机技术领域[0001] 本发明涉及图像识别技术领域，具体涉及一种唛头读码方法、读码系统以及堆垛机。背景技术[0002] 随着工业自动化的推进，立体仓储已经越来越广泛地应用于制造行业。为了适应立体仓储业务的开展，物流自动化以及库存管理的智能化都是亟待解决的问题。其中为了实现智能动态的库存管理，要求保证对产品信息的及时、准确地获取。这一般地需要通过遍布制造与存储节点中的扫描设备以及产品包装上的标签之间配合实现。[0003] 以用于光伏组件存储的大型立体仓库而言，每一托光伏组件的包装上都会在要求的区域位置粘贴发货所使用的唛头，唛头上记录了包装的内容物规格与数量等信息。出库、入库、盘点等作业场景下，通过对唛头上信息的识别确定货物信息实现库存与实物的对照更新，保证在自动化仓储条件下库存与实物的一致性。[0004] 实际的仓储场景中，问题复杂得多。由于货物所处环境的不同，打包方式的不同等问题，能够获取到的唛头的图像往往存在周围环境的反光与遮挡。常见的是在唛头图像中形成高光区，导致条码照片中信息缺失。一旦条码信息的缺失超出了编码所具备的纠错能力，则可能无法从条码图片中解码得到所需的信息。举例而言，对于待存储的光伏组件而言，其外包装一般覆盖有缠绕膜，保证唛头表层并不平整，而是覆盖了一层具有小的波浪起伏的透明保护膜，这会影响拍摄得到的条码图像的清晰度。实际上，受所处环境的影响，唛头表面可能存在外部光源的反光，导致所拍摄的图像表面存在局部的大块高光区，以及在前面的波浪起伏的透明膜的基础上，在外部光源的照射下，可能在唛头表面形成鱼鳞状散布的高光区。类似这些问题，均有可能导致图像质量损失超出条码的纠错能力，进而导致解码失败。[0005] 解码失败对于现有的自动化立体仓储而言影响是显著的。通常为了保证库存信息准确，一旦出现解码失败的情况，立体仓储中的物流操作基本上无法继续执行，需要停止等待或者采取回退作业，退回无法解码的物料。因此对唛头或者是物料标签上的条码信息的有效识别一定程度上也决定了自动化立体仓储系统的鲁棒性以及出入库效率。发明内容[0006] 为了提高对现有的标签以及唛头等中的条码信息的识别读取能力，保证自动化产线的运行鲁棒性，本申请提供一种唛头读码方法、读码系统以及堆垛机。[0007] 本发明的技术方案提供一种唛头读码方法，获取拍摄设备与唛头之间相对位置变化的多张图片，从所述图片中识别并提取出其中的条码区域，将若干张图片的条码区域对齐；[0008] 对若干幅对齐之后的条码区域进行拼接融合得到拼接融合后的条码区域，通过若干幅条码区域中有效数据区域部分或者全部补齐条码区域中的数据缺失区域，得到拼接融合后的条码区域；[0009] 对拼接融合后的条码区域进行解码处理。[0010] 优选地，所述对若干幅对齐之后的条码区域进行拼接融合得到拼接融合后的条码区域的步骤中，对条码区域进行二值化处理获得对应的二值化图像，对二值化图像进行基于像素或者基于数据块的融合拼接得到拼接融合后的条码区域。[0011] 优选地，所述对二值化图像进行基于像素或者基于数据块的融合拼接得到拼接融合后的条码区域的步骤中，拼接融合的原则为，对于具有相同颜色的像素或者数据块其融合后的颜色保持相同，对于具有不同颜色的像素或数据块通过该像素或者数据块周围的颜色取值确定融合后的像素或者数据块的颜色。[0012] 优选地，所述对于具有不同颜色的像素或数据块通过该像素或者数据块周围的颜色取值确定融合后的像素或者数据块的颜色的步骤中，选择以当前像素或者数据块为中心的一定尺寸的掩模，计算融合拼接的条码区域在掩模内，与当前像素或者数据块同色的面积占比，仅在一幅条码区域的该面积占比超过预设阈值，且另一条码区域的该面积占比低于预设阈值时，将低于预设阈值的条码区域的像素或者数据块的颜色赋值至拼接融合后的条码区域的对应位置。[0013] 优选地，所述对若干幅对齐之后的条码区域进行拼接融合得到拼接融合后的条码区域的步骤中，对条码区域进行探测识别确定条码区域的数据缺失区域；然后对条码区域进行二值化处理；再对二值化图像进行融合处理。[0014] 优选地，在对二值化图像进行融合处理之前，基于条码区域的数据缺失区域的面积和/或并集面积，确定用于融合的条码区域的融合拼接顺序。[0015] 优选地，所述基于条码区域的数据缺失区域的并集面积，确定用于融合的条码区域的融合拼接顺序的步骤中，以数量递增的顺序从一幅条码区域至全部条码区域中对条码区域的数据缺失区域的并集进行验证，若存在一个组合的并集面积在条码区域总面积的占比低于纠错率，则中断验证过程，选取这一组合中的所有条码区域进行融合拼接操作。[0016] 优选地，所述对若干幅对齐之后的条码区域进行拼接融合得到拼接融合后的条码区域的步骤中，从获取到的所有条码区域中选择数据缺失区域最小的条码区域作为融合拼接的起点，然后从剩余条码区域集合中选择一幅条码区域用于与前述的数据缺失区域最小的条码区域融合，融合过程为将条码区域进行二值化处理得到二值化图像，对二值化图像基于像素或者数据块的颜色融合得到融合后的条码区域；对融合后的图像进行可解码性判断，如果通过对融合后的图像的数据缺失区域的面积占比判断低于条码的纠错率，执行解码操作，如果不可解码，将融合后的图像作为融合拼接的起点，与剩余条码区域集合中选择的一幅条码区域重复拼接融合步骤。[0017] 优选地，所述对条码区域进行探测，识别确定条码区域的数据缺失区域的步骤中：利用图像的灰度信息确定数据缺失区域，选择图像直方图两端点处一定范围内的灰度值所对应的像素点的集合作为数据缺失区域；和/或，利用图像连通性确定数据缺失区域，将相同灰度的具有整块面积且面积大于预设面积阈值的区域作为为数据缺失区域。[0018] 优选地，所述对条码区域进行二值化处理的过程中，二值化处理仅应用于条码区域的除数据缺失区域之外的部分，二值化处理中使用的值作为表征值。[0019] 优选地，所述对条码区域进行二值化处理的过程中，保证条码区域的数据缺失区域不存在与表征值相同的取值，其方法为：通过非表征值的其他值填充；或，对数据缺失区域中的与表征值相同的像素以其他值填充。[0020] 优选地，所述对二值化图像进行融合处理的步骤中，二值化处理中使用的值为表征值；[0021] 对于具有相同表征值的像素或者数据块，其融合后的条码区域保持相同的表征值；[0022] 对于存在表征值与除表征值之外的值对应的像素或者数据块，其融合后的像素或者数据块保持与表征值相同；[0023] 对于具有不同表征值的像素或者数据块，其融合后的条码区域的像素或者数据块以非表征值的其他值填充；[0024] 对于均为除表征值之外的值对应的像素或者数据块，其融合后的条码区域的像素或者数据块以非表征值的其他值填充。[0025] 本发明的技术方案还提供一种唛头读码系统，包括拍摄设备，所述拍摄设备获取唛头的图像时与唛头之间相对位置能够变化，唛头读码系统运行时执行上述任一项所述的唛头读码方法。[0026] 本发明的技术方案还提供一种堆垛机，包括拍摄设备，拍摄设备于堆垛机载货台侧面沿着载物台的高度方向移动设置，堆垛机运行时执行上述任一项所述的唛头读码方法。[0027] 本申请的唛头读码方法提供了通过获取包含条码区域的唛头或者标签等的多个不同位置的图像来提高条码的完整性的技术方案。其通过拍摄设备与物料之间的相对移动获得获得不同相对位置的图像，从而避免高光或者阴影在条码的同一位置上出现。然后基于不同的图像实现条码的有效区域的拼接融合从而基于多张图像重建条码，在此基础上保证了条码的可识别性，从而保证了系统检测条码的鲁棒性。附图说明[0028] 图1为本发明的唛头读码方法的初步流程示意图；[0029] 图2为本发明的堆垛机的示意图；[0030] 图3为本发明的唛头读码方法的条码区域融合拼接的流程示意图；[0031] 图4为本发明的唛头读码方法的条码区域融合拼接的另一实施例的流程示意图；[0032] 图5为本发明的唛头读码方法的条码区域融合拼接的另一实施例的流程示意图；[0033] 图6为本发明的唛头读码方法的条码区域融合拼接的另一实施例的流程示意图；[0034] 图7为本发明的唛头读码方法的条码区域融合拼接的另一实施例的流程示意图。[0035] 图中：[0036] 1：堆垛机；11：载货台；12：导轨；13：拍摄设备。具体实施方式[0037] 以下结合附图和具体实施例，对本专利进行详细说明，在本说明书中，附图尺寸并不代表实际尺寸比例，附图只用于体现各部件之间的相对位置关系与连接关系，名称相同或标号相同的部件代表相似或相同的结构，且仅限于示意的目的。[0038] 本发明提供一种优化条码扫描解码的方案以提高条码解码的成功率。本发明中的条码应当理解为编码有特定信息，并可通过特定的解码过程还原信息的图案。虽然在后文的实施例中，这主要指广泛应用的二维码、条形码等，但不应理解为局限于此。其初衷在于通过一定的技术改进将原本因为信息丢失而无法解码的条码修复，从而实现对受损的条码信息的解码作业。[0039] 之所以需要实现上述功能，在于在大多数情况下，成功解码仅仅是工作流中的一小部分，然而却是后续工作流的基。庖馕蹲偶词故切「怕实慕饴胧О芸赡芑岫怨ぷ髁髟斐杀冉涎现氐挠跋。举例而言，在自动化仓储或者自动化物流设计中，扫描条码并解码往往是系统跟踪物料动态的主要手段，因此会在主要的关键节点以及关键操作中设计扫描与解码操作用以核实操作条件是否满足。比如在立体仓库出库时，堆垛机通常会在转移货物前，通过扫码操作确定拿取货物的正确性。在此情况下，如果发生解码失败的问题，后续操作无法执行，系统可能停滞在当前状态下，即使在物流控制系统中考虑了此类情况，一般也只能做到将货物复位，重新调取其他货物，这仍将影响物流效率。[0040] 在物流行业，尤其是立体仓储中扫码设备的移动设置是比较常见的设置。具体到本发明中所文所应用的立体仓储扫描中，为了节约库位空间，一般在同一库位放置多托光伏组件等货物并合托处理，此时为了能够获得多个货物上张贴的唛头信息，可以将扫描所使用的拍摄设备配置为可移动的。基于此，这客观上也具备在不同位置处对唛头进行多次成像的前提条件。拍摄设备可以是独立的在所处的基座上移动设置，也可以是在移动的基座上固定设置或者兼而有之。在本发明所应用的立体仓库中，拍摄设备设置于堆垛机上，其是在堆垛机上移动设置的。一般是沿堆垛机的上下方向移动设置，这主要是为了处理对叠拖的光伏组件的唛头扫描问题。即在存在叠托货物时可以通过上下升降拍摄设备获得上下层货物所对应的唛头的图像。由于不论是拍摄设备移动设置还是其所安装的基座是移动设置，这两种情况下均可以方便地控制拍摄设备与唛头之间的相对位置，这为后面获得不同位置的图像提供了可能。[0041] 基于上述使用场景，为了提升基于图像的条码解码的成功率，本发明的解码方式总体上是提供一种多图像拼接融合的唛头条码缺失信息的重建方案。由于多个不同位置的图像可以保证其上由于环境因素所导致的高光区或者阴影区的位置发生迁移，因此多个不同位置的图像上能够保留的条码上的原始信息是一定程度上可以互补的，因此可以在融合后有概率更大程度上还原原始信息，从而有可能提高唛头中条码信息的解码成功率，降低解码失败对物流系统运行的干扰。[0042] 图1为本申请的唛头读码方法的初步流程示意图。由于在实际的应用场景下拍摄设备与唛头之间的相对位置可变，则可以做到获得至少两张拍摄设备与唛头上待识别的条码之间具有不同相对位置的图片。从图片中裁剪出待识别的条码所对应的条码区域，现有技术中，通过边缘检测等手段可以通过识别条码区域的边缘特征对具有规则形状的条码区域做到准确地识别与提。饫锊辉僮甘。将上述所获取的图片中的条码区域对齐，实际是对图片进行适当的仿射变换保证条码区域之间具有一致的形状与尺寸，以保证后续的融合过程中不同条码区域的数据点之间能够无缝对齐。取所获得图片中的若干张，对其对齐后的条码区域进行融合处理，融合处理的原则是保留条码区域中的有效区域，而对于其中因为环境原因所造成的缺失信息则通过其他图片的有效区域中的内容进行补齐，具体的补齐方式不唯一。显然经补齐处理得到的修复的条码区域的有效信息量大于任一单张图片中条码区域，因此对修复的条码区域进行扫描将有效地完成对唛头上条码的识别，从而保证条码识别的成功率，保证产线的效率以及运行稳定性。[0043] 在本申请所提供的应用场景中，拍摄设备与唛头(唛头上的条码)之间的相对位置可变。图2提供了实际应用中的一种实施方式。如图2所示，可以在堆垛机1的载货台11上安装拍摄设备13。其不仅用于上下料、出入库等过程中对光伏组件等货物的点检确认操作，而且还需要兼顾在收到库存盘点需求的指令下，对特定库位的存货的状态进行盘点。盘点时一般是将库位中的货物临时取出至载物台上拍照扫描后再送入库位中。拍摄设备1一般在载物台的侧面沿着载物台的高度方向移动设置。其通过改变距载物台的高度兼顾叠托情况下，对上下多层物料的唛头拍照与识别。进一步情况下，拍摄设备可选地设置多组，并分别设置在载货台相对的侧边，且优选相对于载货台中心呈中心对称设置。这主要是为了兼顾横向合托的情况，由于唛头在货物外包上的区域是大致上固定的，在横向叠托时，为了保证唛头外露，同层上并排的两托货物的唛头是位于对侧面的相反位置，呈中心对称的两组拍摄设备可以在降低拍摄设备的自由度下适应这一实际情况。两拍摄设备中至少之一在高度方向上移动设置，比如设置在载物台11侧面的沿高度方向布置的导轨12上，即可满足前述叠拖情况下的唛头拍照与识别需求，当然将两组拍摄设备均设置为移动设置也是可行的。[0044] 对所得的唛头图片首先进行裁剪处理得到每一幅图片中的条码所在区域记为条码区域。由于每一幅图片的拍摄位置的不同，将造成条码区域的具体尺寸与形状略有差别，这将影响对多张图片的条码区域的拼接融合。为了保证后续的有效拼接，对每一幅条码区域进行尺寸与形状矫正得到标准化的条码区域，经过校正的任何图片中的标准化的条码区域应该是形状尺寸基本一致的，当将任意两组标准化的条码区域叠加，其图案的对应区域将重合。尺寸与形状矫正过程为现有技术，实际一般是基于检测到的条码区域边缘或者其他有代表性的特征作为参考元素，解算确定仿射矩阵的参数，然后对条码区域做仿射变换得到标准化的条码区域。[0045] 在标准化的条码区域的基础上，通过对若干张图片的标准化的条码区域的融合获取有效、清晰、完整的条码图案。如图3所示，通过选择合适的阈值对标准化的条码区域进行二值化处理，将其转化为二值化图像。在现有技术中，处理所需的灰度阈值可由条码区域图像的直方图确定，通常取直方图中的中位数所代表的灰度值或者直方图中介于两峰之间区域的灰度值，或者简单地以图像的平均灰度作为二值化中所使用的阈值。[0046] 具体而言，上文所涉及的针对若干张图片的条码区域的融合处理步骤可以采用如图3的技术方案。其融合操作基于两个二值化图像的融合进行，以“0”代表白色部分，以“1”代表黑色部分，融合过程的最小尺度既可以是像素尺度也可以是数据块尺寸上进行。则融合过程执行下列操作，0+0=0，1+1=1，对于0+1的融合情况是本方案的关键，决定了数据融合的可靠性。在具体的场景下，主要导致条码无法识别的原因是由于位置、方向等问题造成的条码表面高光或者被阴影遮挡，因此整体上无法识别的数据区域大体上总是成块出现的，可以基于这一原则确定0+1，也就是两幅二值化图像上分别为黑色数据块或者白色数据块，时的目标色。通常可以基于二维码尺寸设计一个合理的掩模尺寸，比如边长横跨3?5个数据块的正方形掩模，计算以当前的数据块为中心的掩模中黑色数据块的面积比率r，根据二维码类型设定一个合适的面积比率的区间D，比如30%?50%。记两幅二值化图像分别为A和B，若存在图像A的当前数据块的面积比率 ，且另一图像B的当前数据块的面积比率为 ,则记0+1=a，a表示图像A的当前数据块的颜色取值，为0或1。其实质是在一幅图像存在较大面积覆盖，另一幅图像在相同的位置不存在覆盖时，将未覆盖的数据信息写入融合后的图像中。当存在若干幅图像时，上述过程可以在全部若干幅图像之间或者有选择性地在其中的一个子集中叠加进行，从而消除不同图像中因为场景不同所造成的无法识别条码的问题。[0047] 实际上，上述技术方案中在融合过程由于无法事先确认条码区域中缺失部分的具体情况导致了在融合过程中对融合后目标图像的二值化的像素值难以确定，虽然通过对局部信息进行检测可以一定程度上解决这个问题，对于缺失分布的边缘处的目标图像的像素颜色的确定仍然不够理想，其效果仍然有待提升。为了规避这个问题，可以在融合过程中对图片进行一定的处理解决。[0048] 如图4所示，建议在对条码区域进行二值化处理之前，首先对条码区域进行探测，识别确定其中的数据缺失区域，然后将除数据缺失区域之外的有效的条码区域进行二值化处理，最后再对二值化图像进行融合处理。对于针对性场景情况下的条码识别问题，主要的问题在于环境光照不均匀所带来的局部高光以及其他障碍物遮光后所带来的阴影效果等所造成的条码区域图案的局部缺失。在本实施方式中，主要是在事先的检测识别数据缺失区域的过程中，提前检测出数据缺失区域，以此为基。傅己笮耐枷袢诤瞎。至少存在两种可选的检测判据。[0049] 其一利用图像的灰度信息确定数据缺失区域。确定图像的灰度范围，通过确定数据缺失信息的灰度范围，确定灰度范围大致对应的数据缺失区域。就实际而言，基本的算法中可以基于拍照场景下高光区以及阴影区的动态范围，在图像直方图的两端确定一定的灰度值范围。基于像素灰度将高光区以及被遮挡的阴影区的范围圈定，而数据区域中的黑白色块在成像过程中受到材料界面以及环境光的影响其灰度值一般与高光以及阴影区的灰度值均有区别，因此在上述过程中通过合适的灰度范围的选定，可以区别因高光以及阴影所带来的数据缺失区域以及正常的数据区域。为了检查前述识别数据缺失区域的有效性，还可以在其区别数据缺失区域后得到的正常的数据区域的基础上对图片的灰度分布直方图以及灰度分布密度进行：，验证结果的有效性，若图片的灰度分布密度异常，出现大范围的明显离群的高灰度区或者低灰度区，可以认为是并未实现对数据缺失区域的有效识别，可以通过放宽上述用于确定灰度区域的灰度值范围，重新选定数据缺失区域。若灰度分布密度较为平均，则认为至少有效地去除了数据缺失区域，至于是否过度地去除了正常的数据区域，均是可以接受的，因为可以从多张图像的融合中重新得到相应的数据，这并不会造成结果的无法识别，仅仅可能增加融合数据所需的图像数量，对算法的效率略有影响。由于实际的图像的不确定性，初步根据灰度范围获得的区域可能是离散分布的，为了保证可靠性，可以通过适当的滤波或者增强算法对所获得的区域的范围进行优化，删除孤立的密度较低的离群区域，对于大量聚集的密度高的区域作融合处理得到合并的大块数据区域，然后仅形成和保留若干面积超过一定大小的区域作为数据缺失区域，对于本申请的实施例而言，面积保留的阈值可取1?9个数据块大小。首先通过对条码区域的图像分析确定其灰度[0050] 其二是利用图像连通性信息确定数据缺失区域，对于高光区以及阴影区而言，其并非如正常的条码区域那样具有整体上黑白间隔的分布，而是以几乎一致的灰度值覆盖较大的范围。基于此可以通过对图像的的连通性进行检测，将较大面积的具有基本相同的灰度像素的区域识别出来。为了降低对正常数据的破坏，面积阈值需要合理地确定。以二维码为例，通常可以取不小于二维码的三个角点的位置探测图形的面积。当然在最坏情况下即使由于不合适的面积阈值的选择导致小部分局部的数据块被误标记为数据缺失区域，结果仍然可以接受。因为在若干张图像的条码区域的融合拼接过程中，类似的误标记的区域的数据最终可以在其他图像的数据区域中得到补全。在仅仅采用图像连通性确定数据缺失区域时，为了避免条码本底上的黑色条块或者白色条块对所检测得到的数据缺失区域的影响，通常还可以在检测时对数据缺失区域的边缘进行一定的限制，比如区域宽度限制或者边缘角度变化率的限制等，避免数据缺失区域不合理地覆盖至与之相接的正常数据区域中。优选的技术方案中，一般是兼顾和融合了上述两种检测方式，一方面通过灰度值范围确定大致的缺失数据的范围，另一方面通过对结果的连通性检测最终得到数据缺失区域。两者之间可以通过上文所记载的滤波步骤，筛除明显面积较小的数据范围，比如面积小于单个数据块的孤立的缺失数据范围；也可以通过面积扩展的方式将孤立的缺失数据范围向四周扩展，使距离较近的缺失数据范围之间得到融合进行大面积的单一的缺失数据范围。最后基于此，通过连通性检测得到最终的数据缺失区域。[0051] 基于上述操作可以将条码区域中存在的数据缺失区域识别出来，在后续的二值化处理中，对该数据缺失区域进行区别对待。具体而言，在本方案的一般处理中，二值化仅仅在于基于预设的灰度阈值对图像做二值化处理。然而当通过上述方式完成了对数据缺失区域的识别后，二值化处理过程也应当基于数据缺失区域的信息进行优化。二值化处理的过程中不应对已经识别的数据缺失区域中的内容进行处理，为了方便后续的操作，通常可以对数据缺失区域中的内容置空，或者更一般地提供除二值化处理中所使用的两组值之外的任何数据填充。比如在一些实施例中，在二值化处理过程中，对处理后的除数据缺失区域之外的区域根据灰度信息赋值0或者1以表示其为黑色像素(数据块)或者白色像素(数据块)。对于缺失区域的信息均以0、1之外的第三组数据填充，比如?1，NULL或者undefine等等。或者，在另一些实施例中，由于数据缺失区域中的像素灰度值均取0或者1的概率极低，可以保留数据缺失区域中的内容的原始灰度值。不过在此情况下，优选地为了避免对个别像素点(数据块)的误判，可以对数据缺失区域中的取值为0，1的像素点重新赋其他值，或者取灰度范围之外的值作为二值化中代表黑白像素的表征值，比如?1，?2等，出于存储特性上的考虑，表征值取大于?255的负值，以在区分的同时实现使用有符号整型存储，节省储存空间。[0052] 基于上述二值化处理过程，对图像的融合拼接可以优化如下。仍然是对二值化之后的若干条码区域之间进行依次的或者是同步的融合拼接步骤。对于上述二值化的过程，统一以二值化表征值为0、1，数据缺失区域中的表征值为undefine为例，其两张条码区域之间的融合规则为0+0=0，0+undefine=0，1+1=0，1+undefine=1，undefine+undefine=undefine。理论上由于可以实现高精度的图像拼接，拼接时发生像素点反转的情况比较。0+1的情况较少发生，因此对此的融合规则的定义对最终结果几乎没有影响，当然，必要的情况下也可以定义0+1=undefine。上述规则中所使用的表征值0、1以及undefine均为描述上方便所采用的代表值，并不意味着实际算法中仅能取上述值。上述融合过程的本质在于对于正常的数据区域以两区域对应像素点或者数据块的相同值作为融合后的图像对应位置的二值话后的值。对于遇到融合时存在数据缺失区域的情况，若存在对应的正常的数据区域，以正常数据区域的取值填充数据缺失区域，否则保持数据缺失区域中的原始填充情况。由于若干张不同位置获取的条码区域上的高光或者阴影区有别，多张融合后就可以基本上消除由于高光以及阴影所造成的无法识别的数据缺失区域，保证条码区域的完整性，从而保证条码可扫描。涉及多张条码图片之间的融合时，可以在上述方案的基础上先后两两融合进行，也可以批量对多张条码图片同时融合完成，在同时融合时，融合规则可以在上述规则上等价扩展。[0053] 当应用上述方法对多张图片中的条码区域进行融合拼接时，为了降低融合过程中的冗余操作，降低融合操作的总时间，可以在检测识别数据缺失区域后，根据每一幅条码区域的数据缺失区域的具体情况，选取用于融合的若干幅条码区域或者选取用于融合的条码区域的融合拼接顺序，以降低在可解码前所需的融合所使用的条码区域的数量。如图5所示，若对所得的多张条码区域采用上述的融合方式时，在检测到数据缺失区域后，对于每一幅条码区域，我们将获得其所对应的数据缺失区域。此外从正常的条码区域中可以根据局部的数据块分布确定条码的纠错率等信息，比如对于二维码而言，其通过局部四个数据块的颜色信息表示了四个纠错等级。或者对于诸如本申请的特定应用而言，条码的纠错率等信息可以事先得知。于是可以以数量递增的顺序从一幅条码区域至全部条码区域的顺序对条码区域的数据缺失区域的并集进行验证，若存在一个组合的并集面积在条码区域总面积的占比低于纠错率，则中断验证过程，选取这一组合中的所有条码区域进行融合拼接操作，这可以确保最终融合后的条码区域是可解码的。具体的过程中，可以先对单幅条码区域的数据缺失区域进行验证，此时并集就是数据缺失区域自身，若存在某幅图片的数据缺失区域低于纠错率，只需要选择该条码区域直接进行解码操作。若不满足条件，则确认两幅条码区域融合的情况，若存在两幅条码区域的数据缺失区域的并集低于纠错率，则选取该两幅条码区域作为融合拼接所使用的条码区域。若不满足条件则继续验证应用三张条码图片的情况，以此类推。[0054] 如图6所示，这一过程也可以步进地顺序进行。当采取到若干张图片，并得到其条码区域后，对若干张条码区域的融合拼接初始以两张条码区域进行融合，后续以融合后的条码区域与原始获取的条码区域递推地进行。为了将这一递推过程的循环次数最小化，以提高融合效率，需要对融合的基础进行合理的优化选择。首先从获取到的所有条码区域中选择数据缺失区域最小的条码区域作为融合拼接的起点，然后从从剩余条码区域集合中选择一幅条码区域用于与前述的数据缺失区域最小的条码区域融合，，将两者均进行二值化处理，使用前述方式对二值化图像基于像素或者数据块的颜色融合得到融合后的图像。对融合后的图像进行可解码性判断，如果通过对融合后的图像的数据缺失区域的面积占比判断低于条码的纠错率，则可以解码，对其执行解码操作，得到条码携带的数据信息。如果不可解码，将融合后的图像作为数据缺失区域最小的条码区域重复前面的融合步骤。在这一步进的融合过程中，为了进一步提高融合效率，在从剩余条码区域集合选择一幅条码区域用于融合的过程中，对所选的剩余条码区域也可以进行筛。炊允Ｓ嗵趼肭虻氖萑笔蛴胧萑笔蜃钚〉奶趼肭蛑械氖萑笔蛑渚胁⒓僮，对所得的并集进行比较，将其中并集面积最小的组中所对应的一幅条码区域用于与选取的数据缺失区域最小的条码区域融合。[0055] 虽然上述方案中给出了将多张条码区域进行同步的融合操作。但鉴于实际情况更推荐在此基础上的序列融合操作，以降低融合过程中的冗余时间，提高融合效率。而基于序列步进操作的基。箍梢匝苌龈郊拥慕饩龇桨，其将图像的采集过程纳入了条码融合识别的过程中，从而避免了采集过程中系统的等待，并且可减少重复的冗余的采集操作具体的做法是基于上述融合方法中的依次顺序融合方法进行的，只是还涉及到关联的采集操作。换言之采集过程并非不做确认的直接完成，而是基于融合操作的结果确定是否继续进行下一次采集操作。其流程示意图如图7所示。初始过程中，由拍摄设备采集第一张图像，然后获取该图像中的条码区域，将所获取的条码区域作为图像融合的起点。为了完成图像融合操作，还需要再采集一张图像，并使用上文提及的方式提取并对齐其中的条码区域。然后对所得的两幅条码区域检测识别数据缺失区域，对条码区域进行二值化处理，其中与前述的技术方案相同的是，对数据缺失区域需要做相应的处理以有别于二值化的取值。然后采用前述实施方式对两幅二值化后的条码区域进行基于像素或者数据块的颜色融合拼接得到融合后的条码区域，其中可能仍然存在数据缺失区域。在此基础上对拼接融合后的条码区域进行可解码性判断，如果可解码则解码得到条码所携带的数据，否则则将融合后的条码区域作为新的融合起点，继续控制拍摄设备采集下一张图像执行下一轮的融合拼接过程。可解码性判断中，可以通过对融合图像尝试解码操作进行判断，但这一般耗时较长，因此优选地采用上文中所提出的利用数据缺失区域占条码区域面积的占比与条码的纠错率之间进行对比确定是否可解码，若面积占比低于条码纠错率可以认为是可解码的，执行解码操作，否则则继续下一轮的图像采集与融合拼接过程。[0056] 上述内容仅仅是对本专利类型的优选实施方式进行描述，并非对本专利类型的范围进行限定，在不脱离本专利类型设计精神的前提下，本领域普通技术人员对本专利类型的技术方案作出的各种变形和改进，均应落入本专利类型的权利要求书确定的保护范围内。

专利地区：安徽

专利申请日期：2024-09-04

专利公开日期：2024-11-29

专利公告号：CN118735803B