开云优惠体育网页版入口

专利名称：图像集网格拼贴方法和装置

专利类型：发明专利

专利申请号：CN202111619027.5

专利申请（专利权）人：中国科学院自动化研究所,吉林大学
权利人地址：北京市海淀区中关村东路95号

专利发明（设计）人：宋玉,唐帆,董未名,徐常胜

专利摘要：本发明提供一种图像集网格拼贴方法和装置，其中，方法包括：获取待拼贴的图像；将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像，其中，所述图像集网格拼贴模型是基于图像信息平衡评价指标进行训练得到的。本发明通过构建的图像集网格拼贴模型达到对图像拼贴的效果的能够具有更好的令人视觉愉悦和受人喜爱的拼图结果。

主权利要求：
1.一种图像集网格拼贴方法，其特征在于，包括：获取待拼贴的图像；
将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像，其中，所述图像集网格拼贴模型是基于图像信息平衡评价指标进行训练得到的；图像集网格拼贴模型是通过以下方法获得：
101、获取图像数据集并输入当前的图像集网格拼贴模型；
102、对所述图像数据集中的图像进行特征融合，得到特征融合后的图像特征；
103、根据所述融合后的图像特征进行动作预测，得到动作预测向量，对所述动作预测向量进行采样，得到采样后的动作向量；
104、根据预设的动作空间和所述采样后的动作向量确定图像交换动作，并确定每次图像交换动作前后的图像信息平衡评价指标得分和搜索效率惩罚项得分；
105、根据连续M次所述图像交换动作后的图像信息平衡评价指标得分和所述搜索效率惩罚项得分对原始图像集网格拼贴模型的参数进行调整，得到更新后的图像集网格拼贴模型；
106、判断更新次数是否达到预设次数，若否，执行步骤107，若是，执行步骤108；
107、将所述更新后的图像集网格拼贴模型作为当前的图像集网格拼贴模型，执行步骤
101；
108、将更新后的图像集网格拼贴模型作为最终的图像集网格拼贴模型，训练结束；所述图像信息平衡评价指标包括图像分布指标和用户偏好指标；
其中，图像分布指标包括：颜色深浅、颜色色调、图像内容、物体大小和用户偏好；
所述颜色深浅是由平衡优先性评估和质心偏移的线性组合表示；
所述颜色色调是由图像色彩直方图表示；
所述图像内容是由特征提取模型的图像特征向量表示；
所述物体大小是由图像显著图表示；
所述用户偏好是由用户偏好奖励机制表示。
2.根据权利要求1所述的图像集网格拼贴方法，其特征在于，所述图像分布指标得分由第一模型进行确定，其中，所述第一模型包括：ba_col＝DCM+APB.
Meaba＝ba_col·ba_tint·ba_con·ba_size·Bonus其中，ba?col表示颜色深浅，APB表示平衡优先性评估，DCM表示质心偏移；ba?tint表示颜色色调；ba?con表示图像内容；ba?size表示物体大。琈为对称图像对数，tint(Ii)，为对称位置的颜色色调特征；fea(Ii)， 为对称位置的图像内容特征；SA(Ii)， 为对称位置的物体大小特征，Bonus为用户偏好奖励机制的奖励系数。
3.根据权利要求2所述的图像集网格拼贴方法，其特征在于，所述APB由第二模型进行确定且所述DCM由第三模型进行确定；其中，所述第二模型包括：其中，
A1、A2、A3、A4为图像被均匀划分成的4个部分，f(A1)、f(A2)、f(A3)、f(A4)代表各部分像素点的灰度值之和,axei为图像划分的水平、竖直、左对角线、右对角线4个轴线方向；
所述第三模型包括：
其中，dx＝0.5?bx/W，dy＝0.5?by/H，W是图像宽度，H是图像高度，bx和by表示图像的“质量”中心的水平和竖直坐标。
4.根据权利要求1所述的图像集网格拼贴方法，其特征在于，根据图像的独特性确定所述用户偏好指标；
所述图像的独特性数值由第四模型进行确定，所述第四模型包括：其中，T是图像集大小,depi,tinti,coni是图像的颜色深浅、颜色色调和图像内容特征，表示图像颜色深度的独特性数值， 表示图像颜色色调的独特性数值，表示图像内容的独特性数值，UQi表示图像独特性的数值。
5.根据权利要求1所述的图像集网格拼贴方法，其特征在于，所述搜索效率惩罚项得分包括搜索惩罚得分和步数惩罚得分；
其中，所述搜索惩罚得分由第五模型进行确定，所述步数惩罚得分由第六模型进行确定；
所述第五模型包括：
t
其中，Psearch表示搜索惩罚得分，sameactions表示拼图调整策略中连续两次采取相同动作，others表示拼图调整策略中连续两次没有采取相同动作；
所述第六模型包括：
ptstep＝λ2*i
t
其中，Pstep表示步数惩罚得分,λ2表示系数，i表示搜索步数。
6.一种用于实现如权利要求1所述的图像集网格拼贴方法对应的图像集网格拼贴装置，其特征在于，包括：图像获取模块，用于获取待拼贴的图像；
图像拼贴模块，用于将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像，其中，所述图像集网格拼贴模型是基于图像信息平衡评价指标进行训练得到的。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述图像集网格拼贴方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述图像集网格拼贴方法的步骤。 说明书 : 图像集网格拼贴方法和装置技术领域[0001] 本发明涉及计算机技术领域，尤其涉及一种图像集网格拼贴方法和装置。背景技术[0002] 当代社会，网络社交已经成为人们生活中必不可少的一部分。小型图像集的网格拼图在各种社交应用中有着广泛的应用，如在线图像发布、个人相册管理等场景。社交媒体允许用户一次上传一定数量的图像并将这些图像以预定义的网格拼图模板进行展示，如某社交网站允许用户一次最多上传9张图像，并最终将这些图像以九宫格的形式展示给其他用户。具体地，是按照用户图像上传的顺序，将图像依次拼贴到预定义的拼图模板。[0003] 一般情况下，用户出于方便，以随机顺序上传图像。这使得最终的拼图结果质量难以保证。[0004] 传统的拼图算法是小型图像集网格拼贴问题的一种解决思路。这类算法以突出图像集中的显著性信息为主要考量，因此对大型图像集的加速浏览具有积极意义。但是，突出图像集的主要信息并不能满足社交媒体网格拼图的应用场景需求。社交媒体中的网格拼图，一般图像数量较少且网格模板固定，其拼贴的目标为获得令人视觉愉悦和受人喜爱的拼图结果。而现有的拼图算法难以用户喜爱度为评价的拼图结果进行评价。因此难以获得良好的小型图像集的网格拼贴结果。目前现有技术中缺乏对网格拼图视觉效果评价的研究，更缺乏对小图集拼图算法的研究。发明内容[0005] 本发明提供一种图像集网格拼贴方法和装置，用以解决现有技术中缺乏对网格拼图视觉效果评价的缺陷，实现结合网络拼图视觉效果进行拼图效果的评定，进而构建相应的图像集网格拼贴模型。[0006] 第一方面，本发明提供一种图像集网格拼贴方法，包括：[0007] 获取待拼贴的图像；[0008] 将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像，其中，所述图像集网格拼贴模型是基于图像信息平衡评价指标进行训练得到的。[0009] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，图像集网格拼贴模型是通过以下方法获得：[0010] 101、获取图像数据集并输入当前的图像集网格拼贴模型；[0011] 102、对所述图像数据集中的图像进行特征融合，得到特征融合后的图像特征；[0012] 103、根据所述融合后的图像特征进行动作预测，得到动作预测向量，对所述动作预测向量进行采样，得到采样后的动作向量；[0013] 104、根据预设的动作空间和所述采样后的动作向量确定图像交换动作，并确定每次图像交换动作前后的图像信息平衡评价指标得分和搜索效率惩罚项得分；[0014] 105、根据连续M次所述图像信息平衡评价指标得分和所述搜索效率惩罚项得分对原始图像集网格拼贴模型的参数进行调整，得到更新后的图像集网格拼贴模型；[0015] 106、判断更新次数是否达到预设次数，若否，执行步骤107，若是，执行步骤108；[0016] 107、将所述更新后的图像集网格拼贴模型作为当前的图像集网格拼贴模型，执行步骤101；[0017] 108、将更新后的图像集网格拼贴模型作为最终的图像集网格拼贴模型，训练结束。[0018] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，所述图像信息平衡评价指标包括图像分布指标和用户偏好指标；[0019] 其中，图像分布指标包括：颜色深浅、颜色色调、图像内容、物体大小和用户偏好；[0020] 所述颜色深浅是由平衡优先性评估和质心偏移的线性组合表示；[0021] 所述颜色色调是由图像色彩直方图表示；[0022] 所述图像内容是由特征提取模型的图像特征向量表示；[0023] 所述物体大小是由图像显著图表示；[0024] 所述用户偏好是由用户偏好奖励机制表示。[0025] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，所述图像分布指标得分由第一模型进行确定，其中，所述第一模型包括：[0026] ba_col＝DCM+APB.[0027][0028][0029][0030] Meaba＝ba_col·ba_tint·ba_con·ba_size·Bonus[0031] 其中，ba?col表示颜色深浅，APB表示平衡优先性评估，DCM表示质心偏移；ba?tint表示颜色色调；ba?con表示图像内容；ba?size表示物体大。琈为对称图像对数，tint(Ii)，为对称位置的颜色色调特征；fea(Ii)， 为对称位置的图像内容特征；SA(Ii)， 为对称位置的物体大小特征，Bonus为用户偏好奖励机制的奖励系数。[0032] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，所述APB由第二模型进行确定且所述DCM由第三模型进行确定；其中，所述第二模型包括：[0033][0034] 其中，[0035] A1、A2、A3、A4为图像被均匀划分成的4个部分，f(A1)、f(A2)、f(A3)、f(A4)代表各部分像素点的灰度值之和,axei为图像划分的水平、竖直、左对角线、右对角线4个轴线方向；[0036] 所述第三模型包括：[0037][0038] 其中，dx＝0.5?bx/W，dy＝0.5?by/H，W是图像宽度，H是图像高度，bx和by表示图像的“质量”中心的水平和竖直坐标。[0039] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，根据图像的独特性确定所述用户偏好指标；[0040] 所述图像的独特性数值由第四模型进行确定，所述第四模型包括：[0041][0042][0043][0044][0045] 其中，T是图像集大小,depi,tinti,coni是图像的颜色深浅、颜色色调和图像内容特征， 表示图像颜色深度的独特性数值， 表示图像颜色色调的独特性数值，表示图像内容的独特性数值，UQi表示图像独特性的数值。[0046] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，所述搜索效率惩罚项得分包括搜索惩罚得分和步数惩罚得分；[0047] 其中，所述搜索惩罚得分由第五模型进行确定，所述步数惩罚得分由第六模型进行确定；[0048] 所述第五模型包括：[0049][0050] 其中，Ptsearch表示搜索惩罚得分，sameactions表示拼图调整策略中连续两次采取相同动作，others表示拼图调整策略中连续两次没有采取相同动作；[0051] 所述第六模型包括：[0052] ptstep＝λ2*i[0053] 其中，Ptstep表示步数惩罚得分,λ2表示系数，i表示搜索步数。[0054] 第二方面，本发明提供一种图像集网格拼贴装置，包括：[0055] 图像获取模块，用于获取待拼贴的图像；[0056] 图像拼贴模块，用于将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像，其中，所述图像集网格拼贴模型是基于图像信息平衡评价指标进行训练得到的。[0057] 第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像集网格拼贴方法的步骤。[0058] 第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像集网格拼贴方法的步骤。[0059] 本发明提供的图像集网格拼贴方法和装置，通过获取待拼贴的图像；将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像。本发明通过构建的图像集网格拼贴模型达到对图像拼贴的效果的能够具有更好的令人视觉愉悦和受人喜爱的拼图结果。附图说明[0060] 为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0061] 图1是本发明提供的图像集网格拼贴方法的流程示意图；[0062] 图2是本发明提供的图像集网格拼贴模型训练方法的流程示意图；[0063] 图3是本发明提供的图像集网格拼贴装置的结构示意图；[0064] 图4是本发明提供的电子设备的结构示意图。具体实施方式[0065] 为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0066] 下面结合图1描述本发明的一种图像集网格拼贴方法，包括：[0067] 步骤100：获取待拼贴的图像；[0068] 具体地，本发明是通过对图像粘贴在特定的网格中，用来更好地呈现出图像的拼图效果，因此，在进行拼图之前需要获取用于拼贴的图像。[0069] 步骤200：将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像，其中，所述图像集网格拼贴模型是基于图像信息平衡评价指标进行训练得到的。[0070] 具体地，在本发明中是通过训练完成的图像集网格拼贴模型对待拼贴的图像进行呈现。由于心理学家指出当一个图像包含多个要素时，人们将它们视为一个整体，而不是单独的个体。多元素图像的感知平衡与用户喜爱度之间存在着正相关关系。因此在对图像集网格拼贴模型基于图像信息平衡评价指标进行训练后，得到的图像集网格拼贴模型能够更加喜爱的图像拼贴结果。[0071] 本发明提供的图像集网格拼贴方法，通过获取待拼贴的图像；将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像。本发明通过构建的图像集网格拼贴模型达到对图像拼贴的效果的能够具有更好的令人视觉愉悦和受人喜爱的拼图结果。[0072] 进一步，结合图2所示，根据本发明提供的一种图像集网格拼贴方法，其中，图像集网格拼贴模型是通过以下方法获得：[0073] 101、获取图像数据集并输入当前的图像集网格拼贴模型；[0074] 102、对所述图像数据集中的图像进行特征融合，得到特征融合后的图像特征；[0075] 103、根据所述融合后的图像特征进行动作预测，得到动作预测向量，对所述动作预测向量进行采样，得到采样后的动作向量；[0076] 104、根据预设的动作空间和所述采样后的动作向量确定图像交换动作，并确定每次图像交换动作前后的图像信息平衡评价指标得分和搜索效率惩罚项得分；[0077] 105、根据连续M次所述图像信息平衡评价指标得分和所述搜索效率惩罚项得分对原始图像集网格拼贴模型的参数进行调整，得到更新后的图像集网格拼贴模型；[0078] 106、判断更新次数是否达到预设次数，若否，执行步骤107，若是，执行步骤108；[0079] 107、将所述更新后的图像集网格拼贴模型作为当前的图像集网格拼贴模型，执行步骤101；[0080] 108、将更新后的图像集网格拼贴模型作为最终的图像集网格拼贴模型，训练结束。[0081] 具体地，社交媒体中网格拼图的发布方式为将图像集按上传顺序依次填入拼图模板。因此，本发明将网格拼图的完善过程简化为图像序列的调整过程。将随机或即时的图像排列为输入，输出对应的图像排列调整动作。本发明以深度模型为基。菇ㄇ炕八惴。具体地，利用图像序列调整前后拼图结果的“图像信息平衡”评价指标差和惩罚项(用作加速训练)作为约束，以此方式得到最终的拼图结果。[0082] 本发明收集了300个九宫格图像，其中每个九宫格拼图均由专业摄影师发布。通过将每个九宫格拼图进行分割，得到对应的小型图像集。数据集的收集遵照全面和流行两个原则：首先，数据集中90％的九宫格拼图收集于微博、图虫等主流社交媒体，其余10％的九宫格由不同的纯颜色图组成；其次：本发明收集的九宫格图像均为各大社交网站的推荐结果。[0083] 该网格拼图的调整策略，是基于深度学习框架搭建的强化学习模型。该模型整体包含两个部分：特征融合模块和动作预测模块。特征融合模块由一个全连接层组成。该模块的作用是对输入图像集的特征进行整合以达到特征将维的作用。动作预测模块由三个全连接层组成，该模块以特征融合模块的输出为输入，最后一个全连接层的神经元个数与动作空间的大小相同。该模块的作用是得到图像序列调整的动作空间概率向量。本发明对预测的动作概率进行多项式采样，采样后的结果会转化成为一个索引，该索引对应动作空间中具体的图像交换动作，具体形式如下：[0084] ai～multinomial(pi)(1)[0085] 其中，pi是网络在第i步的动作概率向量，ai是网络输出的图像交换动作。[0086] 由于社交媒体中网格拼图生成的默认逻辑为：按用户上传图像的顺序，依次将图像填充至拼图模板。因此本发明解决的网格拼图问题，其本质上是对图像的排列优化问题。本发明定义图像序列中两幅图像位置的交换为一个动作。通过设置回合，可以使得图像序列进行多次动作调整，从而实现了对整个图像序列的优化。若图像集中图像的张数为N，其初始的图像序列为I1，...，Ii，...，Ij...，IN，当图像的交换动作发生在Ii和Ij，动作后的图像序列为I1，...，Ij，...，Ii...，IN。动作空间共包含 种动作和一个终止动作。因此，动作空间的总容量为[0087] 在每一步的图像调整之后，通过对图像调整前后的图像信息平衡评价指标网格拼图的调整策略的损失函数包含两部分：第一部分是动作前后拼图结果的“图像信息平衡”评价指标差。出于网络训练的稳定性考量，本发明借助sign函数来对单步动作的有效性进行表征；第二部分是为了提高网络搜索效率的惩罚项。在本发明的图像集网格拼贴模型中的强化学习算法将上述指标转化为网络训练过程中的奖励值，并以单步调整的方式实现了对最终拼图结果的改善。[0088] 由于本发明中的动作空间几何中包含 个动作，由于各个动作已经形成了动作序列，本发明中在一个动作调整循环中，进行M次动作调整，若在达到M次动作调整中之前已经进行了终止动作调整，则进行相应的动作调整之后，不在进行后续的动作调整。[0089] 在完成动作调整之后，对每一步调整中的图像信息平衡评价指标的差值与惩罚项的得分进行加和得到每一动作调整后的奖励值与惩罚值的总和。特别地，本发明利用回合训练的方式，来对多步调整策略的效果进行评估。即对M次动作调整或在M次之前已经出现终止动作的多次动作调整的奖励值与惩罚值进行加和得到的总和作为一轮动作调整的效果指标，并依据此效果指标对图像集网格拼贴模型的参数进行调整，得到调整参数后的图像集网格拼贴模型。[0090] 对单步动作奖励的计算公式如下：[0091][0092] 其中， 和Meaba是动作调整前和动作调整后的“图像信息平衡”指标值。[0093] 特别地，本发明利用回合训练的方式，来对多步调整策略的效果进行评估。回合动作奖励的计算公式如下：[0094][0095] 其中，T为回合步数，A为动作序列，r(ai)为第i次动作的单步奖励值。[0096] 依据此进行参数调整后的图像集网格拼贴模型作为当前的图像集网格拼贴模型再重复上述步骤，每一轮动作完成之后，进行一次参数调整，在本发明中共进行K轮动作调整，经过K轮动作调整之后，再对K?1次参数调整后的图像集网格拼贴模型进行参数调整，得到最终的图像集网格拼贴模型，即是本发明中的使用的图像集网格拼贴模型。[0097] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，所述图像信息平衡评价指标包括图像分布指标和用户偏好指标；[0098] 其中，图像分布指标包括：颜色深浅、颜色色调、图像内容、物体大小和用户偏好；[0099] 所述颜色深浅是由平衡优先性评估和质心偏移的线性组合表示；[0100] 所述颜色色调是由图像色彩直方图表示；[0101] 所述图像内容是由特征提取模型的图像特征向量表示；[0102] 所述物体大小是由图像显著图表示；[0103] 所述用户偏好是由用户偏好奖励机制表示。[0104] 具体地，构建“图像信息平衡”评价指标，通过颜色深浅、颜色色调、图像内容、物体大小和用户偏好五个建模子项实现了对拼图结果的综合描述。其中，颜色深浅、颜色色调、图像内容、物体大小四个子项可以描述图像集在不同层面的分布情况。用户偏好子项可以表征用户的个人偏好。分别用平衡优先性评估APB(assessmentofpreferenceforbalance，APB)和质心偏移DCM(deviationofthecenterofmass，DCM)的线性组合、图像色彩直方图、VGG16网络的图像特征向量、图像显著图以及用户偏好奖励机制进行表征。[0105] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，所述图像分布指标得分由第一模型进行确定，其中，所述第一模型包括：[0106] ba_col＝DCM+APB.(4)[0107][0108][0109][0110] Meaba＝ba_col·ba_tint·ba_con·ba_size·Bonus(8)[0111] 其中，ba?col表示颜色深浅，APB表示平衡优先性评估，DCM表示质心偏移；ba?tint表示颜色色调；ba?con表示图像内容；ba?size表示物体大。琈为对称图像对数，tint(Ii)，为对称位置的颜色色调特征；fea(Ii)， 为对称位置的图像内容特征；SA(Ii)， 为对称位置的物体大小特征，Bonus为用户偏好奖励机制的奖励系数。[0112] 由上述计算方式可知，指标值越小越好，即[0113] argminMeaba(I1，...，IT)(9)[0114] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，所述APB由第二模型进行确定且所述DCM由第三模型进行确定；其中，所述第二模型包括：[0115][0116] 其中，[0117] A1、A2、A3、A4为图像被均匀划分成的4个部分，f(A1)、f(A2)、f(A3)、f(A4)代表各部分像素点的灰度值之和,axei为图像划分的水平、竖直、左对角线、右对角线4个轴线方向；[0118] 所述第三模型包括：[0119][0120] 其中，dx＝0.5?bx/W，dy＝0.5?by/H，W是图像宽度，H是图像高度，bx和by表示图像的“质量”中心的水平和竖直坐标。[0121] 具体地，APB和DCM是心理学中描述图像平衡的指标。APB和DCM分别从全局和局部的角度对图像的颜色深浅角度进行描述。APB将图像分别沿水平，竖直和两个对角线方向进行计算，故最终的计算公式包含4个轴线方向，以水平方向为例：[0122][0123][0124] 其中，A1、A2、A3、A4为沿水平方向划分的4个区域，f(A1)、f(A2)、f(A3)、f(A4)为对应区域像素灰度值之和。整个图像灰度值的和N可以为N＝f(A1)+f(A2)+f(A3)+f(A4)。[0125] 最终APB的计算公式为：[0126][0127] DCM其计算的本质是图像的“质量”中心与“几何”中心的偏差。水平和竖直坐标中用bx和by表示图像的“质量”中心，具体计算公式为：[0128][0129] 其中，W是图像宽度，H是图像高度， 是第i列像素的灰度值之和， 是第j行像素的灰度值之和，r是像素的坐标值。[0130] 最终DCM的计算公式如下：[0131][0132] 其中，dx＝0.5?bx/W，dy＝0.5?by/H。[0133] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，根据图像的独特性确定所述用户偏好指标；[0134] 所述图像的独特性数值由第四模型进行确定，所述第四模型包括：[0135][0136][0137][0138][0139] 其中，T是图像集大小,depi,tinti,coni是图像的颜色深浅、颜色色调和图像内容特征， 表示图像颜色深度的独特性数值， 表示图像颜色色调的独特性数值，表示图像内容的独特性数值，UQi表示图像独特性的数值。[0140] 具体地，本发明通过设定网格拼图模板的特殊位置和图像集中图像的独特性值来触发用户偏好的奖励机制。特殊位置可以实现用户在拼图模板中对不同网格位置的偏好表征。用户偏好的位置可能在拼图模板中位于中心位置或占据较大面积。独特性值可以实现用户在图像集中对不同图像喜爱程度的表征。特别地，本发明设定，当最独特的图片被放置在拼图模版的特殊位置，则为拼图指标增加一个奖励系数。[0141] 进一步，根据本发明提供的一种图像集网格拼贴方法，其中，所述搜索效率惩罚项得分包括搜索惩罚得分和步数惩罚得分；[0142] 其中，所述搜索惩罚得分由第五模型进行确定，所述步数惩罚得分由第六模型进行确定；[0143] 所述第五模型包括：[0144][0145] 其中，Ptsearch表示搜索惩罚得分，sameactions表示拼图调整策略中连续两次采取相同动作，others表示拼图调整策略中连续两次没有采取相同动作；[0146] 所述第六模型包括：[0147] ptstep＝λ2*i(20)[0148] 其中，Ptstep表示步数惩罚得分,λ2表示系数，i表示搜索步数。[0149] 具体地，惩罚项包含两个部分：搜索惩罚(ptsearch)和步数惩罚(ptstep)。搜索惩罚是为了惩罚拼图调整策略中连续两次采取相同动作的情况，该情况会使得图像序列退回两步动作前的排序。步数惩罚则是要求网络以较少的动作完成对整个图像序列的调整。其具体的实现如下：[0150][0151] ptstep＝λ2*i[0152] 其中，λ2＝?0.01，Ptsearch表示搜索惩罚得分，sameactions表示拼图调整策略中连t续两次采取相同动作，others表示拼图调整策略中连续两次没有采取相同动作；Pstep表示步数惩罚得分,λ2表示系数，i表示搜索步数。[0153] 肉眼观察可知，随着网络的不断调整，拼图的视觉效果逐步提升，这一现象与拼图结果对应的指标值逐步下降的现象相符合，即“图像信息平衡”指标可以对拼图结果进行有效的评价。此外，图中还包括仅用“图像信息平衡”指标暴力搜索的结果和人工拼贴的结果。尽管暴力搜索结果的指标值比本方法结果的指标值(GClg?10)。霰┝λ阉鞯墓绦枰父鲂∈，对计算资源消耗巨大。本方法整个迭代过程仅需要3?7秒，且从视觉上其拼贴结果和暴力搜索以及人工拼贴的结果相当。相较于初始结果，经过算法调整后的拼图，其各个建模子项(颜色深浅、颜色色调、图像内容和物体大小)在模板上的分布更加均匀。[0154] 本发明基于进行单子项缺失的指标引导强化学习网络学习，即依次去掉颜色深浅、颜色色调、图像内容和物体大小中的一项，以此作为指标进行学习。由图可知，子项缺失的指标会对最终结果的生成引导不足，且会影响其它子项的引导。导致最终的拼图结果不理想。即单项建模子项的缺失，使得视觉效果不断提升的拼图结果对应的指标值有了波动。因此，本方法提出的建模子项对最终结果的调整有着明显的引导作用。[0155] 本发明基于图像的信息聚合设置了两个基线实验(Baseline1和Baseline2)，这一做法是传统图像拼贴算法对比实验中的常用方法。具体地，首先将图像集中的图像用内容特征(Baseline1)或颜色特征(Baseline2)进行表征；其次通过K?means聚类将图像集中的图像分成3类；最后，按照图像的聚类结果，将同一类别的图像依次填充至拼图模板。[0156] 集合图3所示，本发明提供一种图像集网格拼贴装置，包括：[0157] 图像获取模块31，用于获取待拼贴的图像；[0158] 图像拼贴模块32，用于将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像，其中，所述图像集网格拼贴模型是基于图像信息平衡评价指标进行训练得到的。[0159] 由于本发明实施例提供的装置，可以用于执行上述实施例所述的方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。[0160] 本发明提供的图像集网格拼贴装置，通过获取待拼贴的图像；将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像。本发明通过构建的图像集网格拼贴模型达到对图像拼贴的效果的能够具有更好的令人视觉愉悦和受人喜爱的拼图结果。[0161] 进一步，根据本发明提供的一种图像集网格拼贴装置，其中，所述图像拼贴模块32，还用于：[0162] 通过以下方法获得图像集网格拼贴模型：[0163] 101、获取图像数据集并输入当前的图像集网格拼贴模型；[0164] 102、对所述图像数据集中的图像进行特征融合，得到特征融合后的图像特征；[0165] 103、根据所述融合后的图像特征进行动作预测，得到动作预测向量，对所述动作预测向量进行采样，得到采样后的动作向量；[0166] 104、根据预设的动作空间和所述采样后的动作向量确定图像交换动作，并确定每次图像交换动作前后的图像信息平衡评价指标得分和搜索效率惩罚项得分；[0167] 105、根据连续M次所述图像信息平衡评价指标得分和所述搜索效率惩罚项得分对原始图像集网格拼贴模型的参数进行调整，得到更新后的图像集网格拼贴模型；[0168] 106、判断更新次数是否达到预设次数，若否，执行步骤107，若是，执行步骤108；[0169] 107、将所述更新后的图像集网格拼贴模型作为当前的图像集网格拼贴模型，执行步骤101；[0170] 108、将更新后的图像集网格拼贴模型作为最终的图像集网格拼贴模型，训练结束。[0171] 进一步，根据本发明提供的一种图像集网格拼贴装置，其中，所述图像拼贴模块32，还用于：[0172] 所述图像信息平衡评价指标包括图像分布指标和用户偏好指标；[0173] 其中，图像分布指标包括：颜色深浅、颜色色调、图像内容、物体大小和用户偏好；[0174] 所述颜色深浅是由平衡优先性评估和质心偏移的线性组合表示；[0175] 所述颜色色调是由图像色彩直方图表示；[0176] 所述图像内容是由特征提取模型的图像特征向量表示；[0177] 所述物体大小是由图像显著图表示；[0178] 所述用户偏好是由用户偏好奖励机制表示。[0179] 进一步，根据本发明提供的一种图像集网格拼贴装置，其中，所述图像拼贴模块32，还用于：[0180] 所述图像分布指标得分由第一模型进行确定，其中，所述第一模型包括：[0181] ba_col＝DCM+APB.[0182][0183][0184][0185] Meaba＝ba_col·ba_tint·ba_con·ba_size·Bonus[0186] 其中，ba?col表示颜色深浅，DCM表示平衡优先性评估，APM表示质心偏移；ba?tint表示颜色色调；ba?con表示图像内容；ba?size表示物体大。琈为对称图像对数，tint(Ii)，为对称位置的颜色色调特征；fea(Ii)， 为对称位置的图像内容特征；SA(Ii)， 为对称位置的物体大小特征，Bonus为用户偏好奖励机制的奖励系数。[0187] 进一步，根据本发明提供的一种图像集网格拼贴装置，其中，所述图像拼贴模块32，还用于：[0188] 所述APB由第二模型进行确定且所述DCM由第三模型进行确定；其中，所述第二模型包括：[0189][0190] 其中，[0191] A1、A2、A3、A4为图像被均匀划分成的4个部分，f(A1)、f(A2)、f(A3)、f(A4)代表各部分像素点的灰度值之和,axei为图像划分的水平、竖直、左对角线、右对角线4个轴线方向；所述第三模型包括：[0192][0193] 其中，dx＝0.5?bx/W，dy＝0.5?by/H，W是图像宽度，H是图像高度，bx和by表示图像的“质量”中心的水平和竖直坐标。[0194] 进一步，根据本发明提供的一种图像集网格拼贴一种图像集网格拼贴装置，其中，所述图像拼贴模块32，还用于：[0195] 根据图像的独特性确定所述用户偏好指标；[0196] 所述图像的独特性数值由第四模型进行确定，所述第四模型包括：[0197][0198][0199][0200][0201] 其中，T是图像集大小,depi,tinti,coni是图像的颜色深浅、颜色色调和图像内容特征， 表示图像颜色深度的独特性数值， 表示图像颜色色调的独特性数值，表示图像内容的独特性数值，UQi表示图像独特性的数值。[0202] 进一步，根据本发明提供的一种图像集网格拼贴装置，其中，所述图像拼贴模块32，还用于：[0203] 所述搜索效率惩罚项得分包括搜索惩罚得分和步数惩罚得分；[0204] 其中，所述搜索惩罚得分由第五模型进行确定，所述步数惩罚得分由第六模型进行确定；[0205] 所述第五模型包括：[0206][0207] 其中，Ptsearch表示搜索惩罚得分，sameactions表示拼图调整策略中连续两次采取相同动作，others表示拼图调整策略中连续两次没有采取相同动作；[0208] 所述第六模型包括：[0209] ptstep＝λ2*i[0210] 其中，Ptstep表示步数惩罚得分,λ2表示系数，i表示搜索步数。[0211] 图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(CommunicationsInterface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行一种图像集网格拼贴方法，该方法包括：获取待拼贴的图像；将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像，其中，所述图像集网格拼贴模型是基于图像信息平衡评价指标进行训练得到的。[0212] 此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read?OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。[0213] 另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的一种图像集网格拼贴方法，该方法包括：获取待拼贴的图像；将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像，其中，所述图像集网格拼贴模型是基于图像信息平衡评价指标进行训练得到的。[0214] 又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的一种图像集网格拼贴方法，该方法包括：获取待拼贴的图像；将所述待拼贴的图像输入至图像集网格拼贴模型中，得到拼贴完成的网格图像，其中，所述图像集网格拼贴模型是基于图像信息平衡评价指标进行训练得到的。[0215] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。[0216] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。[0217] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

专利地区：北京

专利申请日期：2021-12-27

专利公开日期：2024-11-29

专利公告号：CN114511444B