开云优惠体育网页版入口

专利名称：一种自适应的图像引擎色彩优化方法、系统及存储介质

专利类型：发明专利

专利申请号：CN202210362444.4

专利申请（专利权）人：苏州开云优惠体育网页版入口大学
权利人地址：江苏省苏州市学府路99号

专利发明（设计）人：夏振平,张博文,宋玉,张跃渊,胡伏原

专利摘要：本发明公开了一种自适应的图像引擎色彩优化方法、系统及存储介质，包括：从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集，通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整生成最终数据集；基于全卷积神经网络构建图像引擎色彩优化模型，将最终数据集输入图像引擎色彩优化模型进行训练，通过所述图像引擎色彩优化模型实现图像色彩优化。本发明中采用全卷积神经网络融合了多种图像优化算法，可以替代多种独立算法组合而成的传统算法，构建大规模数据集以增强网络的泛化性能，防止过拟合。

主权利要求：
1.一种自适应的图像引擎色彩优化方法，其特征在于，包括以下步骤：从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集；
通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整生成最终数据集；
基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，通过所述图像引擎色彩优化模型实现图像色彩优化；
所述的基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，具体为：基于全卷积神经网络构建图像引擎色彩优化模型；
根据所述最终数据集随机获取样本数据，根据所述样本数据构成样本数据集，将所述样本数据集中90％的样本数据作为训练集，10％的样本数据进行验证集；
训练基于Tensorflow框架，采用Adam优化器，初始学习率0.0001，10个epoch后学习率降低为0.00001，将训练集输入全卷积神经网络，训练至损失函数平稳；
通过所述验证集对训练后图像引擎色彩优化模型进行测试，当输出图像的优化效果达到预设标准时，则保存模型参数并输出图像引擎色彩优化模型；
所述全卷积神经模型包括9个卷积层，前八层卷积核的大小均为3×3，卷积核个数为
32，每层卷积层的激活函数均为LReLU，从第二层开始采用空洞卷积，第二，三，四，五，六，七层的扩张率分别为2，4，8，16，32，64，第一层和第八层的为普通卷积层，第九层为卷积核大小为1×1的普通卷积层，第九层不使用激活函数；
所述图像引擎色彩优化模型的损失函数L(w,b)采用L2损失函数，具体为：其中，L(w,b)表示损失函数，Ii表示输入图像，Ni表示输入图像的像素个数，n表示图像总数，f(Ii)表示目标图像，w和b表示全卷积神经网络待训练的权重， 表示输出图像。
2.根据权利要求1所述的一种自适应的图像引擎色彩优化方法，其特征在于，所述的从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集，具体为：从AVA数据集中获取数据集中的目标图像，并创建目标图像的副本，得到第一图像对；
分别对第一图像对中的图像使用幂律变换，将一张图像的亮度提升，另一张图像的亮度降低，得到第二图像对；
分别对所述第二图像对中的图像添加高斯：，得到第三图像对；
分别对所述第三图像对中的图像添加高斯噪声，得到第四图像对；
将所述第四图像对中的图像分别和目标图像组成一组图像对，构成初始数据集。
3.根据权利要求1所述的一种自适应的图像引擎色彩优化方法，其特征在于，所述的通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整，具体为：通过MobileNet架构构建NIMA模型，并通过AVA数据集训练所述NIMA模型，根据训练后的NIMA模型搭建图像质量预测器；
将初始数据集中的原始图像与目标图像输入图像质量预测器，使用图像质量预测器对输入图像进行评分；
根据评分对初始数据集中的图像进行调整，保证参考图像的图像质量优于输入图像；
若目标图像评分高于原始图像，则将目标图像设置为参考图像，将原始图像设置为输入图像；
若目标图像评分低于原始图像，则将目标图像设置为输入图像，将原始图像设置为参考图像；
根据调整后的目标图像及原始图像生成最终数据集。
4.一种自适应的图像引擎色彩优化系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种自适应的图像引擎色彩优化方法程序，所述一种自适应的图像引擎色彩优化的方法程序被所述处理器执行时实现如下步骤：从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集；
通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整生成最终数据集；
基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，通过所述图像引擎色彩优化模型实现图像色彩优化；
所述的基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，具体为：基于全卷积神经网络构建图像引擎色彩优化模型；
根据所述最终数据集随机获取样本数据，根据所述样本数据构成样本数据集，将所述样本数据集中90％的样本数据作为训练集，10％的样本数据进行验证集；
训练基于Tensorflow框架，采用Adam优化器，初始学习率0.0001，10个epoch后学习率降低为0.00001，将训练集输入全卷积神经网络，训练至损失函数平稳；
通过所述验证集对训练后图像引擎色彩优化模型进行测试，当输出图像的优化效果达到预设标准时，则保存模型参数并输出图像引擎色彩优化模型；
所述全卷积神经模型包括9个卷积层，前八层卷积核的大小均为3×3，卷积核个数为
32，每层卷积层的激活函数均为LReLU，从第二层开始采用空洞卷积，第二，三，四，五，六，七层的扩张率分别为2，4，8，16，32，64，第一层和第八层的为普通卷积层，第九层为卷积核大小为1×1的普通卷积层，第九层不使用激活函数；
所述图像引擎色彩优化模型的损失函数L(w,b)采用L2损失函数，具体为：其中，L(w,b)表示损失函数，Ii表示输入图像，Ni表示输入图像的像素个数，n表示图像总数，f(Ii)表示目标图像，w和b表示全卷积神经网络待训练的权重， 表示输出图像。
5.根据权利要求4所述的一种自适应的图像引擎色彩优化系统，其特征在于，所述的从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集，具体为：从AVA数据集中获取数据集中的目标图像，并创建目标图像的副本，得到第一图像对；
分别对第一图像对中的图像使用幂律变换，将一张图像的亮度提升，另一张图像的亮度降低，得到第二图像对；
分别对所述第二图像对中的图像添加高斯：，得到第三图像对；
分别对所述第三图像对中的图像添加高斯噪声，得到第四图像对；
将所述第四图像对中的图像分别和目标图像组成一组图像对，构成初始数据集。
6.根据权利要求4所述的一种自适应的图像引擎色彩优化系统，其特征在于，所述的通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整，具体为：通过MobileNet架构构建NIMA模型，并通过AVA数据集训练所述NIMA模型，根据训练后的NIMA模型搭建图像质量预测器；
将初始数据集中的原始图像与目标图像输入图像质量预测器，使用图像质量预测器对输入图像进行评分；
根据评分对初始数据集中的图像进行调整，保证参考图像的图像质量优于输入图像；
若目标图像评分高于原始图像，则将目标图像设置为参考图像，将原始图像设置为输入图像；
若目标图像评分低于原始图像，则将目标图像设置为输入图像，将原始图像设置为参考图像；
根据调整后的目标图像及原始图像生成最终数据集。
7.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中包括一种自适应的图像引擎色彩优化方法程序，所述一种自适应的图像引擎色彩优化方法程序被处理器执行时，实现如权利要求1至3中任一项所述的一种自适应的图像引擎色彩优化方法的步骤。 说明书 : 一种自适应的图像引擎色彩优化方法、系统及存储介质技术领域[0001] 本发明涉及图像处理技术领域，更具体的，涉及一种自适应的图像引擎色彩优化方法、系统及存储介质。背景技术[0002] 视觉是人类获取外界信息的重要渠道，显示系统则是当今人们获取视觉信息的主要途径之一。随着科学技术的不断发展，人们对于显示系统的成像质量要求越来越高。目前，显示系统的成像质量不仅仅取决于显示器的硬件质量，图像增强引擎也是其中重要的一环。图像增强引擎能够运用图像处理算法对图像的灰度范围、灰度变换程度等信息(特征)进行优化，这对于显示设备的图像质量优化具有重要意义。图像色彩优化作为图像引擎的核心功能之一，其对图像引擎的性能起决定性作用。[0003] 传统色彩优化算法一般由多种算法组合而成，每种算法实现单一的图像优化。例如，直方图均衡化算法可以使图像亮度在显示系统的成像范围内更加均匀地分布，优化局部细节，在优化整体亮度过高或过低的图像时有显著效果；锐化算法主要用于补偿图像轮廓，增强局部对比度，使图像边缘变得清晰；均值滤波算法一般用于消除图像获取过程中因照明环境不佳或高温引起的传感器噪声，因此传统色彩优化算法若要追求较好的效果，需要根据图像特征选取优化算法并由人工调整参数，很难自动完成图像的最佳优化。此外，图像可能存在多种缺陷，其无法针对具有多种特征的复杂图像执行适宜的图像优化操作。而目前提出的基于深度学习的相关算法需要较高的硬件成本和时间成本且缺少相对应的数据集，在实际应用中阻力较大。发明内容[0004] 为了解决上述技术问题，本发明提出了一种自适应的图像引擎色彩优化方法、系统及存储介质。[0005] 本发明第一方面提供了一种自适应的图像引擎色彩优化方法，包括：[0006] 从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集；[0007] 通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整生成最终数据集；[0008] 基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，通过所述图像引擎色彩优化模型实现图像色彩优化。[0009] 本方案中，所述的从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集，具体为：[0010] 从AVA数据集中获取数据集中的目标图像，并创建目标图像的副本，得到第一图像对；[0011] 分别对第一图像对中的图像使用幂律变换，将一张图像的亮度提升，另一张图像的亮度降低，得到第二图像对；[0012] 分别对所述第二图像对中的图像添加高斯：，得到第三图像对；[0013] 分别对所述第三图像对中的图像添加高斯噪声，得到第四图像对；[0014] 将所述第四图像对中的图像分别和目标图像组成一组图像对，构成初始数据集。[0015] 本方案中，所述的通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整，具体为：[0016] 通过MobileNet架构构建NIMA模型，并通过AVA数据集训练所述NIMA模型，根据训练后的NIMA模型搭建图像质量预测器；[0017] 将初始数据集中的原始图像与目标图像输入图像质量预测器，使用图像质量预测器对输入图像进行评分；[0018] 根据评分对初始数据集中的图像进行调整，保证参考图像的图像质量优于输入图像；[0019] 若目标图像评分高于原始图像，则将目标图像设置为参考图像，将原始图像设置为输入图像；[0020] 若目标图像评分低于原始图像，则将目标图像设置为输入图像，将原始图像设置为参考图像；[0021] 根据调整后的目标图像及原始图像生成最终数据集。[0022] 本方案中，所述的基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，具体为：[0023] 基于全卷积神经网络构建图像引擎色彩优化模型；[0024] 根据所述最终数据集随机获取样本数据，根据所述样本数据构成样本数据集，将所述样本数据集中90％的样本数据作为训练集，10％的样本数据进行验证集；[0025] 训练基于Tensorflow框架，采用Adam优化器，初始学习率0.0001，10个epoch后学习率降低为0.00001，将训练集输入全卷积神经网络，训练至损失函数平稳；[0026] 通过所述验证集对训练后图像引擎色彩优化模型进行测试，当输出图像的优化效果达到预设标准时，则保存模型参数并输出图像引擎色彩优化模型。[0027] 本方案中，所述全卷积神经模型包括9个卷积层，前八层卷积核的大小均为3×3，从第二层开始采用空洞卷积，第二，三，四，五，六，七层的扩张率分别为2，4，8，16，32，64，第一层和第八层的为普通卷积层，第九层为卷积核大小为1×1的普通卷积层，第九层不使用激活函数。[0028] 本方案中，所述图像引擎色彩优化模型的损失函数L(w,b)采用L2损失函数，具体为：[0029][0030] 其中，L(w,b)表示损失函数，Ii表示输入图像，Ni表示输入图像的像素个数，n表示图像总数，f(Ii)表示目标图像，w和b表示全卷积神经网络待训练的权重， 表示输出图像。[0031] 本发明第二方面还提供了一种自适应的图像引擎色彩优化系统，该系统包括：存储器、处理器，所述存储器中包括一种自适应的图像引擎色彩优化方法程序，所述一种自适应的图像引擎色彩优化方法程序被所述处理器执行时实现如下步骤：[0032] 从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集；[0033] 通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整生成最终数据集；[0034] 基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，通过所述图像引擎色彩优化模型实现图像色彩优化。[0035] 本方案中，所述的从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集，具体为：[0036] 从AVA数据集中获取数据集中的目标图像，并创建目标图像的副本，得到第一图像对；[0037] 分别对第一图像对中的图像使用幂律变换，将一张图像的亮度提升，另一张图像的亮度降低，得到第二图像对；[0038] 分别对所述第二图像对中的图像添加高斯：，得到第三图像对；[0039] 分别对所述第三图像对中的图像添加高斯噪声，得到第四图像对；[0040] 将所述第四图像对中的图像分别和目标图像组成一组图像对，构成初始数据集。[0041] 本方案中，所述的通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整，具体为：[0042] 通过MobileNet架构构建NIMA模型，并通过AVA数据集训练所述NIMA模型，根据训练后的NIMA模型搭建图像质量预测器；[0043] 将初始数据集中的原始图像与目标图像输入图像质量预测器，使用图像质量预测器对输入图像进行评分；[0044] 根据评分对初始数据集中的图像进行调整，保证参考图像的图像质量优于输入图像；[0045] 若目标图像评分高于原始图像，则将目标图像设置为参考图像，将原始图像设置为输入图像；[0046] 若目标图像评分低于原始图像，则将目标图像设置为输入图像，将原始图像设置为参考图像；[0047] 根据调整后的目标图像及原始图像生成最终数据集。[0048] 本方案中，所述的基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，具体为：[0049] 基于全卷积神经网络构建图像引擎色彩优化模型；[0050] 根据所述最终数据集随机获取样本数据，根据所述样本数据构成样本数据集，将所述样本数据集中90％的样本数据作为训练集，10％的样本数据进行验证集；[0051] 训练基于Tensorflow框架，采用Adam优化器，初始学习率0.0001，10个epoch后学习率降低为0.00001，将训练集输入全卷积神经网络，训练至损失函数平稳；[0052] 通过所述验证集对训练后图像引擎色彩优化模型进行测试，当输出图像的优化效果达到预设标准时，则保存模型参数并输出图像引擎色彩优化模型。[0053] 本方案中，所述全卷积神经模型包括9个卷积层，前八层卷积核的大小均为3×3，从第二层开始采用空洞卷积，第二，三，四，五，六，七层的扩张率分别为2，4，8，16，32，64，第一层和第八层的为普通卷积层，第九层为卷积核大小为1×1的普通卷积层，第九层不使用激活函数。[0054] 本方案中，所述图像引擎色彩优化模型的损失函数L(w,b)采用L2损失函数，具体为：[0055][0056] 其中，L(w,b)表示损失函数，Ii表示输入图像，Ni表示输入图像的像素个数，n表示图像总数，f(Ii)表示目标图像，w和b表示全卷积神经网络待训练的权重， 表示输出图像。[0057] 本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种自适应的图像引擎色彩优化方法程序，所述一种自适应的图像引擎色彩优化方法程序被处理器执行时，实现如上述任一项所述的一种自适应的图像引擎色彩优化方法的步骤。[0058] 本发明公开了一种自适应的图像引擎色彩优化方法、系统及存储介质，采用全卷积神经网络融合了多种图像优化算法，可以替代多种独立算法组合而成的传统算法。同时，使用退化算法处理高质量图像这一方式构建数据集，加入NIMA模型，对已经初步完成构建的图像对进行评分，并调整图像对的标签，在一定程度上优化了数据集，并且基于卷积神经网络的色彩优化算法能够收集图像的特征信息，自动做出适合图像的优化。附图说明[0059] 图1示出了本发明一种自适应的图像引擎色彩优化方法的流程图；[0060] 图2示出了本发明一种自适应的图像引擎色彩优化系统的框图。具体实施方式[0061] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。[0062] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。[0063] 图1示出了本发明一种自适应的图像引擎色彩优化方法的流程图。[0064] 如图1所示，本发明第一方面提供了一种自适应的图像引擎色彩优化方法，包括：[0065] S102，从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集；[0066] S104，通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整生成最终数据集；[0067] S106，基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，通过所述图像引擎色彩优化模型实现图像色彩优化。[0068] 需要说明的是，所述的从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集，具体为：[0069] 从AVA数据集中获取数据集中的目标图像，并创建目标图像的副本，得到第一图像对；[0070] 分别对第一图像对中的图像使用幂律变换，将一张图像的亮度提升，另一张图像的亮度降低，得到第二图像对，所述幂律变换的表达式为：[0071] S(r)＝crγ[0072] 其中，S(r)表示图像的幂律变换后的灰度输出值，r表示图像的灰度输入值，c和γ为常数，c取1，通过将幂律变换后的图像与日常生活中的低质量图像进行对比，当γ分别取0.8和1.3时，变换图像的亮度特征与低质量图像的较为相符；[0073] 分别对所述第二图像对中的图像添加高斯：，得到第三图像对，所述高斯：谋泶锸轿：[0074][0075] 其中，G表示高斯分布函数，x,y分别表示图像中像素点的坐标信息，n表示：刖，取值为5，δ表示正态分布的标准偏差，取值为1；[0076] 分别对所述第三图像对中的图像添加高斯噪声，得到第四图像对，所述高斯噪声的表达式为：[0077][0078] 其中，P表示高斯函数，z表示图像灰度值，表示图像灰度值的平均值，σ表示图像2 2灰度值的标准差，σ表示标准差的方差；此处 取0，σ取0.001，以此来对图像添加轻微的噪声，避免将模型建模为图像去噪模型。[0079] 将所述第四图像对中的图像分别和目标图像组成一组图像对，构成初始数据集。[0080] 需要说明的是，上述构建数据集的过程默认所用算法对图像添加了失真，但上述算法并不一定导致图像质量下降，为保证参考图像的图像质量优于输入图像；所述的通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整，具体为：[0081] 通过MobileNet架构构建NIMA模型，并通过AVA数据集训练所述NIMA模型，根据训练后的NIMA模型搭建图像质量预测器；将初始数据集中的原始图像与目标图像输入图像质量预测器，使用图像质量预测器对输入图像进行评分；根据评分对初始数据集中的图像进行调整，保证参考图像的图像质量优于输入图像；若目标图像评分高于原始图像，则将目标图像设置为参考图像，将原始图像设置为输入图像；若目标图像评分低于原始图像，则将目标图像设置为输入图像，将原始图像设置为参考图像；根据调整后的目标图像及原始图像生成最终数据集。其中，所述AVA数据集是现有的最大的美学数据集，含有超过25万幅图像，每张图的标注数量都很大，并且AVA数据集中极端标注分数的占比量。虼丝赡茉斐傻钠钚跃突岷苄。硗，标注者除了专业的图像评估工作人员，还包括了摄影师以及摄影爱好者，使得标注结果更具普适性。[0082] 需要说明的是，所述的基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，具体为：[0083] 基于全卷积神经网络构建图像引擎色彩优化模型；[0084] 根据所述最终数据集随机获取样本数据，根据所述样本数据构成样本数据集，将所述样本数据集中90％的样本数据作为训练集，10％的样本数据进行验证集；[0085] 训练基于Tensorflow框架，采用Adam优化器，初始学习率0.0001，10个epoch后学习率降低为0.00001，将训练集输入全卷积神经网络，训练至损失函数平稳；[0086] 通过所述验证集对训练后图像引擎色彩优化模型进行测试，当输出图像的优化效果达到预设标准时，则保存模型参数并输出图像引擎色彩优化模型。[0087] 需要说明的是，所述全卷积神经模型包括9个卷积层，前八层卷积核的大小均为3×3，每层卷积层的激活函数均为LReLU，从第二层开始采用空洞卷积，第二，三，四，五，六，七层的扩张率分别为2，4，8，16，32，64，第一层和第八层的为普通卷积层，第九层为卷积核大小为1×1的普通卷积层，第九层不使用激活函数，激活函数公式具体为：[0088][0089] 其中，LReLU(x)表示激活函数，α＝0.2；[0090] 在激活层之后加入归一化，归一化公式具体为：[0091] ψs(x)＝λsx+μsBN(x)[0092] 其中，ψs(x)表示归一化操作，λs和μs是通过反向传播与其他参数一起学习到的两个标量，BN(x)表示批标准化操作；[0093] 所述图像引擎色彩优化模型的损失函数L(w,b)采用L2损失函数，具体为：[0094][0095] 其中，L(w,b)表示损失函数，Ii表示输入图像，Ni表示输入图像的像素个数，n表示图像总数，f(Ii)表示目标图像，w和b表示全卷积神经网络待训练的权重， 表示输出图像。[0096] 图2示出了本发明一种自适应的图像引擎色彩优化系统的框图。[0097] 本发明第二方面还提供了一种自适应的图像引擎色彩优化系统2，该系统包括：存储器21、处理器22，所述存储器中包括一种自适应的图像引擎色彩优化方法程序，所述一种自适应的图像引擎色彩优化方法程序被所述处理器执行时实现如下步骤：[0098] 从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集；[0099] 通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整生成最终数据集；[0100] 基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，通过所述图像引擎色彩优化模型实现图像色彩优化。[0101] 需要说明的是，所述的从AVA数据集中获取数据集中的目标图像，对所述目标图像使用退化算法得到原始图像，将原始图像和对应的目标图像组合成图像对构建初始数据集，具体为：[0102] 从AVA数据集中获取数据集中的目标图像，并创建目标图像的副本，得到第一图像对；[0103] 分别对第一图像对中的图像使用幂律变换，将一张图像的亮度提升，另一张图像的亮度降低，得到第二图像对，所述幂律变换的表达式为：[0104] S(r)＝crγ[0105] 其中，S(r)表示图像的幂律变换后的灰度输出值，r表示图像的灰度输入值，c和γ为常数，c取1，通过将幂律变换后的图像与日常生活中的低质量图像进行对比，当γ分别取0.8和1.3时，变换图像的亮度特征与低质量图像的较为相符；[0106] 分别对所述第二图像对中的图像添加高斯：，得到第三图像对，所述高斯：谋泶锸轿：[0107][0108] 其中，G表示高斯分布函数，x,y分别表示图像中像素点的坐标信息，n表示：刖，取值为5，δ表示正态分布的标准偏差，取值为1；[0109] 分别对所述第三图像对中的图像添加高斯噪声，得到第四图像对，所述高斯噪声的表达式为：[0110][0111] 其中，P表示高斯函数，z表示图像灰度值，表示图像灰度值的平均值，σ表示图像2 2灰度值的标准差，σ表示标准差的方差；此处 取0，σ取0.001，以此来对图像添加轻微的噪声，避免将模型建模为图像去噪模型。[0112] 将所述第四图像对中的图像分别和目标图像组成一组图像对，构成初始数据集。[0113] 需要说明的是，上述构建数据集的过程默认所用算法对图像添加了失真，但上述算法并不一定导致图像质量下降，为保证参考图像的图像质量优于输入图像；所述的通过NIMA模型分别对初始数据集中的目标图像及原始图像进行评分，根据评分对初始数据集进行调整，具体为：[0114] 通过MobileNet架构构建NIMA模型，并通过AVA数据集训练所述NIMA模型，根据训练后的NIMA模型搭建图像质量预测器；将初始数据集中的原始图像与目标图像输入图像质量预测器，使用图像质量预测器对输入图像进行评分；根据评分对初始数据集中的图像进行调整，保证参考图像的图像质量优于输入图像；若目标图像评分高于原始图像，则将目标图像设置为参考图像，将原始图像设置为输入图像；若目标图像评分低于原始图像，则将目标图像设置为输入图像，将原始图像设置为参考图像；根据调整后的目标图像及原始图像生成最终数据集。其中，所述AVA数据集是现有的最大的美学数据集，含有超过25万幅图像，每张图的标注数量都很大，并且AVA数据集中极端标注分数的占比量。虼丝赡茉斐傻钠钚跃突岷苄。硗，标注者除了专业的图像评估工作人员，还包括了摄影师以及摄影爱好者，使得标注结果更具普适性。[0115] 需要说明的是，所述的基于全卷积神经网络构建图像引擎色彩优化模型，将所述最终数据集输入图像引擎色彩优化模型进行训练，具体为：[0116] 基于全卷积神经网络构建图像引擎色彩优化模型；[0117] 根据所述最终数据集随机获取样本数据，根据所述样本数据构成样本数据集，将所述样本数据集中90％的样本数据作为训练集，10％的样本数据进行验证集；[0118] 训练基于Tensorflow框架，采用Adam优化器，初始学习率0.0001，10个epoch后学习率降低为0.00001，将训练集输入全卷积神经网络，训练至损失函数平稳；[0119] 通过所述验证集对训练后图像引擎色彩优化模型进行测试，当输出图像的优化效果达到预设标准时，则保存模型参数输出图像引擎色彩优化模型。[0120] 需要说明的是，所述全卷积神经模型包括9个卷积层，前八层卷积核的大小均为3×3，每层卷积层的激活函数均为LReLU，从第二层开始采用空洞卷积，第二，三，四，五，六，七层的扩张率分别为2，4，8，16，32，64，第一层和第八层的为普通卷积层，第九层为卷积核大小为1×1的普通卷积层，第九层不使用激活函数，激活函数公式具体为：[0121][0122] 其中，LReLU(x)表示激活函数，α＝0.2；[0123] 在激活层之后加入归一化，归一化公式具体为：[0124] ψs(x)＝λsx+μsBN(x)[0125] 其中，ψs(x)表示归一化操作，λs和μs是通过反向传播与其他参数一起学习到的两个标量，BN(x)表示批标准化操作；[0126] 所述图像引擎色彩优化模型的损失函数L(w,b)采用L2损失函数，具体为：[0127][0128] 其中，L(w,b)表示损失函数，Ii表示输入图像，Ni表示输入图像的像素个数，n表示图像总数，f(Ii)表示目标图像，w和b表示全卷积神经网络待训练的权重， 表示输出图像。[0129] 本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种自适应的图像引擎色彩优化方法程序，所述一种自适应的图像引擎色彩优化方法程序被处理器执行时，实现如上述任一项所述的一种自适应的图像引擎色彩优化方法的步骤。[0130] 本发明公开了一种自适应的图像引擎色彩优化方法、系统及存储介质，采用全卷积神经网络融合了多种图像优化算法，可以替代多种独立算法组合而成的传统算法。同时，使用退化算法处理高质量图像这一方式构建数据集，加入NIMA模型，对已经初步完成构建的图像对进行评分，并调整图像对的标签，在一定程度上优化了数据集，并且基于卷积神经网络的色彩优化算法能够收集图像的特征信息，自动做出适合图像的优化。[0131] 在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。[0132] 上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。[0133] 另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。[0134] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read?OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。[0135] 或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。[0136] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

专利地区：江苏

专利申请日期：2022-04-07

专利公开日期：2024-11-29

专利公告号：CN114742922B