开云优惠体育网页版入口

专利名称：结合空间聚合注意力的多层子网多任务图像修复方法

专利类型：发明专利

专利申请号：CN202410128501.1

专利申请（专利权）人：青海师范大学
权利人地址：青海省西宁市城西区五四西路38号

专利发明（设计）人：彭春燕,赵雪雅

专利摘要：本发明公开了一种结合空间聚合注意力的多层子网多任务图像修复方法，包括：选择带有雨痕或噪声或裂纹的图像；输入图片同时通过顶层子网、中层子网、底层子网，并以自引导方式逐层利用低分辨率的语义信息指导高分辨率的特征学习以实现多任务图像修复；再将特征融合机制FFM以及改进的编码?解码器结构与多阶段网络相连接以满足丰富语义信息和提高空间准确度的需求；在每一阶段设置空间聚合注意力模块SAAM，动态选择多规模卷积生成的互补特征集合，建立紧密空间像素联系用于填充未知区域。

主权利要求：
1.一种结合空间聚合注意力的多层子网多任务图像修复方法，其特征在于，包括以下步骤：
步骤1、选择带有雨痕或噪声或裂纹的图像；
步骤2、输入图像同时通过顶层子网、中层子网、底层子网，并以下采样自引导方式逐层利用低分辨率的语义信息指导高分辨率的特征学习以实现多任务图像修复；
步骤3、再将特征融合机制FFM以及改进的编码?解码器结构与多层子网架构相连接以满足丰富语义信息和提高空间准确度的需求；
在步骤3中，改进的编码?解码器结构采用端到端的训练方式，将改进的编码?解码器结构应用到多层子网架构设计中，并在其底部添加4个扩张卷积残差模块以增加网络模型感受野和非线性表示能力；并根据不同分支规模，将改进的编码?解码器结构编码层数调整为第一分支2层，第二分支3层，第三分支4层，将池化层修改为降采样卷积层以充分利用每一个像素精确提取特征，将转置卷积设置为双线性上采样从而避免棋盘伪影；第四分支不采用编码?解码器结构；
将改进的编码?解码器结构应用到多层子网架构设计中具体包括：
多层子网架构的第一分支处于四分支中的顶层，称为顶层子网；第二、三分支处于四个分支的中间两层，称为中层子网；第四分支处于四分支中的底层，称为底层子网；运用顶层子网语义渐进式指导高尺度卷积层的恢复；中层子网使用shuffle×2操作提升顶层输出图像分辨率，再将得到的图像接入到中层子网早期阶段；在底层子网中取消下采样操作，仅在原始分辨率图像上执行；
步骤4、在前三个分支设置空间聚合注意力模块SAAM，动态选择多规模卷积生成的互补特征集合，建立紧密空间像素联系用于填充未知区域。
2.根据权利要求1所述的结合空间聚合注意力的多层子网多任务图像修复方法，其特征在于，在步骤2中，顶层子网低空间分辨率用于生成强语义特征表示，且将退化信息从真实信号中分离出来，以及将获取的真实信息融合到下一层卷积结构；中层子网继承源于顶层子网的引导特征，使用shuffle×2操作提升顶层输出图像分辨率，再将得到的图像接入到中层子网早期阶段；在底层子网中设置高分辨率单尺度结构代替常用的下采样操作，即仅在原始分辨率图像上执行。
3.根据权利要求2所述的结合空间聚合注意力的多层子网多任务图像修复方法，其特征在于，所述底层子网采用了6个基于ResNet网络的残差模块对联合特征进一步处理，模块中包含卷积层，池化层及激活层，最后使用残差连接将输入特征与卷积层的输出相加，避免了信息的丢失和变形。
4.根据权利要求1所述的结合空间聚合注意力的多层子网多任务图像修复方法，其特征在于，在步骤3中，在两个编码?解码器之间及编码?解码器与底层子网之间引入所述特征融合机制；在跨阶段特征进行聚合之前，使用1×1的卷积核对其进行细化。
5.根据权利要求1所述的结合空间聚合注意力的多层子网多任务图像修复方法，其特征在于，在步骤4中，所述空间聚合注意力模块用于模拟通道注意力的隐藏层，使用相同的缩减比减少特征图通道；并行三种不同规模卷积运算以实现不同级别的空间信息聚合，再通过自适应权重调整模块动态地从每个分支中选择有用的特征集，最终实现三种特征之间的相互作用和补充。 说明书 : 结合空间聚合注意力的多层子网多任务图像修复方法技术领域[0001] 本发明涉及图像修复技术领域，特别是一种结合空间聚合注意力的多层子网多任务图像修复方法。背景技术[0002] 图像去噪是经典的图像处理问题之一，专业人员研究了各种图像去噪算法，具体分为两类，其一是传统去噪方法，比如均值滤波通过计算周围邻域平均值作为像素值以平滑图像，但其邻域相似性会导致图像细节：，小波去噪将噪声图像分解为不同频率子带，通过阈值差异分离噪声，此方法能同时保留图像细节并去除噪声，但阈值函数的选择直接影响到去噪效果，不当的选择结果会使图像中出现伪影缺陷。其二是基于卷积神经网络的[13]去噪方法，比如ZhangK等人提出的DnCNN 采用独特的残差模式，经过卷积、归一化(BN)、激活(RELU)等操作训练生成纯噪声图像，再将污染图像减去生成的噪声图像得到理想干净图像，用残差学习引入均方误差(ME)损失函数约束生成图像与原始噪声的差异，实验表明这种残差学习模式能提高训练的稳定性和去噪效果，但灵活性不足，只在特定噪声水平范[2]围内有效，且难以泛化到真实噪声图像。ZhangK等人提出的FFDNet 模型摒弃了传统的对抗训练，设计了灵活卷积核以处理非均匀噪声级图像，但FFDNet仅能实现高斯噪声的优化，难以去除椒盐、泊松等类型噪声。[0003] 现有去雨任务主要应用于单幅图像或连续视频，基于视频的方法能通过序列帧之间的冗余信息高效填充雨痕。相比而言，单幅图像去雨任务更具有挑战性，经典方法认为此任务是一种图层分解问题，比如文献[3]将输入图像分解为雨痕层和背景层，使用高斯混合模型对二者施加先验约束，其中背景条纹恢复步骤(BSR)能进一步提高分离质量，因此可以适应不同方向、大小、尺寸的雨痕。文献[4]开发了一组卷积低秩滤波器以分离清晰背景图[5]像与雨条纹图像。最近，基于卷积神经网络的去雨方法取得了良好性能，SenDeng 等人提出了细节恢复去雨网络(DRD?Net)，优势在于引入了两个具有综合损失函数的子网络，两者[6]协同运作可以有效改善现有去雨任务常见的图像细节丢失问题。ZhendongWang 等人提出了改进的U型Transformer模型(Uformer)用于图像去雨，解决了传统Transformer难以建立图像长距离依赖的问题，具有融合图像全局和局部信息的能力，但Uformer对整体图像进行自注意力运算会导致计算复杂度变高，并不适用于低算力平台。[0004] 图像去裂纹是旧照片修复的子任务，裂纹通常伴随着褪色等多种缺陷存在于旧照片中，目前尚未存在针对图像去裂纹算法的独立研究，因此暂无可用公开裂纹数据集。图像填充数据集与裂纹较为相似，但前者掩码是通过正方形补丁无规则运动实现，这种人工生[7]成的数据集缺损区域过大、边缘僵硬，远不符合真实老照片划痕。刘继鑫等人 设计了具有参考先验与生成先验的生成对抗模型，使用空间多特征变换条件注意力模块将参考特征、生成特征与待修复特征进一步融合，即借助参考图像深层结构特征辅助带裂纹图像的修复[8]过程，其生成图像保真度高，有效修复了旧照片中存在的退化问题。ZiyuWan等人 设计了一种新型三域翻译网络，设置两个变分自编码器学习合成配对数据集隐空间的函数关系，这种关系能有效推广到真实旧照片的修复。[0005] 去噪：ShuhangGu等人提出了SGN[9]，使用3种分辨率的卷积运算，以自引导形式解决图像去噪问题，且具有轻量化的特点。ZhangK等人提出的FFDNet[2]模型摒弃了传统的对抗训练，设计了灵活卷积核以处理非均匀噪声级图像。[0006] 去雨：ZhendongWang等人[6]提出了改进的U型Transformer模型(Uformer)用于图像去雨，解决了传统Transformer难以建立图像长距离依赖的问题，具有融合图像全局和局[10]部信息的能力。YunGuo等人 提出一种双阶段框架用于图像去雨，第一阶段利用基于视频去雨中低秩矩阵方法生成伪图像，第二阶段使用Uformer框架对真实雨图像数据集预训练，最后在伪图像上进行微调以增强去雨效果。[0007] 去裂纹：RunshengXu等人设计了Pix?Fix[11]网络，分别设计了着色子网、相似子[12]网和恢复子网三个子网实现旧照片的修复和着色。孙龙建等人 在ZiyuWan提出网络基础上进行了改进，即将原来的残差块替换为带有多通道注意力的密集残差块，最后结合面部增强网络以提升修复效果。[0008] 图像修复是指将低级受损图片恢复原样的一种图像处理技术，经常被用于军事、医疗、考古、自动驾驶等领域。现实中，图像在采集过程中，受设备限制与恶劣气候的影响常存在噪声、失真、雨痕等退化问题。早期，专业技术人员通常凭借经验修复受损图像，然而这种手工方法不仅效率低下且难度较大。最近，基于卷积神经网络[13](ConvolutionalNeuralNetworks，CNN)模型在图像处理任务中取得了重大突破，该类方法通常通过针对性地学习图像域间映射关系，实现图像修复或图像增强。CNN模型通常采用如下两种架构：(1)编码器?解码器，(2)高分辨率单尺度。编码?解码器[14?18]模型将输入图像映射到低分辨率表示，再将特征表示反向映射到原始尺寸，虽然此结构低分辨率语义信息表现良好，但反复改变图像尺寸不利于稳定空间细节。高分辨率单尺度模型[19?21]不使用下采样操作，但能够提供可靠纹理细节，然而其有限感受野导致这些网络在编码语义方面效率低下。以上两种结构在图像修复任务中缺一不可，如果简单将编码器?解码器与高分辨率单尺度串联或并联会产生次优结果，因此找到一种能够充分发挥两种模型优势的组合方式至关重要。[0009] [1]ZhangK.,Zuo,W.,Chen,Y.,Meng,D.,&Zhang,L.(2017b).BeyondaGaussiandenoiser:ResiduallearningofdeepCNNforimagedenoising.IEEETransactionsonImageProcessing,26(7),3142–3155.https://doi.org/10.1109/tip.2017.2662206[0010] [2]ZhangK.,Zuo,W.,&Zhang,L.(2018).FFDNET:TowardafastandFlexiblesolutionforCNN?Basedimagedenoising.IEEETransactionsonImageProcessing,27(9),4608–4622.https://doi.org/10.1109/tip.2018.2839891[0011] [3]Li,Y.,Tan,R.T.,&Guo,X.(2016).RainStreakRemovalUsingLayerPriors.CVPR.https://doi.org/10.1109/cvpr.2016.299[0012] [4]Hu,X.,Fu,C.,&Zhu,L.(2019).Depth?AttentionalFeaturesforSingle?ImageRainRemoval.CVPR.https://doi.org/10.1109/cvpr.2019.00821[0013] [5]Deng,S.,Wei,M.,Wang,J.,Liang,L.,Xie,H.,&Wang,M.(2019b).DRD?Net:Detail?recoveryimagederainingviacontextAggregationnetworks.arXiv(CornellUniversity).http://export.arxiv.org/pdf/1908.10267[0014] [6]Wang,Z.,Cun,X.,Bao,J.,Zhou,W.,Liu,J.,&Li,H.(2022).UFormer:ageneralU?Shapedtransformerforimagerestoration.2022IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR).https://doi.org/10.1109/cvpr52688.2022.01716[0015] [7]刘继鑫,陈瑞,安仕鹏.融合参考先验与生成先验的老照片修复[J].中国图象图形学报,2022,27(05):1657?1668.[0016] [8]Wan,Z.,Zhang,B.,&Chen,D.(2020).BringingOldPhotosBacktoLife.CVPR.https://doi.org/10.1109/cvpr42600.2020.00282[0017] [9]Gu,S.,Li,Y.,&VanGool,L.(2019).Self?GuidedNetworkforFastImageDenoising.ICCV.https://doi.org/10.1109/iccv.2019.00260[0018] [10]YunGuo,XueyaoXiao,XiaoxiongWang,etal.ATwo?StageRealImageDerainingMethodforGT?RAINChallengeCVPR2023WorkshopUG2+Track3.IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR),2023[0019] [11]XuRS,TuZZ,DuYQ,etal.Pik?Fix:RestoringandColorizingOldPhoto.ArXiv:ComputerVisionandPatternRecognition,2022[0020] [12]孙龙建.基于深度学习的老照片修复算法研究.华中师范大学,2023.[0021] [13]LeCun,Y.,Bottou,L.,Bengio,Y.,&Haffner,P.(1998).Gradient?basedlearningappliedtodocumentrecognition.ProceedingsoftheIEEE,86(11),2278–2324.https://doi.org/10.1109/5.726791[0022] [14]QuanW,ZhangR,ZhangY,etal.ImageInpaintingWithLocalandGlobalRefinement.IEEETransactionsonImageProcessing,2022,31:2405–2420[0023] [15]ZengY,LinZ,LuHC.CR?Fill:GenerativeImageInpaintingwithAuxiliaryContexutalReconstruction.ArXiv:ComputerVisionandPatternRecognition,2020[0024] [16]ZhengC,ChamTJ,CaiJ,etal.BridgingGlobalContextInteractionsforHigh?FidelityImageCompletion.IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR),2022[0025] [17]XinqiLin,JingwenHe,ZiyanChen，etal.DiffBIR:TowardsBlindImageRestorationwithGenerativeDiffusionPrior.ComputerScience:ComputerVisionandPatternRecognition.2023[0026] [18]LiangyuChen,XiaojieChu,XiangyuZhang,etal.NAFNet:NonlinearActivationFreeNetworkforImageRestoration,EuropeanConferenceonComputerVision,2022[0027] [19]WangJ,SunK,ChengT,etal.DeepHigh?ResolutionRepresentationLearningforVisualRecognition.IEEETransactionsonPatternAnalysisandMachineIntelligence,2021,43(10):3349–3364[0028] [20]YuanhaoCai,HaoBian,JingLin,etal.Retinexformer:One?stageRetinex?based TransformerforLow?lightImage Enhancement.arXiv:2303.06705.2023[0029] [21]ZhangY,TianY,KongY,etal.ResidualDenseNetworkforImageRestoration.IEEETransactionsonPatternAnalysisandMachineIntelligence,2021,43(7):2480–2495发明内容[0030] 为解决现有技术中存在的问题，本发明的目的是提供一种结合空间聚合注意力的多层子网多任务图像修复方法。[0031] 为实现上述目的，本发明采用的技术方案是：一种结合空间聚合注意力的多层子网多任务图像修复方法，包括以下步骤：[0032] 步骤1、选择带有雨痕或噪声或裂纹的图像；[0033] 步骤2、输入图片同时通过顶层子网、中层子网、底层子网，并以自引导方式逐层利用低分辨率的语义信息指导高分辨率的特征学习以实现多任务图像修复；[0034] 步骤3、再将特征融合机制FFM以及改进的编码?解码器结构与多阶段网络相连接以满足丰富语义信息和提高空间准确度的需求；[0035] 步骤4、在每一阶段设置空间聚合注意力模块SAAM，动态选择多规模卷积生成的互补特征集合，建立紧密空间像素联系用于填充未知区域。[0036] 作为本发明的进一步改进，在步骤2中，顶层子网低空间分辨率用于生成强语义特征表示，且将退化信息从真实信号中分离出来，以及将将获取的真实信息融合到下一层卷积结构；中层子网继承源于顶层子网的引导特征，使用shuffle×2操作提升顶层输出图像分辨率，再将得到的图像接入到中层子网早期阶段；在底层子网中取消下采样操作，仅在原始分辨率图像上执行。[0037] 作为本发明的进一步改进，所述底层子网采用了6个基于ResNet网络的残差模块对联合特征进一步处理，模块中包含卷积层，池化层及激活层，最后使用残差连接将输入特征与卷积层的输出相加，避免了信息的丢失和变形。[0038] 作为本发明的进一步改进，在步骤3中，改进的编码?解码器结构采用端到端的训练方式，将改进的编码?解码器结构应用到多层子网架构设计中，并在其底部添加4个扩张卷积残差模块以增加网络模型感受野和非线性表示能力；并根据不同阶段规模，将改进的编码?解码器结构编码层数调整为第一阶段2层，第二阶段3层，第三阶段4层，将池化层修改为降采样卷积层以充分利用每一个像素精确提取特征，将转置卷积设置为双线性上采样从而避免棋盘伪影。[0039] 作为本发明的进一步改进，在步骤3中，在两个编码?解码器之间及编码?解码器与底层子网之间引入所述特征融合机制；在跨阶段特征进行聚合之前，使用1×1的卷积核对其进行细化。[0040] 作为本发明的进一步改进，在步骤4中，所述空间聚合注意力模块用于模拟通道注意力的隐藏层，使用相同的缩减比减少特征图通道；并行三种不同规模卷积运算以实现不同级别的空间信息聚合，再通过自适应权重调整模块动态地从每个分支中选择有用的特征集，最终实现三种特征之间的相互作用和补充。[0041] 本发明的有益效果是：[0042] 本发明在去雨、去噪、去裂纹等任务上，所有指标评估结果均优于对照组，具有更好的复杂退化修复能力，修复的细节更加丰富，得到的图像更加真实，此外，在修复真实旧照片和真实壁画图像方面同样表现出良好的性能，可以去除图像中明显的裂纹瑕疵，还具有修复椒盐噪声的能力，具有一定泛化性能。附图说明[0043] 图1为本发明实施例的整体框架示意图；[0044] 图2为本发明实施例中修复网络中特征融合机制(FFM,FeatureFusionModule)的内部结构示意图；[0045] 图3为本发明实施例中修复网络中编码?解码器的内部结构示意图；[0046] 图4为本发明实施例中修复网络中空间聚合注意力模块(SAAM,Spatialaggregationattentionmechanism)的内部结构示意图；[0047] 图5为本发明实施例中修复网络中权重调整模块(AWAM,AdaptiveWeightAdjustmentModule)的内部结构示意图；[0048] 图6为本发明实施例中SIDD数据集的实验结果示意图；[0049] 图7为本发明实施例中Rain200H数据集的实验结果示意图；[0050] 图8为本发明实施例中裂纹数据集结合CelebA人脸数据集的实验结果示意图；[0051] 图9为本发明实施例中包含CelebA人脸数据集和Landscape风景数据集的椒盐噪声去除结果示意图；[0052] 图10为本发明实施例中唐卡数据集的实验结果示意图；[0053] 图11为本发明实施例中破损壁画修复可视化结果示意图；[0054] 图12为本发明实施例中SIDD数据集可视化对比结果示意图；[0055] 图13为本发明实施例中Rain200L验证集结果可视化对比示意图；[0056] 图14为本发明实施例中Landscape数据集去噪可视化结果示意图；[0057] 图15为本发明实施例中唐卡数据集去裂纹可视化结果示意图；[0058] 图16为本发明实施例中真实旧照片修复结果示意图。具体实施方式[0059] 下面结合附图对本发明的实施例进行详细说明。[0060] 实施例[0061] 如图1所示，一种结合空间聚合注意力的多层子网多任务图像修复方法，包括：[0062] 步骤1：选择带有雨痕或噪声或裂纹的图像；[0063] 步骤2：输入图片同时通过顶层子网、中层子网、底层子网，并以自引导方式逐层利用低分辨率的语义信息指导高分辨率的特征学习以实现多任务图像修复；[0064] 步骤3：再将提出的特征融合机制(FFM)以及改进的编码?解码器结构与多阶段网络相连接以满足丰富语义信息和提高空间准确度的需求。[0065] 步骤4：在每一阶段设置空间聚合注意力模块(SAAM)，能动态选择多规模卷积生成的互补特征集合，建立紧密空间像素联系以高效填充未知区域，生成更优秀的结果。[0066] 顶层子网：此网络核心思想是运用顶层子网(TopSubnet)语义渐进式指导高尺度卷积层的恢复。顶层子网低空间分辨率不仅能生成强语义特征表示，而且能将退化信息从真实信号中分离出来，然后将获取的真实信息融合到下一层卷积结构。[0067] 中层子网：中层子网(MiddleSubnet)组成结构与顶层子网相似，均包含残差、编码?解码器和SAAM等模块。区别在于中层子网需要继承源于顶层子网的引导特征。本实施例使用shuffle×2操作提升顶层输出图像分辨率，再将得到的图像接入到中层子网早期阶段，这种特征引入方式有助于实现去噪等修复任务精度与速度之间的权衡。[0068] 底层子网：图像修复的过程需要保持空间精确的高分辨率，现存单尺度通道模型在生成具有丰富细节图像方面表现可靠，但架构设计的固有局限性导致该方法难以同时具备出色的语义理解能力。为保证端到端的细节稳定，本实施例在该模型的底层子网(BottomSubnet)中取消下采样操作，仅在原始分辨率图像上执行。具体而言，本实施例采用了6个基于ResNet网络的残差模块(ResidualModule，RSM)对联合特征进一步处理，模块中包含卷积层，池化层及激活层，最后使用残差连接将输入特征与卷积层的输出相加，避免了信息的丢失和变形。[0069] 编码解码器模块：其背部结构如图3所述，U?net结构采用端到端的训练方式，具有较强的可扩展性，适用于多种图像转换任务。因此，本实施例将U?net应用到当前的多层子网架构设计中，并在其底部添加4个扩张卷积残差模块以增加网络模型感受野和非线性表示能力。传统U?net架构中池化层通过舍弃部分像素值以减少计算量，但会因此导致信息丢失和解码器能力受限，无法完全还原图像细节。本实施例根据不同阶段规模，将U?net编码层数调整为第一阶段2层，第二阶段3层，第三阶段4层，将池化层修改为降采样卷积层以充分利用每一个像素精确提取他们的特征，将转置卷积改为双线性上采样从而避免棋盘伪影。[0070] 空间聚合注意力机制(SAAM)：如图4所示，SAAM模拟了通道注意力的隐藏层，使用相同的缩减比减少特征图通道。这种设置可以将输入特征压缩到另一个维度空间以展现具更抽象化的特征，从而更好地进行线性划分，提取更有价值的信息。从模块局部角度看，本实施例去除了原本的最大池化操作以进一步保留特征映射。此外，为了进一步关注空间信息，这里并行了三种不同规模卷积运算以实现不同级别的空间信息聚合，再通过如图5所示的自适应权重调整模块(AdaptiveWeightAdjustmentModule，AWAM)动态地从每个分支中选择有用的特征集，最终实现三种特征之间的相互作用和补充。因此，空间聚合注意力机制能增强网络对局部细节的关注，更适用于去雨、去噪和去裂痕等图像修复任务。[0071] 特征融合机制(FFM)：如图2所示，本实施例在两个编码?解码器之间及编码?解码器与底层子网之间引入了特征融合机制(FFM)，图2中，左侧为编码?解码器之间的连接，右侧为底层与编码?解码器之间的连接，模型基于相同规模的特征图进行传输。在跨阶段特征进行聚合之前，使用1×1的卷积核对其进行细化。这种传输机制不仅有利于跨层信息的稳定传输，还能在自引导结构的基础上，再次为下一阶段编码?解码结构提供更深层次语义指导。最后，FFM的引入增加了信息流向的多选择性，从而加快了网络的优化过程。[0072] 下面对本实施例作进一步说明：[0073] 其一，如图6和图7所示，本实施例在SIDD和Rain200H公开数据集数据集验证了模型在去噪和去雨方面的有效性；[0074] 其二，本实施例构建了6000张裂纹图像数据集用于验证图像去裂纹任务，这些裂纹掩码可与任一公开图像数据集结合使用，具有高适应性，如图8和图10所示，本实施例分别将裂纹图像与唐卡数据集和CelebA人脸数据集结合使用；[0075] 其三，现有去噪方法的目标通常为高斯噪声，很少有方法关注椒盐噪声的去除。而本实施例能实现椒盐噪声的去除。如图9所示，并在Landscape风景数据集中添加了椒盐噪声并投入训练，以验证所提方法去除椒盐噪声的能力；[0076] 最后，如图10所示，通过对国家非物质文化遗产唐卡数据集的测试验证了提出方法的通用性；图11为破损壁画修复可视化结果示意图，从上至下依次为真实受损壁画,SAAMNet生成图像。[0077] 图12是SAAMNet与SGN，DnCNN，CBDNet三种经典模型的实验对比结果，图12中，从左到右依次为输入图像，参考图像，SGN，DnCNN，CBDNet，SAAMNet(本实施例算法)。[0078] 图13是SAAMNet与U?net，EffcientDeRain，PReNet三种经典模型的实验对比结果，图13中，从左到右依次为带雨痕图像，参考图像，U?net，EffcientDeRain，PReNet，SAAMNet。[0079] 如图14所示，为验证本算法去除椒盐噪声的能力,本实施例对Landscape数据集中的彩色图像添加椒盐噪声进行训练，图14中，从左到右依次为椒盐噪声处理的彩色图像，参考图片，生成图像。[0080] 图15是SAAMNet在唐卡数据集上的图像去裂纹结果，图15中，从上至下依次为带裂纹唐卡图像，参考图像，SAAMNet生成图像。[0081] 如图16所示，为验证该算法在真实旧胶片图像的泛化能力，本实施例将6000张CelebA人脸数据集图像进行褪色处理，并添加裂纹掩码投入模型进行训练，再将得到的权重应用于真实旧电影图像；图16中，从左到右依次为用于训练的模拟退化图像，参考图像，SAAMNet修复的模拟退化图像，真实旧照片图像，SAAMNet修复的老照片图像。[0082] 实验使用峰值信噪比(PSNR)，结构相似度(SSIM)和最新学习的感知图像补丁相似度(LPIPS)评价标准评估图像质量。[0083] 以下是图像去噪数据集(SIDD)的定量结果：[0084] 表1SIDD验证集定量评估[0085][0086] 以下是图像去雨数据集(Rain200L)的定量结果：[0087] 表2Rain200L验证集定量评估[0088][0089] 鉴于目前尚无专用于图像去裂纹的算法，所以仅展示了SAAMNet在去除裂纹方面的结果，并在表3中列出SSIM、PSNR、LPIPS度量值分数来评估生成图像的质量。其中，PSNR值最高可达38.01dB，证明本算法足以保障图像的复原质量。[0090] 表3图像去裂验证集定量评估[0091][0092] 以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

专利地区：青海

专利申请日期：2024-01-30

专利公开日期：2024-11-05

专利公告号：CN118195960B