开云优惠体育网页版入口

专利名称：一种像素级噪声校正联合去马赛克的图像处理方法及装置

专利类型：发明专利

专利申请号：CN202210676473.8

专利申请（专利权）人：海南大学,海南大学三亚研究院
权利人地址：海南省海口市人民大道58号

专利发明（设计）人：黄振立,张肇宁,王政霞,刘清华

专利摘要：本发明涉及光学工程技术领域，特别是涉及一种像素级噪声校正联合去马赛克的图像处理方法及装置，本发明通过先单独对黑白通道的像素进行读出噪声校正，基于校正后的图像，分别对图像中黑白通道和彩色通道使用基于引导图像的去马赛克方法以及线性计算生成估计图像，再通过最小化代价函数转化得到优化图像，最后对所述优化图像进行迭代计算得到预期的图像；可满足针对彩色互补金属氧化物半导体(CMOS)相机中像素级噪声特征处理和精确计算图像的需求，精确获取彩色CMOS相机中多颜色通道图像。

主权利要求：
1.一种像素级噪声校正联合去马赛克的图像处理方法，其特征在于，所述方法包括：基于彩色互补金属氧化物半导体(CMOS)相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像进行固定模式噪声(FPN)校正处理，生成第一校正图像；
基于所述第一校正图像，对所述原始图像中所有的黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像；
使用去马赛克方法，根据所述第二校正图像生成黑白预期图像；
使用基于引导图像的去马赛克方法，根据所述第一校正图像生成彩色预期图像，其中，所述引导图像为黑白预期图像。
2.根据权利要求1所述的方法，其特征在于，在所述基于彩色CMOS相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像进行固定模式噪声(FPN)校正，生成第一校正图像的步骤之前，所述方法还包括：获取预设的彩色CMOS相机的噪声图谱。
3.根据权利要求1所述的方法，其特征在于，所述基于彩色互补金属氧化物半导体(CMOS)相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像进行固定模式噪声(FPN)校正处理，生成第一校正图像的步骤，包括：基于彩色CMOS相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像的单帧图像中的每个像素的灰度值进行FPN校正处理，生成第一校正图像。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一校正图像，对所述原始图像中所有的黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像的步骤，包括：基于所述第一校正图像，提取所述原始图像中所有的黑白通道像素，生成形成采样率下降 倍的灰度图像；
通过对所述黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像。
5.根据权利要求1所述的方法，其特征在于，所述使用去马赛克方法，根据所述第二校正图像生成黑白预期图像的步骤，包括：对所述第二校正图像中的黑白通道像素，使用去马赛克方法以及线性计算，生成第一估计图像；
对所述第一估计图像进行最小化代价函数转化处理，生成第一优化图像；
对所述第一优化图像进行迭代计算，生成黑白预期图像。
6.根据权利要求1所述的方法，其特征在于，所述使用基于引导图像的去马赛克方法，根据所述第一校正图像生成彩色预期图像，其中，所述引导图像为黑白预期图像的步骤，包括：使用基于引导图像的去马赛克方法以及线性计算，根据所述第一校正图像生成第二估计图像；
对所述第二估计图像进行最小化代价函数转化处理，生成第二优化图像；
对所述第二优化图像进行迭代计算，生成彩色预期图像。
7.一种像素级噪声校正联合去马赛克的图像处理装置，其特征在于，所述装置包括：第一校正模块，用于基于彩色互补金属氧化物半导体(CMOS)相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像进行固定模式噪声(FPN)校正处理，生成第一校正图像；
第二校正模块，用于基于所述第一校正图像，对所述原始图像中所有的黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像；
初步生成模块，用于使用去马赛克方法，根据所述第二校正图像生成黑白预期图像；
最终生成模块，用于使用基于引导图像的去马赛克方法，根据所述第一校正图像生成彩色预期图像，其中，所述引导图像为黑白预期图像。
8.根据权利要求7所述的装置，其特征在于，
所述第一校正模块，具体包括，第一校正子模块和第二校正子模块；
所述第一校正子模块用于基于所述第一校正图像，提取所述原始图像中所有的黑白通道像素，生成形成采样率下降 倍的灰度图像；
所述第二校正子模块用于通过对所述黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像。
9.根据权利要求7所述的装置，其特征在于，
所述初步生成模块，具体包括第一初步生成子模块、第二初步生成子模块和第三初步生成子模块；
所述第一初步生成子模块用于对所述第二校正图像中的黑白通道像素，使用去马赛克方法以及线性计算，生成第一估计图像；
所述第二初步生成子模块用于对所述第一估计图像进行最小化代价函数转化处理，生成第一优化图像；
所述第三初步生成子模块用于对所述第一优化图像进行迭代计算，生成黑白预期图像。
10.根据权利要求7所述的装置，其特征在于，
所述最终生成模块，具体包括，第一最终生成子模块、第二最终生成子模块和第三最终生成子模块；
所述第一最终生成子模块用于使用基于引导图像的去马赛克方法以及线性计算，根据所述第一校正图像生成第二估计图像；
所述第二最终生成子模块用于对所述第二估计图像进行最小化代价函数转化处理，生成第二优化图像；
所述第三最终生成子模块用于对所述第二优化图像进行迭代计算，生成彩色预期图像。 说明书 : 一种像素级噪声校正联合去马赛克的图像处理方法及装置技术领域[0001] 本发明涉及光学工程技术领域，具体而言，涉及一种像素级噪声校正联合去马赛克的图像处理方法及装置。背景技术[0002] 彩色互补金属氧化物半导体(ComplementaryMetalOxideSemiconductor，CMOS)相机是显微成像中常用的一类图像探测器，尤其是生物荧光成像领域。它通过滤色片阵面调制相机，使不同像素受不同颜色光响应不同，从而实现单探测器同时捕捉强度及光谱信息，使多色显微成像简洁而方便。[0003] 在彩色CMOS相机图像处理过程中，通常需要使用去马赛克计算方法，以获得多颜色通道图像，而后可用于多色图像显示或其它需求。D.Kiku等人曾在《BeyondColorDifference:ResidualInterpolationforColorImageDemosaicking》通过对相同颜色通道预估图像与实际图像的残差进行插值计算，提出残差插值法(RI，ResidualInterpolation)，是一种基于引导图像的去马赛克方法，CN112104847的专利在此基础上提出了一种基于残差和高频替换的基于引导图像的去马赛克方法。然而在生物荧光成像领域，荧光信号可低至数十个光子，信号极弱，接近相机电子噪声水平。受CMOS单像素读取特征限制，彩色CMOS相机中像素与像素差异较大，即像素级噪声较大；此时由CMOS结构带来的相机噪声不均匀的问题(即像素级噪声)不可忽视，因此需要进行针对性处理。OmarA.Elgendy等人曾在《Low?LightDemosaickingandDenoisingforSmallPixelsUsingLearnedFrequencySelection》采用了噪声校正与去马赛克的结合对图像进行处理，但未针对像素级噪声进行处理。[0004] 部分CMOS研究者发展了像素级噪声的去噪流程。其中，《sCMOSnoise?correctionalgorithmformicroscopyimages》提出了一种针对黑白CMOS相机像素级噪声校正的方法，可以精确获取黑白CMOS探测器中图像；CN108028895A的专利提出了一种有缺陷的图像传感器元件的校准方法，该方法针对相机中极为异常的像素进行噪声校正，但是极为异常的像素只是像素级噪声影响的一小部分，并不是全部；CN111044498的专利以及《Two?colorsuper?resolutionlocalizationmicroscopyviajointencodingofemitterlocationandcolor》中，基于彩色CMOS相机，针对所述彩色相机中单分子成像信号(图像中为单个点状的成像信号)进行单分子模型拟合计算处理，最终目标是获得每个分子的信号强度、空间位置等信息，而不是获得精准的多颜色通道图像。[0005] 综上，彩色CMOS相机如何获取精准的多颜色通道图像，仍是尚待解决的问题。发明内容[0006] 本发明提供一种像素级噪声校正联合去马赛克的图像处理方法及装置，用以克服现有技术中存在的至少一个技术问题。[0007] 根据本发明实施例的第一方面，提供一种像素级噪声校正联合去马赛克的图像处理方法，所述方法包括：基于彩色互补金属氧化物半导体(CMOS)相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像进行固定模式噪声(FPN)校正处理，生成第一校正图像；基于所述第一校正图像，对所述原始图像中所有的黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像；使用去马赛克方法，根据所述第二校正图像生成黑白预期图像；使用基于引导图像的去马赛克方法，根据所述第一校正图像生成彩色预期图像，其中，所述引导图像为黑白预期图像。[0008] 可选的，在所述基于彩色CMOS相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像进行固定模式噪声(FPN)校正，生成第一校正图像的步骤之前，所述方法还包括：获取预设的彩色CMOS相机的噪声图谱。[0009] 可选的，所述基于彩色互补金属氧化物半导体(CMOS)相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像进行固定模式噪声(FPN)校正处理，生成第一校正图像的步骤，包括：基于彩色CMOS相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像的单帧图像中的每个像素的灰度值进行FPN校正处理，生成第一校正图像。[0010] 可选的，所述基于所述第一校正图像，对所述原始图像中所有的黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像的步骤，包括：基于所述第一校正图像，提取所述原始图像中所有的黑白通道像素，生成形成采样率下降 倍的灰度图像；通过对所述黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像。[0011] 可选的，所述使用去马赛克方法，根据所述第二校正图像生成黑白预期图像的步骤，包括：对所述第二校正图像中的黑白通道像素，使用去马赛克方法以及线性计算，生成第一估计图像；对所述第一估计图像进行最小化代价函数转化处理，生成第一优化图像；对所述第一优化图像进行迭代计算，生成黑白预期图像。[0012] 可选的，所述使用基于引导图像的去马赛克方法，根据所述第一校正图像生成彩色预期图像，其中，所述引导图像为黑白预期图像的步骤，包括：使用基于引导图像的去马赛克方法以及线性计算，根据所述第一校正图像生成第二估计图像；对所述第二估计图像进行最小化代价函数转化处理，生成第二优化图像；对所述第二优化图像进行迭代计算，生成彩色预期图像。[0013] 根据本发明实施例的另一方面，提供一种像素级噪声校正联合去马赛克的图像处理装置，所述装置包括：[0014] 第一校正模块，用于基于彩色互补金属氧化物半导体(CMOS)相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像进行固定模式噪声(FPN)校正处理，生成第一校正图像；[0015] 第二校正模块，用于基于所述第一校正图像，对所述原始图像中所有的黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像；[0016] 初步生成模块，用于使用去马赛克方法，根据所述第二校正图像生成黑白预期图像；[0017] 最终生成模块，用于使用基于引导图像的去马赛克方法，根据所述第一校正图像生成彩色预期图像，其中，所述引导图像为黑白预期图像。[0018] 可选的，所述第一校正模块，具体包括，第一校正子模块和第二校正子模块；[0019] 所述第一校正子模块用于基于所述第一校正图像，提取所述原始图像中所有的黑白通道像素，生成形成采样率下降 倍的灰度图像；[0020] 所述第二校正子模块用于通过对所述黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像。[0021] 可选的，所述初步生成模块，具体包括第一初步生成子模块、第二初步生成子模块和第三初步生成子模块；[0022] 所述第一初步生成子模块用于对所述第二校正图像使用去马赛克方法以及线性计算，生成第一估计图像；[0023] 所述第二初步生成子模块用于对所述第一估计图像进行最小化代价函数转化处理，生成第一优化图像；[0024] 所述第三初步生成子模块用于对所述第一优化图像进行迭代计算，生成黑白预期图像。[0025] 可选的，所述最终生成模块，具体包括，第一最终生成子模块、第二最终生成子模块和第三最终生成子模块；[0026] 所述第一最终生成子模块用于使用基于引导图像的去马赛克方法以及线性计算，根据所述第一校正图像生成第二估计图像；[0027] 所述第二最终生成子模块用于对所述第二估计图像进行最小化代价函数转化处理，生成第二优化图像；[0028] 所述第三最终生成子模块用于对所述第二优化图像进行迭代计算，生成彩色预期图像。[0029] 本发明实施例的创新点包括：[0030] 1、本发明针对彩色CMOS相机中的像素差异，分别通过对黑白通道像素和彩色通道像素进行去马赛克处理，生成黑白预期图像和彩色预期图像，可以提高彩色CMOS相机获取图像的精准度。是本发明实施例的创新点之一。[0031] 2、本发明能够基于彩色CMOS相机中相对应的预设的噪声图谱，根据图像中的每个像素点的噪声特征，对每个像素点进行FPN校正处理，以通过对彩色CMOS相机的图像中每个像素点进行噪声校正，获取更精准的彩色CMOS相机图像。是本发明实施例的创新点之一。[0032] 3、本发明通过对彩色CMOS相机噪声进行图谱测量评估实际图像噪声，以及基于引导图像的去马赛克方法进行初步的估计，并生成估计图像，对估计图像进行最小化代价函数转化处理生成优化图像，再对优化图进行多次迭代优化计算，最后精确获取彩色CMOS相机中多颜色通道图像，可满足针对彩色CMOS相机中像素级噪声特征处理和精确计算图像的需求。是本发明实施例的创新点之一。附图说明[0033] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0034] 图1为本发明的一种像素级噪声校正联合去马赛克的图像处理方法的处理流程示意图；[0035] 图2为本发明的另一种像素级噪声校正联合去马赛克的图像处理方法的处理流程示意图；[0036] 图3为本发明中步骤201的具体处理流程图；[0037] 图4为本发明彩色CMOS相机的颜色阵面分布图；[0038] 图5为去马赛克和像素噪声校正图像恢复方法流程图；[0039] 图6为本发明的像素级噪声校正联合去马赛克的图像处理装置的结构示意图；[0040] 图7为本发明提出的第一校正模块的结构示意图；[0041] 图8为本发明提出的初步生成模块的结构示意图；[0042] 图9为本发明提出的最终生成模块的结构示意图。具体实施方式[0043] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0044] 需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。[0045] 实施例1[0046] 本发明实施例提出了第一种像素级噪声校正联合去马赛克的图像处理方法，参考图1，图1为本发明的一种像素级噪声校正联合去马赛克的图像处理方法的处理流程示意图。如图1所示，像素级噪声校正联合去马赛克的图像处理方法包括如下步骤：[0047] 步骤101，基于彩色CMOS相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像进行固定模式噪声(FPN)校正处理，生成第一校正图像。[0048] 需要说明的是，彩色CMOS相机对应的预设的噪声图谱可以通过测量所述彩色CMOS相机中每个像素的相对光子响应值，以及读取噪声值和相对偏移值来生成的。[0049] 在本步骤中，可以通过事先得到的预设的噪声图谱中的光子响应值与相对偏移值，对原始图像的单帧图片中每个像素的灰度值进行校正，以实现原始图像的固定模式噪声(FPN)校正，生成FPN校正后的第一校正图像。[0050] 可以理解的，第一校正图像是通过对彩色CMOS相机的原始图像中每个像素点进行噪声校正，相比现有技术中对像素点的无区分处理，本发明针对各像素点的噪声校正可以使得生成的彩色CMOS图像更加精准。[0051] 步骤102，基于所述第一校正图像，对所述原始图像中所有的黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像。[0052] 在本步骤中，基于步骤101得到的第一校正图像，对原始图像的所有的黑白通道像素进行白色像素读出噪声校正处理，生成白色像素读出噪声校正处理后的第二校正图像。[0053] 需要说明的是，彩色CMOS相机为一种W?R?G?B?NIR阵列排布的彩色CMOS相机。W?R?G?B?NIR阵列相机中包含黑白通道(W)与彩色通道。由于彩色CMOS相机的滤色片阵面中黑白通道(W)像素较多，因此可以将所有黑白通道(W)像素提取出后，直接使用科研级互补金属氧化物半导体噪声校正方法(noisecorrectionforsCMOScamera，NCS)进行校正。[0054] 步骤103，使用去马赛克方法，根据所述第二校正图像生成黑白预期图像。[0055] 本步骤中，可以基于预设的去马赛克方法，对步骤102得到的第二校正图像进行处理，生成黑白预期图像。[0056] 步骤104，使用基于引导图像的去马赛克方法，根据所述第一校正图像生成彩色预期图像。[0057] 其中，所述引导图像为黑白预期图像。[0058] 在本步骤中，可以基于预设的引导图像的去马赛克方法，对步骤101得到的第一校正图像进行处理，生成彩色预期图像。其中，本步骤中的引导图像可以是步骤103生成的黑白预期图像。[0059] 需要说明的是，去马赛克方法可以采用多种数学方法实现，在具体实施过程中，去马赛克方法可以使用残差插值法。基于引导图像的去马赛克方法可以参考本发明实施例2中的步骤204和205中的相关说明。[0060] 本发明考虑到彩色CMOS相机中像素差异较大，为了进一步提高彩色CMOS相机图像的精准性，可以将黑白通道像素与彩色通道像素区分开来，分别进行像素级噪声校正以及基于引导图像的去马赛克处理，以生成更加精准的预期图像。[0061] 在具体实施中，步骤103生成的黑白预期图像和步骤104生成的彩色预期图像可以根据实际应用的需求进行进一步处理。比如，可以基于全彩(RGB)图像，将所述黑白预期图像和所述彩色预期图像合成一张精确的彩色图像，又比如在荧光显微成像领域，由于成像时要分辨不同荧光染料种类，因此可以基于黑白预期图像和彩色预期图像中同一像素，在不同颜色通道图像中的信号值强度差异分析成像物的荧光染料种类。本发明对于黑白预期图像和彩色预期图像的后续处理不做限制。[0062] 需要说明的是，《Single?shotmulti?colorfluorescencemicroscopyviaacolorimetrycamera》提出了使用去马赛克方法处理彩色CMOS相机中的图像，但是该方法处理的前提是将图像中同一颜色通道下所有像素认为是相同的像素，而彩色CMOS相机中由于像素差异的问题会产生像素级的噪声，因此该方法的处理效果并不理想。[0063] 可见，本发明实施例能够针对彩色CMOS相机中的像素差异，分别通过对黑白通道像素和彩色通道像素进行去马赛克处理，生成黑白预期图像和彩色预期图像，可以提高彩色CMOS相机获取图像的精准度；此外，本发明实施例还能够基于彩色CMOS相机中相对应的预设的噪声图谱，根据图像中的每个像素点的噪声特征，对每个像素点进行FPN校正处理，以通过对彩色CMOS相机的图像中每个像素点进行噪声校正，获取更精准的彩色CMOS相机图像。[0064] 实施例2[0065] 本发明实施例提出了另一种像素级噪声校正联合去马赛克的图像处理方法，参考图2，图2为本发明的另一种像素级噪声校正联合去马赛克的图像处理方法的处理流程示意图。如图2所示，像素级噪声校正联合去马赛克的图像处理方法包括如下步骤：[0066] 步骤201，对预设的彩色CMOS相机进行噪声图谱测量，获取所述彩色CMOS相机的噪声图谱。[0067] 本步骤中，通过测量彩色CMOS相机中每个像素的相对光子响应值，读取噪声值和相对偏移值，生成所述彩色CMOS相机的噪声图谱，为后续针对每个像素点的噪声校正提供校正的标准依据。[0068] 需要说明的是，噪声图谱由光子响应图、读取噪声图和相对偏移图三部分组成，其中，光子响应图是由彩色CMOS相机中每个像素的相对光子响应值组成，读取噪声图是由彩色CMOS相机中每个像素的读取噪声值组成，相对偏移图是由彩色CMOS相机中每个像素的相对偏移值组成。[0069] 可选的，参考图3，图3为本发明中步骤201的具体处理流程图，如图3所示，步骤201具体可以包括：[0070] 子步骤11，根据已知的彩色CMOS相机输出的灰度值，获取每个像素的偏移值和读出噪声值。[0071] 本步骤中，当彩色CMOS相机没有加入信号光源时，彩色CMOS相机的灰度值仅由偏移值和读出噪声值确定，因此，可以通过已知的灰度值求得每个像素的偏移值和读出噪声值。[0072] 在具体实施过程中，可以使用连续N帧无入射光图像的平均值和均方根值来表示每个像素的偏移值和读出噪声值。[0073] 具体的，可以通过公式(1)计算出每个像素的偏移值，通过公式(2)计算出每个像素的读出噪声值：[0074][0075][0076] 其中，Xi,j,dark表示相机中像素i在第j暗帧中的灰度值；Offi表示像素i的偏移值；σi,read表示像素i的读出噪声值；N为图像数量，当曝光时间小于等于1s时，N为5000，当曝光时间大于1s时，N为1000。[0077] 子步骤12，通过调整预设的均匀照明系统的照明强度提供稳定的光信号，并利用平均灰度值消除单个像素的随机噪声，获得每个像素的相对光子响应值。[0078] 本步骤中，使用均匀照明系统来测量每个像素的相对光子响应值。假设一帧中所有像素的光子信号都相同，并使用连续多张图像的平均灰度值 来消除随机噪声。每个像素的相对光子响应值为单个像素的信号值与所有像素的平均值之间的比率。[0079] 具体的，可以通过公式(3)计算每个像素的相对光子响应值：[0080][0081] 其中，NP为所有像素的数量；rpi为像素i的相对光子响应值；Offi为像素i的偏移值； 为像素i在NP帧图像中的平均灰度值。[0082] 需要说明的是，为了计算在不同光信号强度水平下拍摄的几组图像的相对光子响应，公式(3)使用了线性拟合，每个像素的 作为因变量， 作为自变量。[0083] 在具体实施过程中，可以选择拍摄6组原始图像，每组1000。日彰飨低车恼彰髑慷壬柚迷谡鲂藕欧段У10％?85％之间，信号范围为所述相机能够测量的信号范围。[0084] 还需要说明的是，噪声图谱的测量需要与实验条件，包括曝光时间、荧光波长、相机设置等对应，因此可以调整照明强度，生成与实验条件匹配的光子响应图。[0085] 步骤202，基于彩色CMOS相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像的单帧图像中的每个像素的灰度值进行FPN校正处理，生成第一校正图像。[0086] 本步骤中，通过测量得到的光子响应图与相对偏移图，对彩色CMOS相机获取的原始图像的单帧图片中每个像素的灰度值进行FPN校正处理，生成原始图像经FPN校正处理后的第一校正图像。[0087] 具体的，可以通过公式(4)对每个像素的灰度值进行校正：[0088] Xi,dF＝(Xi,raw?Offi)/rpi(4)[0089] 其中，Xi,dF为像素i校正后的灰度值；Xi,raw为像素i校正前的灰度值；rpi为像素i的相对光子响应值，Offi为像素i的偏移值。当没有所述光子响应图时，rpi的值为1。[0090] 可以理解的，第一校正图像是通过对彩色CMOS相机的原始图像中每个像素点进行噪声校正，相比现有技术中对像素点的无区分处理，本发明生成的彩色CMOS图像更加精准。[0091] 步骤203，基于所述第一校正图像，提取所述原始图像中所有的黑白通道像素，生成形成采样率下降 倍的灰度图像。[0092] 本步骤中，由于CMOS相机的滤色片阵面中黑白通道(W)像素较多，颜色通道像素较少，因此可以先将所有黑白通道(W)像素提取出后，变成一张采样率下降 倍的灰度图像。[0093] 需要说明的是，颜色通道具体包括：红色通道(R)、绿色通道(G)、蓝色通道(B)和近红外通道(NIR)。如图4所示，如图4为本发明彩色CMOS相机的颜色阵面分布图，局部结构的大小为4×4，所述黑白通道与所述颜色通道均匀分布，第一行通道的排布具体为R?W?G?W，第二行通道的排布具体为W?NIR?W?NIR，第三行通道的排布具体为G?W?B?W，第四行通道的排布具体为W?NIR?W?NIR；不同波长下各颜色通道的颜色响应率不同。[0094] 步骤204，通过对所述黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像。[0095] 在本步骤中，首先，可以使用NCS噪声校正方法对所述下降 倍的灰度图像进行白色像素读出噪声校正处理，然后，使用校正后的灰度图像的像素值替换第一校正图像中相对应的黑白通道像素值。[0096] 步骤205，对所述第二校正图像使用去马赛克方法以及线性计算，生成第一估计图像。[0097] 在本步骤中，首先，可以对所述第二校正图像，使用基于引导图像的去马赛克方法中计算引导图像的方法，计算白色插值图像，然后，将白色插值图像与第一校正图像进行线性计算，生成第一估计图像。[0098] 具体的，可以通过公式(5)得到所述第一估计图像：[0099] Xe1＝∈Xit+(1?∈)XdF(5)[0100] 其中，Xe1为所述第一估计图像；Xit为所述白色插值图像；XdF为所述第一校正图像；∈为系数，可以设为0.1。[0101] 具体的，如图5所示，图5为去马赛克和像素噪声校正图像恢复方法流程图。其中光学传递函数(OTF)去噪指基于光学传递函数掩膜，计算图像整体受噪声的影响，同时计算经OTF掩膜高频滤波后的去噪图像，该方法考虑了整体图像噪声，没有结合相机特性考虑像素级噪声。所述极大似然估计指基于实验图像像素值及图像噪声模型估计原有图像真实信号值概率，所述极大似然估计可以同时考虑实验图像及像素级噪声的影响。[0102] 需要说明的是，基于引导图像的去马赛克方法有很多具体实施方法，通常先基于原始滤波阵面图像，再通过插值等步骤计算出完整的引导图像，而后再基于引导图像计算其它颜色通道图像。[0103] 步骤206，对所述第一估计图像进行最小化代价函数转化处理，生成第一优化图像。[0104] 具体的，将所述第一估计图像作为估计图像的初始值，在计算过程中，不断改变估计图像的值，计算代价函数，并将最小化代价函数时对应的估计图像作为第一优化图像。所述代价函数如公式(6)所示：[0105] f＝LLSC+ασNP+βdmNP?C(6)[0106] 其中，α为系数，可以设置为1；β为系数，可以设置为0.01；LLSC为简化的负对数似然函数；σNP为噪声贡献值；dmNP?C为去马赛克贡献值；f为所述代价函数。[0107] 需要说明的是，LLSC的计算需要被处理图像的数值信息，计算黑白像素通道时，仅能针对所有白色像素进行计算；计算彩色通道时，仅能针对所有彩色像素进行计算，其中，被处理图像为估计图像。[0108] 具体的，可以通过公式(7)得到LLSC：[0109][0110] 其中LLSC为所述简化的负对数似然函数，C代表在滤色片阵面模式下当前计算颜2色通道中所有像素(本步骤中为W)，σi,read代表像素i读出噪声电子值。 为所述第一校正图像像素i的值， 为所述估计图像像素i的值。[0111] σN为经OTF阵面滤除的噪声部分能量，具体的，可以通过公式(8)得到：[0112][0113] 其中，NP代表所有像素；otf代表被高通升余弦滤波器滤除噪声后的图像。 为所述估计图像像素i的值。[0114] 具体的，所述高通升余弦滤波器如公式(9)所示：[0115][0116] 其中，M(kx,ky)代表所述高通升余弦滤波器。kr为平面波矢， kx与ky分别代表图像在x，y方向上的波矢；β为1，T＝λ/5.6NA；λ与NA为成像物波长及成像显微物镜数值孔径。[0117] dmNP?C代表所述估计图像与所述插值图像的差异，可以通过公式(10)得到dmNP?C：[0118][0119] 其中，NP?C代表所有除当前计算颜色通道外其它所有通道的像素。 为所述估计图像像素i的值， 为所述插值图像像素i的值。[0120] 步骤207，对所述第一优化图像进行迭代计算，生成黑白预期图像。[0121] 具体的，可以将第一优化图像作为估计图像，对第一优化图像进行循环迭代最小化代价函数转化处理，生成黑白预期图像。[0122] 在具体实施中，循环迭代的次数可以为10?15次。[0123] 步骤208，使用基于引导图像的去马赛克方法以及线性计算，根据所述第一校正图像中生成第二估计图像。[0124] 其中，所述引导图像为黑白预期图像。[0125] 在本步骤中，首先，可以对第一校正图像，使用基于引导图像的去马赛克方法中计算引导图像的方法计算出彩色插值图像，然后，将彩色插值图像与第一校正图像进行线性计算，生成第二估计图像。[0126] 具体的，本步骤的具体处理过程可以参照步骤205，在此不再赘述。[0127] 步骤209，对所述第二估计图像进行最小化代价函数转化处理，生成第二优化图像。[0128] 具体的，本步骤的具体处理过程可以参照步骤206，在此不再赘述。[0129] 步骤210，对所述第二优化图像进行迭代计算，生成彩色预期图像。[0130] 在本步骤中，可以将所述第二优化图像作为第二估计图像，对所述第二优化图进行循环迭代最小化代价函数转化处理，生成彩色预期图像。[0131] 在具体实施过程中，循环迭代的次数可以为10?15次。[0132] 需要说明的是，所述黑白预期图像和所述彩色预期图像后续可以根据实际应用的需求进行进一步处理。[0133] 还需要说明的是，步骤203已详细说明彩色通道的分布，步骤208至步骤210针对彩色通道像素进行基于引导图的去马赛克处理是对彩色通道中的单一通道进行操作处理。具体的可以根据实际应用需求，将彩色通道中的其他三个通道参照步骤208至步骤210进行处理。[0134] 可见，本发明实施例可以通过对彩色CMOS相机噪声进行图谱测量评估实际图像噪声，以及基于引导图像的去马赛克方法对图像进行初步估计，并生成估计图像，对估计图像进行最小化代价函数转化处理生成优化图像，再对优化图进行多次迭代优化计算，最后精确获取彩色CMOS相机中多颜色通道图像，能够满足针对彩色CMOS相机中像素级噪声特征处理和精确计算图像的需求。[0135] 实施例3[0136] 本发明实施例提出了第一种像素级噪声校正联合去马赛克的图像处理装置，参考图6，图6为本发明的装置的结构示意图。如图6所示，装置90包括：[0137] 第一校正模块901，用于基于彩色互补金属氧化物半导体(CMOS)相机对应的预设的噪声图谱，对所述彩色CMOS相机获取的原始图像进行固定模式噪声(FPN)校正处理，生成第一校正图像；[0138] 第二校正模块902，用于基于所述第一校正图像，对所述原始图像中所有的黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像；[0139] 初步生成模块903，用于使用去马赛克方法，根据所述第二校正图像生成黑白预期图像；[0140] 最终生成模块904，用于使用基于引导图像的去马赛克方法，根据所述第一校正图像中生成彩色预期图像，其中，所述引导图像为黑白预期图像。[0141] 可选的，如图7所示，所述第一校正模块901，具体包括第一校正子模块911和第二校正子模块912；[0142] 所述第一校正子模块911用于基于所述第一校正图像，提取所述原始图像中所有的黑白通道像素，生成形成采样率下降 倍的灰度图像；[0143] 所述第二校正子模块912用于通过对所述黑白通道像素进行白色像素读出噪声校正处理，生成第二校正图像。[0144] 可选的，如图8所示，所述初步生成模块903，具体包括第一初步生成子模块931、第二初步生成子模块932和第三初步生成子模块933；[0145] 所述第一初步生成子模块931用于对所述第二校正图像，使用去马赛克方法以及线性计算，生成第一估计图像；[0146] 所述第二初步生成子模块932用于对所述第一估计图像进行最小化代价函数转化处理，生成第一优化图像；[0147] 所述第三初步生成子模块933用于对所述第一优化图像进行迭代计算，生成黑白预期图像。[0148] 可选的，如图9所示，所述最终生成模块904，具体包括第一最终生成子模块941、第二最终生成子模块942和第三最终生成子模块943；[0149] 所述第一最终生成子模块941用于使用基于引导图像的去马赛克方法以及线性计算，根据所述第一校正图像生成第二估计图像；[0150] 所述第二最终生成子模块942用于对所述第二估计图像进行最小化代价函数转化处理，生成第二优化图像；[0151] 所述第三最终生成子模块943用于对所述第二优化图像进行迭代计算，生成彩色预期图像。[0152] 可见，本发明实施例提出的一种像素级噪声校正联合去马赛克的图像处理装置能够针对彩色CMOS相机中的像素差异，分别通过对黑白通道像素和彩色通道像素进行去马赛克处理，生成黑白预期图像和彩色预期图像，可以提高彩色CMOS相机获取图像的精准度；此外，本发明实施例还能够基于彩色CMOS相机中相对应的预设的噪声图谱，根据图像中的每个像素点的噪声特征，对每个像素点进行FPN校正处理，以通过对彩色CMOS相机的图像中每个像素点进行噪声校正，获取更精准的彩色CMOS相机图像。[0153] 本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。[0154] 本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。[0155] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

专利地区：海南

专利申请日期：2022-06-15

专利公开日期：2024-11-29

专利公告号：CN115100035B