开云优惠体育网页版入口

专利名称：一种基于多虚拟透镜的消色差扩景深成像系统及成像方法

专利类型：发明专利

专利申请号：CN202410331083.6

专利申请（专利权）人：四川大学
权利人地址：四川省成都市一环路南一段24号

专利发明（设计）人：申俊飞,鲁翠珍

专利摘要：本发明公开了一种基于多虚拟透镜的消色差扩景深成像系统及成像方法，包括以下步骤：步骤1：构建混合实?虚成像模块；包括真实透镜和虚拟透镜；步骤2：构建融合重建网络，用于对多深度下的消色差图融合后进行图像重建；步骤3：混合实?虚成像模块和融合重建网络构成多虚拟透镜消色差扩景深深度网络模型；步骤4：对网络模型进行训练，得到训练后的网络模型；步骤5：将真实场景拍摄的图像输入训练后的网络模型即可得到消色差扩景深图像；本发明在真实透镜后并行嵌入多个虚拟透镜构成混合实?虚成像模块，通过与之匹配的融合重建网络可以实现消色差扩景深高质量成像；实现在给定成像深度下近似不变的成像特征，得到多深度下的消色差成像结果。

主权利要求：
1.一种基于多虚拟透镜的消色差扩景深成像方法，其特征在于，包括以下步骤：步骤1：构建混合实?虚成像模块；
包括真实透镜和虚拟透镜，在真实透镜的成像范围离散成多个成像深度，每个成像深度均设置有与其相位补偿的虚拟透镜；每个成像深度的色差图与对应虚拟透镜的PSF卷积得到多深度下的消色差图；
混合实?虚成像模块中成像满足：
式中：Ii(x,y)为虚拟透镜输出的消色差图像，Io(xobject,yobject)为物空间强度分布，PSFreal(x,y)为真实透镜的PSF，PSFvirtual(x,y)为虚拟透镜的PSF， 为卷积运算符，(x,y)为像空间坐标，(xobject,yobject)为物空间坐标；
其中虚拟透镜的PSF计算过程如下：
2
PSF(x,y,λ)∝|Uλ(x,y)
|式中：λ为波长，Uλ(x,y)为波长为λ的复振幅分布，∝为正比运算符，将PSF能量约束为1；
步骤2：构建融合重建网络，用于对多深度下的消色差图融合后进行图像重建；
步骤3：步骤1中的混合实?虚成像模块和融合重建网络构成多虚拟透镜消色差扩景深深度网络模型；
步骤4：对步骤3的网络模型进行训练，得到训练后的网络模型；
步骤5：将真实场景拍摄的图像输入步骤4训练后的网络模型即可得到消色差扩景深图像。
2.根据权利要求1所述的一种基于多虚拟透镜的消色差扩景深成像方法，其特征在于，所述融合重建网络包括融合模块和重建模块。
3.根据权利要求2所述的一种基于多虚拟透镜的消色差扩景深成像方法，其特征在于，所述融合模块通过置信度策略进行消色差图像融合；即将多个虚拟透镜得到的消色差图与对应的权重图相乘，将所有结果相加即可得到输入特征。
4.根据权利要求2所述的一种基于多虚拟透镜的消色差扩景深成像方法，其特征在于，所述重建模块包括编码器和解码器；编码器包括用于特征提取的卷积层、用于归一化的BN层，用于降维、压缩、简化的池化层；解码器包括上采样层和卷积层。
5.根据权利要求1所述的一种基于多虚拟透镜的消色差扩景深成像方法，其特征在于，所述步骤4训练过程中的损失函数Ltotal表示如下：Ltotal＝αLphase+βLlens+γLimage式中：Lphase为虚拟透镜的相位损失函数，Llens为PSF损失函数，Limage为重建图像损失函数，α、β、γ均为调节因子。
6.根据权利要求5所述的一种基于多虚拟透镜的消色差扩景深成像方法，其特征在于，所述虚拟透镜的相位损失函数计算过程如下：Lphase＝||φexternal?φinitial||式中：φexternal为虚拟透镜的附加相位，φinitial为附加相位的给定初始值；
PSF损失函数计算过程如下：
式中：N为虚拟透镜的数量，SSIM为图像特征相似度，PSFr&v为混合实?虚成像模块的PSF，PSFtarget为三个波长的最大色散的真实镜头PSF，m和n均为光谱通道， 为混合实?虚成像模块在光谱通道m下的PSF， 为混合实?虚成像模块在光谱通道n下的PSF；
重建图像损失函数计算过程如下：
Limage＝MSE(I,I')+PL(I,I')+[1?SSIM(I,I')]式中：MSE为均方误差，I'为重建模块的输出，I为真值图像，PL为感知损失，SSIM为图像特征相似度。
7.根据权利要求1所述的一种基于多虚拟透镜的消色差扩景深成像方法，其特征在于，所述混合实?虚成像模块中真实透镜的景深VL如下：式中：L1为前景深，L2为后景深，f为成像系统焦距，F为镜头F数，D为可人眼接受的弥散斑直径，L为镜头聚焦物距。
8.采用权利要求1～7任一所述成像方法的基于多虚拟透镜的消色差扩景深系统，其特征在于，包括混合实?虚成像模块和融合重建网络；
混合实?虚成像模块，包括真实透镜和虚拟透镜，在真实透镜的成像范围离散成多个成像深度，每个成像深度均设置有与其相位补偿的虚拟透镜；每个成像深度的色差图与对应虚拟透镜的PSF卷积得到多深度下的消色差图融合重建网络包括用于对消色差图进行融合的融合模块和进行图像重建的重建模块。 说明书 : 一种基于多虚拟透镜的消色差扩景深成像系统及成像方法技术领域[0001] 本发明涉及光学成像技术领域，具体涉及一种基于多虚拟透镜的消色差扩景深成像系统及成像方法。背景技术[0002] 消色差扩景深的高质量成像在能够在单次曝光中获得清晰的物场信息，对于目标识别、动态监控等具有重要意义。然而实际的成像系统成像特性往往与波长及成像深度有关，最终导致不同的成像深度有着不同的色差表现。实现消色差扩景深高质量成像的方法目前主要分为基于光学设计的方法和基于算法优化的方法。[0003] 传统的基于光学设计的方法往往通过精细地设计光学元件的聚焦性能，从而实现消色差扩景深成像，比如多元件系统、非球面系统等复杂设计。现有的一些移动成像系统包含8个以上的非球面元件，且非球面阶数最高到达了16。目前超透镜能够通过几何结构的设计和制造来实现对光波特性的控制，从而实现精确聚焦成像。然而这些方法研发难度高、设计周期长、加工也存在限制。[0004] 得益于计算机技术的发展，基于计算光学成像的方法逐渐走进大众的视野，其克服了传统算法计算量庞大、实际成像物理过程不可预见性、高维病态逆问题求解复杂性等问题。序列化系统设计和端到端的优化方法由于其特殊优势而被大多数调查和研究。序列化系统设计根据预期成像的点扩展函数(PSF)指导光学元件的设计，再通过后端的图像复原算法实现高质量成像。如Dowski等人通过设计了一个立方相掩模来调制入射波前，并使用数字处理的方法对图像进行处理。端到端的计算成像方法，通过端到端联合优化光学设计及图像复原算法实现高保真成像。例如，Sun等人提出了一种通用的端到端复杂透镜设计框架，依靠可微光线追迹引擎渲染光学图像来实现消色差扩景深成像。这些方法为光学设计提供了新的可能性，但是设计的光学元件仍需要加工，加工的精度可能不满足预期。对于多元件系统，系统的装配也面临着极大的挑战。发明内容[0005] 本发明针对现有技术存在的问题提供一种基于多虚拟透镜的消色差扩景深成像系统及成像方法。[0006] 本发明采用的技术方案是：[0007] 一种基于多虚拟透镜的消色差扩景深成像方法，包括以下步骤：[0008] 步骤1：构建混合实?虚成像模块；[0009] 包括真实透镜和虚拟透镜，在真实透镜的成像范围离散成多个成像深度，每个成像深度均设置有与其相位补偿的虚拟透镜；每个成像深度的色差图与对应虚拟透镜的PSF卷积得到多深度下的消色差图；[0010] 步骤2：构建融合重建网络，用于对多深度下的消色差图融合后进行图像重建；[0011] 步骤3：步骤1中的混合实?虚成像模块和融合重建网络构成多虚拟透镜消色差扩景深深度网络模型；[0012] 步骤4：对步骤3的网络模型进行训练，得到训练后的网络模型；[0013] 步骤5：将真实场景拍摄的图像输入步骤4训练后的网络模型即可得到消色差扩景深图像。[0014] 进一步的的，所述步骤1中混合实?虚成像模块中成像满足：[0015][0016] 式中：Ii(x,y)为虚拟透镜输出的消色差图像，Io(xobject,yobject)为物空间强度分布，PSFreal(x,y)为真实透镜的PSF，PSFvirtual(x,y)为虚拟透镜的PSF， 为卷积运算符，(x,y)为像空间坐标，(xobject,yobject)为物空间坐标；[0017] 其中虚拟透镜的PSF计算过程如下：[0018] PSF(x,y,λ)∝|Uλ(x,y)|2[0019] 式中：λ为波长，Uλ(x,y)为像空间在波长λ下的复振幅分布，∝为正比运算符，从而限制PSF能量分布为1，符合能量守恒定律。[0020] 进一步的，所述融合重建网络包括融合模块和重建模块。[0021] 进一步的，所述融合模块通过置信度策略进行消色差图像融合；即将多个虚拟透镜得到的消色差图与对应的权重图相乘，将所有结果相加即可得到输入特征。[0022] 进一步的，所述重建模块包括编码器和解码器；编码器包括用于特征提取的卷积层、用于归一化的BN层，用于降维、压缩、简化的池化层；解码器包括上采样层和卷积层，确保图像输入尺寸和输出尺寸一致。[0023] 进一步的，所述步骤4训练过程中的损失函数Ltotal表示如下：[0024] Ltotal＝αLphase+βLlens+γLimage[0025] 式中：Lphase为虚拟透镜的相位损失函数，Llens为PSF损失函数，Limage为重建图像损失函数，α、β、γ均为调节因子。[0026] 进一步的，所述虚拟透镜的相位损失函数计算过程如下：[0027] Lphase＝||φexternal?φinitial||[0028] 式中：φexternal为虚拟透镜的附加相位，φinitial为附加相位的给定初始值，可根据以真实镜头的PSF作为输入，采用LLens作为约束得到；[0029] PSF损失函数计算过程如下：[0030][0031] 式中：N为虚拟透镜的数量，SSIM为图像特征相似度，PSFr&v为混合实?虚成像模块的PSF，PSFtarget为三个波长的最大色散的真实镜头PSF，m和n均为光谱通道， 为混合实?虚成像模块在光谱通道m下的PSF， 为混合实?虚成像模块在光谱通道n下的PSF；[0032] 重建图像损失函数计算过程如下：[0033] Limage＝MSE(I,I')+PL(I,I')+[1?SSIM(I,I')][0034] 式中：MSE为均方误差，I'为重建模块的输出，I为真值图像，PL为感知损失，SSIM为图像特征相似度，可通过1减去图像相似度获得。[0035] 进一步的，混合实?虚成像模块中真实透镜的景深VL如下：[0036][0037] 式中：L1为前景深，L2为后景深，f为成像系统焦距，F为镜头F数，D为人眼可接受的弥散斑直径，L为镜头聚焦物距。[0038] 一种基于多虚拟透镜的消色差扩景深系统，包括混合实?虚成像模块和融合重建网络；[0039] 混合实?虚成像模块，包括真实透镜和虚拟透镜，在真实透镜的成像范围离散成多个成像深度，每个成像深度均设置有与其相位补偿的虚拟透镜；每个成像深度的色差图与对应虚拟透镜的PSF卷积得到多深度下的消色差图。[0040] 融合重建网络包括用于对消色差图进行融合的融合模块和进行图像重建的重建模块。[0041] 本发明的有益效果是：[0042] (1)本发明在真实透镜后嵌入多个虚拟透镜构成混合实?虚成像模块，通过与之匹配的融合重建网络可以实现消色差扩景深高质量成像；[0043] (2)本发明设置的多虚拟透镜可以自适应补偿真实透镜不同光谱通道的成像差异，实现在给定成像深度下近似不变的成像特征，得到多深度下的消色差成像结果；[0044] (3)本发明通过设置虚拟透镜，其具有极高的设计自由度，并且是可学习的元素，不需要物理生产，从而降低光学成像系统的复杂性。附图说明[0045] 图1为本发明系统结构示意图。[0046] 图2为本发明景深扩展示意图。[0047] 图3为本发明实施例中得到的重建结果示意图。[0048] 图4为本发明实施例中虚拟透镜的消色差结果示意图。具体实施方式[0049] 下面结合附图和具体实施例对本发明做进一步说明。[0050] 如图1所示，一种基于多虚拟透镜的消色差扩景深系统，包括混合实?虚成像模块和融合重建网络；[0051] 混合实?虚成像模块，包括真实透镜和虚拟透镜，在真实透镜的成像范围离散成多个成像深度，每个成像深度均设置有与其相位补偿的虚拟透镜；每个成像深度的色差图与对应虚拟透镜的PSF卷积得到多深度下的消色差图[0052] 融合重建网络包括用于对消色差图进行融合的融合模块和进行图像重建的重建模块。[0053] 图1中A为真实透镜模块，B为多虚拟透镜模块，C为融合重建网络模块，D为C中的融合模块示意图，E为C中的重建模块示意图，F为E的具体结构示意图，G为系统训练过程中的损失函数。其中真实透镜的成像色差图被输入多虚拟透镜模块，多虚拟透镜模块通过学习对不同成像深度及不同光谱通道的波前相位调控，从而在数字空间实现不同成像深度的色差消除。多虚拟透镜成像模块B得到的多张色差图输入融合重建网络，进行图像的融合与重建，得到消色差扩景深的高质量图像。融合重建模块包括融合模块和重建模块，重建模块的编码器和解码器如F所示。[0054] 一种基于多虚拟透镜的消色差扩景深成像方法，包括以下步骤：[0055] 步骤1：构建混合实?虚成像模块；[0056] 包括真实透镜和虚拟透镜，在真实透镜的成像范围离散成多个成像深度，每个成像深度均设置有与其相位补偿的虚拟透镜；每个成像深度的色差图与对应虚拟透镜的PSF卷积得到多深度下的消色差图；[0057] 基于菲涅尔衍射理论对虚拟透镜进行物理建模，通过学习成像元件对波场分布的相位调控作用，模拟理想点光源经过多个可学习的虚拟元件后的强度分布，在数字空间计算虚拟的点物成像结果。真实的光学系统成像可看作是物空间强度分布与真实光学系统PSF卷积的结果。针对不同的成像深度及不同的波长，光学系统的PSF往往存在不同的表现，导致最终的成像是随波长及深度变化的，不同空间位置将存在不同的色差。构建的虚拟透镜，可以补偿真实光学成像系统(透镜)在不同波长下的成像差异，实现具有给定深度下的消色差成像。[0058] 混合实?虚成像模块中成像满足下式：[0059][0060] 式中：Ii(x,y)为虚拟透镜输出的消色差图像，Io(xobject,yobject)为物空间强度分布，PSFreal(x,y)为真实透镜的PSF，PSFvirtual(x,y)为虚拟透镜的PSF， 为卷积运算符，(x,y)为像空间坐标，(xobject,yobject)为物空间坐标；[0061] 在衍射受限的非相干成像系统中，任何复杂物体可以看作是由无数点光源组成的。图像的强度分布是由目标平面上各点的强度分布的非相干叠加，其像的强度分布为物体强度分布与PSF的卷积。混合实?虚成像模块的联合PSF在给定成像深度下不随光谱通道的变化而变化或近似不变时，可以看作成像结果是消色差的。根据公式(1)，当真实镜头的成像结果与虚拟透镜的PSF进行卷积后，即可得到特定成像深度下的消色差图像。将整个物空间的成像范围离散为多个成像深度，并设置能够与不同成像深度相补偿的虚拟透镜，实现整个成像范围内的多深度序列消色差图。[0062] 本实施例中当整个成像范围为700nm至1300nm，聚焦平面为950nm时，将整个成像范围离散为700nm、900nm、1100nm和1300nm四个特定的成像深度。针对不同的深度，设置四个不同的虚拟透镜分别补偿特定成像深度下的色差表现，实现多深度的消色差成像。[0063] 虚拟透镜模块，通过菲涅尔衍射理论得到。对于薄透镜中心视场来说，物光波传播了举例物距L到达透镜表面(x0，y0)时，复振幅的相位为：[0064][0065] 薄透镜对发散波复振幅的相位影响可以表示为：[0066][0067] 虚拟透镜对光场的调控等效为一个可学习的附加相位φexternal(x0,y0)，从而模拟从物平面到像平面的成像效果，到达虚拟透镜后表面时，相位分布为：[0068] φvirtual(x0,y0)＝φ0(x0,y0)+φlens(x0,y0)+φexternal(x0,y0)(4)[0069] 为了便于虚拟光学系统PSF的计算，我们将附加相位分布尺寸与图像分辨率设置一致，当输入色差图像分辨率为1024×1024的三通道彩色图像时，可学习优化的附加相位也设置为1024×1024×3对应不同的光谱通道。与传统的Zernike多项式拟合光学元件表面结构不同的是，直接将透镜对波前相位的调控作为可优化参数进行建模，可以克服非圆形孔径、高次项的计算复杂性等限制。因为Zernike多项式是在圆形孔径上定义的，在非圆形或较大孔径的系统中，可能需要使用其他基函数进行更合适的拟合。对于高阶Zernike多项式，随着Zernike多项式的项数增加，计算高次项的复杂性也增加。通过将透镜的波前相位调控作为整个优化链路中的一个可优化参数后，光波经过薄透镜后表面后，对物光波光场分布可以表示为：[0070][0071] 其中A为物光波光场分布振幅，经过自由空间传播后，由菲涅尔衍射得脉冲响应：[0072][0073] 这说明菲涅尔衍射过程可视为一个线性空间不变系统。物光波到达像面的光场分布为：[0074][0075] PSF可以由下式计算：[0076] PSF(x,y,λ)∝|Uλ(x,y)|2(8)[0077] 式中：h(x?x0,y?y0)为菲涅尔衍射脉冲响应，k为波数，z为像距，h(x,y)为菲涅尔衍射(x0,y0)传播到(x,y)的脉冲响应。[0078] 对于整个待扩展景深范围，将其离散为多个固定深度，并构建了多块虚拟透镜实现多深度下的色差消除，如式(8)。[0079] 计算虚拟透镜的PSF，将其与捕获的色差图进行卷积，得到多深度下的消色差图像。为了实现与彩色图像的RGB三通道成像相匹配的可见光谱成像，使用了波长为656nm、587nm、486nm进行拟合。[0080] 传统的消色差成像往往通过最小化像差实现，本发明方法无需要求最小化像差，只需满足虚拟透镜自适应的补偿真实透镜不同波长的成像差异，使得不同波长下的光学系统PSF是近似不变的，进而为后续的重建网络提供更加一致的成像特征，降低网络学习的难度。虽然目前也有人使用Zeniker多项式拟合进行透镜的物理建模，进而计算虚拟透镜对波前产生的相位调控，实现单一聚焦平面上的消色差，然而Zerniker多项式拟合往往占用较大的计算资源，降低了整个链路的优化速率，并且Zerniker项数的选择往往对拟合结果有着较大影响。所提出的方法通过学习不同深度下所对应虚拟透镜提供的附加相位，补偿真实光学系统的成像差异，在降低真实成像光学系统复杂度的同时，可以提高计算速率，很容易扩展到多平面实现多深度下的消色差成像。[0081] 步骤2：构建融合重建网络，用于对多深度下的消色差图融合后进行图像重建；[0082] 融合重建网络包括融合模块和重建模块。[0083] 融合模块通过置信度策略进行消色差图像融合；即将多个虚拟透镜得到的消色差图与对应的权重图相乘，将所有结果相加即可得到输入特征(3通道)。[0084] 由于图像已经丧失了成像深度信息，不同的空间位置在图像上是未知的，因此，融合模块的权重图是可学习的，并且尺寸与图像尺寸一致，可以自适应进行像素级别的融合。如果图像分辨率为1024×1024的彩色图像，则其对应的权重图维度为1024×1024×1，实现逐像素的自适应学习及特征提取。[0085] 如图1所示，重建模块包括编码器和解码器；编码器包括用于特征提取的卷积层、用于归一化的BN层，用于降维、压缩、简化的池化层；解码器包括上采样层和卷积层。F为具体的结构和过程。编码器通过卷积层进行特征提。珺N层进行归一化，池化层进行降维、去除冗余信息、对特征进行压缩、简化网络复杂度、减小计算量、减小内存消耗。解码层通过上采样和卷积保证输出尺寸与输入尺寸一致。在网络优化过程中，使用了ReLU作为激活函数提高了网络的非线性能力和模型的稀疏性，加速了模型训练。保证了重建高质量输出图像与输入图像具备一致的分辨率，当输入图像分辨率为1024×1024的三通道彩色时，输出也是1024×1024的三通道彩色图像。[0086] 步骤3：步骤1中的混合实?虚成像模块和融合重建网络构成多虚拟透镜消色差扩景深深度网络模型。[0087] 步骤4：对步骤3的网络模型进行训练，得到训练后的网络模型；[0088] 优化过程中通过虚拟透镜相位损失、PSF损失及重建图像损失三部分共同监督网络模型，如图1中G所示。多虚拟透镜对波前的调控被等效为多个附加的相位分布，我们发现虚拟透镜成像结果严重依赖于给定的初始附加相位分布。将真实镜头的PSF作为输入，对应深度混合系统近似波长不变的PSF作为输出，使用简单梯度下降算法计算附加相位的初始值，下式作为初始相位分布的损失函数监督虚拟透镜PSF的优化过程。[0089][0090] 式中：PSFtarget为三个波长的最大色散的真实镜头PSF，例如若在成像深度为700nm时，波长656nm的弥散斑直径最大，即成像的R通道弥散最大，因此使用该波长的PSF作为目标PSF。在成像深度为1300nm时，波长486nm的弥散斑直径最大，即成像的B通道弥散最大，因此使用该波长的PSF作为目标PSF。PSFr&v为混合实?虚成像模块的PSF，可通过卷积真实成像系统的PSF与虚拟透镜的PSF得到。m和n表示不同的光谱通道，N是虚拟透镜的数量，可根据实际数据进行设置。式(9)获得不同通道之间差异最小的PSFr&v，第一部分表示组合的PSF具有优化目标，不能被无限优化。第二部分解释了不同波长之间的组合PSF相似性应最大化。通过最后计算的PSF对虚拟透镜产生的初始相位进行精准调整，以设计出满足要求的虚拟光学元件。整个优化过程中，当式(9)为最小时，将其得到初始相位作为整个链路的附加相位初始值。[0091] 整个框架优化的过程中，对虚拟透镜的附加相位分布和PSF分布进行约束，计算附加相位与给定初始相位之间的绝对差异作为虚拟透镜优化的第一个约束，如式(10)：[0092] Lphase＝||φexternal?φinitial||(10)[0093] 虚拟透镜的PSF与真实成像透镜的PSF的互补的，故使用真实透镜PSF弥散最大的光谱通道作于混合系统不同光谱通道PSF的最终优化目标，且要求PSF不同光谱通道之间的相似度最大，以此作为虚拟透镜优化的第二个约束，见式(9)所示。通过相位损失和PSF损失，实现了虚拟透镜波前的精准调控，自适应地补偿不同成像深度下的成像差异，为融合重建网络提供了更加均匀统一的特征。[0094] 对于融合重建网络，对其输出的消色差扩景深图像进行了损失约束，采用了均方误差损失MSE、感知损失PL、图像相似损失共同作为融合重建网络的损失函数监督图像的高质量复原，如式(11)所示：[0095] Limage＝MSE(I,I')+PL(I,I')+[1?SSIM(I,I')](11)[0096] 式中：I'为融合重建网络的输出，I为真值图像。像素级输出图像和真值图像之间的差异使用MSE计算。感知损失PL用于计算高维差异并更好的评估观察性能，图像相似度损失用于评估图像的全局质量。总框架损失函数由虚拟透镜的相位损失函数，PSF损失函数，重建图像损失函数三部分组成，实现整个框架的联合优化，如式(12)：[0097] Ltotal＝αLphase+βLlens+γLimage(12)[0098] 式中：Lphase为虚拟透镜的相位损失函数，Llens为PSF损失函数，Limage为重建图像损失函数，α、β、γ均为调节因子。本实施例中α取1/10，β取1/3，γ取1。[0099] 步骤5：将真实场景拍摄的图像输入步骤4训练后的网络模型即可得到消色差扩景深图像。[0100] 对于实际的单透镜光学系统，如图2所示，只有当物平面与像平面表示满足高斯成像时，如下式(13)，其正好在像平面上对焦成像。[0101][0102] 光学系统的焦距f是关于不同波长，即光谱通道λ的函数。在几何光学系统中，光学系统的PSF是表征弥散斑大小的一个主要指标，当一个物点的弥散在人眼可接受的范围内时，其可以看作是清晰成像的。图2中，物平面A1、A2、A3和A4理想成像面分别在位于a，a1，a2，a3和a4，实际则被像平面a所截断。A平面是像平面的共轭面，其能够清晰成像，D为可接受的弥散斑直径大。矫鍭2到A3成像的弥散斑人眼无法分辨，因此简单光学系统的景深可以看作A2到A3。[0103] 在聚焦完成后，焦点前后清晰的深度范围分别为前景深(A3～A)和后景深(A2～A)，光学系统总的景深范围为前景深与后景深之和。对于系统前景深的计算，随着物距L、焦距f、F数、可接受弥散斑直径D变化时，可以描述为式(14)[0104][0105] 对于系统后景深，表示为式(15)：[0106][0107] 总景深为前景深和后景深之和，即式(16)：[0108][0109] 简单光学系统往往由于可调节的因素有限，景深较小。当使用焦距为25mm,聚集物平面设置为950mm，F数为2.2，可弥散斑直径为0.013mm时，光学系统的景深仅为82.75mm。图2中，A3～A4和A1～A2的范围弥散斑直径远远超出了人眼可接受范围，最终的成像效果是：，并且单透镜由于不同波长折射率存在差异，成像在不同深度存在不同的色差表现。所提出的方法旨在实现消色差扩景深成像，实现简单光学系统的消色差扩景深高质量成像，实现A1～A4整个成像空间的清晰成像，使得在较大的成像深度范围内获取更多的场景信息。[0110] 为了说明本发明方法的效果，对本发明方法进行验证。[0111] 使用现有Edmund光学塑料非球面透镜(#66015)采集了大量数据集进行所提方案的验证。在应用所提出的多虚拟透镜消色差扩景深成像框架后，实现了简单光学系统的消色差扩景深高质量成像，结果如图3所示。[0112] 从图中可以看出，由单透镜捕获的输入图像在边缘周围表现出严重的：，特别是在远离焦平面的位置。利用本发明方法进行恢复后，有效地消除了输出重建图像的色差和失真。我们使用PSNR和SSIM来评价重建图像的质量，如表1所示。对于100张测试图像，重建图像的PSNR和SSIM分别比输入图像分别提高了12.1447dB和0.2465。[0113] 表1.消色差扩景深评价指标[0114][0115] 为了说明虚拟透镜的消色差性能，对虚拟透镜的PSF进行了分析，结果如图4所示。从图中可以看出，真实的成像系统PSF(PSFr)是随波长和成像深度变化的，虚拟透镜的PSF(PSFv)与真实透镜的PSF是互补的，从而实现了混合实?虚系统的PSF(PSFr&v)在给定的成像深度下的不随波长变化，最终实现整个景深范围内的色差消除。[0116] 采用单透镜捕获图像时，其景深范围很小且存在色差，如图3色差图可以看出。采用本发明方法重建后，输出图像的质量明显提高了，整个深度范围内的物体都得到了良好的复原。当使用成像聚焦深度为950mm时，单透镜的精神为82.7532mm，本发明方法扩展后的景深为667.4171mm，扩展了8.06倍。上述实施例采用的是Edmund(#66015)非球面透镜，其焦距为25mm，并且采用的图像尺寸为1024×1024，视场角约为20°。对于扩展后光学系统的前景深、后景深、总景深具体数据如表2所示。[0117] 表2.初始景深和扩展景深对比[0118][0119] 从图3、表1和表2可以看出，不同深度的物体都得到了良好的重建，得到了大景深高质量图像。本发明方法在简单的光学系统和高保真消色差扩景深成像之间搭建桥梁。本发明方法算法灵活，物理光学系统简单，不仅可以进行自适应特征提。箍梢员苊飧丛拥墓庋杓，克服了物理光学和后处理算法的固有局限性。还可以扩展到其他领域，如移动摄影、显微成像、AR/VR等领域。

专利地区：四川

专利申请日期：2024-03-22

专利公开日期：2024-11-29

专利公告号：CN118075590B