开云优惠体育网页版入口

专利名称：多模光纤消化内镜成像及优化方法和装置

专利类型：实用新型专利

专利申请号：CN202310738697.1

专利申请（专利权）人：河南大学淮河医院
权利人地址：河南省开封市鼓楼区包公湖北路8号

专利发明（设计）人：于倩影

专利摘要：本申请提供一种多模光纤消化内镜成像及优化方法和装置，方法包括：控制预设的多模光纤消化内镜成像装置自活体内部采集散斑图像数据；将散斑图像数据输入预设的深度学习模型，以使该深度学习模型对所述散斑图像数据进行图像重建，并对于输出散斑图像数据对应的活体内部组织图像数据，深度学习模型预先采用经颗粒度调控的训练数据训练得到。本申请能够在保证消化内镜成像的图像采集质量的基础上，有效降低伸入人体消化道内部进行深层组织成像采集的采集端直径，进而能够提高用户的使用舒适度；并能够对采集到的散斑图像数据进行优化重检，且能够提高对散斑图像数据进行优化重检的效率、可靠性、智能化程度和自动化程度。

主权利要求：
1.一种多模光纤消化内镜成像及优化方法，其特征在于，包括：
采用预设的多模光纤消化内镜成像实验系统生成经颗粒度调控的训练数据；
基于所述经颗粒度调控的训练数据训练预设的深度学习模型，以使得该深度学习模型用于对多模光纤消化内镜成像装置自活体内部采集的散斑图像数据进行将散斑图案恢复为对应的活体内部组织图案的图像重建；
控制预设的多模光纤消化内镜成像装置自活体内部采集散斑图像数据；
将所述散斑图像数据输入预设的深度学习模型，以使该深度学习模型对所述散斑图像数据进行图像重建，并对应输出所述散斑图像数据对应的活体内部组织图像数据，其中，所述深度学习模型预先采用经颗粒度调控的训练数据训练得到；
所述多模光纤消化内镜成像实验系统包括：单根的多模光纤耦合器，且该多模光纤耦合器的一侧设有第一连接线和第二连接线，多模光纤耦合器的另一侧设有第三连接线；
所述多模光纤消化内镜成像实验系统还包括：连接至所述第一连接线的第一组件、连接至所述第二连接线的第二组件以及固定设置在所述第三连接线上的第三组件；
所述第一组件包括依次连接的激光器、扩束器、衰减器、可拆卸式的第一偏振分束器和第一物镜，且该第一物镜与所述第一连接线相接；
所述第二组件包括：依次连接的CCD相机、可拆卸式的第二偏振分束器和第二物镜，且该第二物镜与所述第二连接线相接；
所述第三组件包括：第三物镜、可拆卸式的掩膜板组件、可拆卸式的终端器件；
其中，所述终端器件为用于进行传输矩阵计算的空间光调制器或用于进行数据对采集的数字微镜器件；
所述采用预设的多模光纤消化内镜成像实验系统生成经颗粒度调控的训练数据，包括：
在所述多模光纤消化内镜成像实验系统中拆卸掉所述掩膜板组件，并选取所述空间光调制器作为当前的所述终端器件，以得到所述多模光纤消化内镜成像实验系统对应的第一实验子系统；
控制所述第一实验子系统中的激光器发出光束，以使该光束通过所述扩束器和衰减器后，由所述第一偏振分束器分为目标光束与参考光束，所述目标光束通过所述第一物镜耦合进所述多模光纤耦合器进行传输，再经所述第三物镜放大后照亮所述空间光调制器，使得该空间光调制器上显示多个正交图像数据以作为用于计算传输矩阵的输入光。笏瞿勘旯馐俅尉龆嗄９庀笋詈掀鞔浜笥傻诙物镜放大，再通过所述第二偏振分束器与所述参考光束之间产生干涉，使得所述CCD相机采集对应的干涉散斑图像数据；
基于四步相移干涉法，根据所述输入光场和所述干涉散斑图像数据计算所述多模光纤消化内镜成像实验系统中用于表征多模光纤传输特性的传输矩阵，并对该传输矩阵进行奇异值分解，得到对应的目标矩阵以进行光束的奇异向量调制；
在所述多模光纤消化内镜成像实验系统中拆卸掉所述第一偏振分束器和第二偏振分束器，并选取所述数字微镜器件作为当前的所述终端器件，以得到所述多模光纤消化内镜成像实验系统对应的第二实验子系统；
控制所述第二实验子系统中的激光器发出光束，以使该光束通过所述扩束器和衰减器后，通过所述第一物镜耦合进所述多模光纤耦合器进行传输，再经所述第三物镜放大后照亮所述掩膜板组件，以用于根据所述目标矩阵控制所掩膜板组件对光束进行不同奇异向量下的相位调制，实现散斑颗粒度控制，并在数字微镜器件上调制对应的仿真原始图像数据以将对应的图像信息调制到光束中，并再次返回到所述多模光纤耦合器进行传输，并由所述第二物镜放大后，由所述CCD相机采集得到对应的目标散斑图像数据；
将各个所述仿真原始图像数据和对应的目标散斑图像数据作为所述经颗粒度调控的训练数据。
2.根据权利要求1所述的多模光纤消化内镜成像及优化方法，其特征在于，所述多模光纤消化内镜成像装置包括：单根的多模光纤耦合器，且该多模光纤耦合器的一侧设有第一连接线和第二连接线，多模光纤耦合器的另一侧设有第三连接线；
所述多模光纤消化内镜成像装置还包括：连接至所述第一连接线的第一组件、连接至所述第二连接线的第二组件以及固定设置在所述第三连接线上的第三组件；
所述第一组件包括依次连接的激光器、扩束器、衰减器和第一物镜，且该第一物镜与所述第一连接线相接；
所述第二组件包括：依次连接的CCD相机和第二物镜，且该第二物镜与所述第二连接线相接；
所述第三组件包括：第三物镜。
3.根据权利要求2所述的多模光纤消化内镜成像及优化方法，其特征在于，所述控制预设的多模光纤消化内镜成像装置自活体内部采集散斑图像数据，包括：将多模光纤消化内镜成像装置的第三连接线探入目标活体体内的目标区域中；
控制所述多模光纤消化内镜成像装置的所述激光器发出光束，以使该光束依次经过所述扩束器、衰减器和第一物镜到达所述多模光纤耦合器，再经由所述第三物镜放大后照射至所述目标区域后进行反射，而后再次经由所述多模光纤耦合器传输至所述第二物镜，使得所述CCD相机采集得到经所述第二物镜放大后的所述目标区域对应的散斑图像数据。
4.根据权利要求1至3任一项所述的多模光纤消化内镜成像及优化方法，其特征在于，所述深度学习模型包括：卷积神经网络。
5.一种多模光纤消化内镜成像及优化装置，其特征在于，所述多模光纤消化内镜成像及优化装置用于执行下述内容：采用预设的多模光纤消化内镜成像实验系统生成经颗粒度调控的训练数据；
基于所述经颗粒度调控的训练数据训练预设的深度学习模型，以使得该深度学习模型用于对多模光纤消化内镜成像装置自活体内部采集的散斑图像数据进行将散斑图案恢复为对应的活体内部组织图案的图像重建；
所述多模光纤消化内镜成像及优化装置包括：
成像模块，用于控制预设的多模光纤消化内镜成像装置自活体内部采集散斑图像数据；
优化模块，用于将所述散斑图像数据输入预设的深度学习模型，以使该深度学习模型对所述散斑图像数据进行图像重建，并对于输出所述散斑图像数据对应的活体内部组织图像数据，其中，所述深度学习模型预先采用经颗粒度调控的训练数据训练得到；
所述多模光纤消化内镜成像实验系统包括：单根的多模光纤耦合器，且该多模光纤耦合器的一侧设有第一连接线和第二连接线，多模光纤耦合器的另一侧设有第三连接线；
所述多模光纤消化内镜成像实验系统还包括：连接至所述第一连接线的第一组件、连接至所述第二连接线的第二组件以及固定设置在所述第三连接线上的第三组件；
所述第一组件包括依次连接的激光器、扩束器、衰减器、可拆卸式的第一偏振分束器和第一物镜，且该第一物镜与所述第一连接线相接；
所述第二组件包括：依次连接的CCD相机、可拆卸式的第二偏振分束器和第二物镜，且该第二物镜与所述第二连接线相接；
所述第三组件包括：第三物镜、可拆卸式的掩膜板组件、可拆卸式的终端器件；
其中，所述终端器件为用于进行传输矩阵计算的空间光调制器或用于进行数据对采集的数字微镜器件；
所述采用预设的多模光纤消化内镜成像实验系统生成经颗粒度调控的训练数据，包括：
在所述多模光纤消化内镜成像实验系统中拆卸掉所述掩膜板组件，并选取所述空间光调制器作为当前的所述终端器件，以得到所述多模光纤消化内镜成像实验系统对应的第一实验子系统；
控制所述第一实验子系统中的激光器发出光束，以使该光束通过所述扩束器和衰减器后，由所述第一偏振分束器分为目标光束与参考光束，所述目标光束通过所述第一物镜耦合进所述多模光纤耦合器进行传输，再经所述第三物镜放大后照亮所述空间光调制器，使得该空间光调制器上显示多个正交图像数据以作为用于计算传输矩阵的输入光。笏瞿勘旯馐俅尉龆嗄９庀笋詈掀鞔浜笥傻诙物镜放大，再通过所述第二偏振分束器与所述参考光束之间产生干涉，使得所述CCD相机采集对应的干涉散斑图像数据；
基于四步相移干涉法，根据所述输入光场和所述干涉散斑图像数据计算所述多模光纤消化内镜成像实验系统中用于表征多模光纤传输特性的传输矩阵，并对该传输矩阵进行奇异值分解，得到对应的目标矩阵以进行光束的奇异向量调制；
在所述多模光纤消化内镜成像实验系统中拆卸掉所述第一偏振分束器和第二偏振分束器，并选取所述数字微镜器件作为当前的所述终端器件，以得到所述多模光纤消化内镜成像实验系统对应的第二实验子系统；
控制所述第二实验子系统中的激光器发出光束，以使该光束通过所述扩束器和衰减器后，通过所述第一物镜耦合进所述多模光纤耦合器进行传输，再经所述第三物镜放大后照亮所述掩膜板组件，以用于根据所述目标矩阵控制所掩膜板组件对光束进行不同奇异向量下的相位调制，实现散斑颗粒度控制，并在数字微镜器件上调制对应的仿真原始图像数据以将对应的图像信息调制到光束中，并再次返回到所述多模光纤耦合器进行传输，并由所述第二物镜放大后，由所述CCD相机采集得到对应的目标散斑图像数据；
将各个所述仿真原始图像数据和对应的目标散斑图像数据作为所述经颗粒度调控的训练数据。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的多模光纤消化内镜成像及优化方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述的多模光纤消化内镜成像及优化方法。 说明书 : 多模光纤消化内镜成像及优化方法和装置技术领域[0001] 本申请涉及医学内窥成像技术领域，尤其涉及多模光纤消化内镜成像及优化方法和装置。背景技术[0002] 消化道肿瘤是恶性肿瘤中比较常见的一类肿瘤，在中国发病率远远高于世界平均水平，食管癌、胃癌和大肠癌是其中发病率和死亡率最高的，严重：ψ湃嗣堑纳徒】。各种消化内镜和人工智能在内镜下切除前可以有效地评估早期消化道肿瘤的水平边界，而且准确地评估癌灶水平边界并标记切除范围对于早期消化道肿瘤的完全切除至关重要。[0003] 近年来，多模光纤(MMFs)逐渐成为图像传输领域的热门工具。由于其芯径小、损耗低、成本低等特点，使得多模光纤在医学内窥镜成像领域有着广泛应用。与由大量单模光纤芯组成的光纤束相比，多模光纤在内窥镜成像应用中可以获得更高的分辨率和更低的侵入性。[0004] 然而，现有的多模光纤消化内镜成像方式中，所采用的多模光纤消化内镜成像装置中至少需要输入和输出的两根多模光纤，因此使得多模光纤消化内镜成像装置中探入活体的入射端直径无法进一步缩。淙荒芄灰晕⒋吹姆绞缴钊氲交钐宓南滥诓拷惺凳钡幕钐宄上，但用户的使用舒适度依然受限。另外，由于多模光纤携带成百上千种波导模式，相干光通过多模光纤传播时，由于模式耦合和模式干扰，在输出端会形成看似随机的散斑图案，进而会影响医用内窥成像的清晰度。[0005] 因此，亟需设计一种能够提高用户的使用舒适度并能够恢复原始图像信息的多模光纤消化内镜成像方式。发明内容[0006] 鉴于此，本申请实施例提供了多模光纤消化内镜成像及优化方法和装置，以消除或改善现有技术中存在的一个或更多个缺陷。[0007] 本申请的一个方面提供了一种多模光纤消化内镜成像及优化方法，包括：[0008] 控制预设的多模光纤消化内镜成像装置自活体内部采集散斑图像数据；[0009] 将所述散斑图像数据输入预设的深度学习模型，以使该深度学习模型对所述散斑图像数据进行图像重建，并对于输出所述散斑图像数据对应的活体内部组织图像数据，其中，所述深度学习模型预先采用经颗粒度调控的训练数据训练得到。[0010] 在本申请的一些实施例中，还包括：[0011] 采用预设的多模光纤消化内镜成像实验系统生成经颗粒度调控的训练数据；[0012] 基于所述经颗粒度调控的训练数据训练预设的深度学习模型，以使得该深度学习模型用于对多模光纤消化内镜成像装置自活体内部采集的散斑图像数据进行将散斑图案恢复为对应的活体内部组织图案的图像重建。[0013] 在本申请的一些实施例中，所述多模光纤消化内镜成像装置包括：单根的多模光纤耦合器，且该多模光纤耦合器的一侧设有第一连接线和第二连接线，多模光纤耦合器的另一侧设有第三连接线；[0014] 所述多模光纤消化内镜成像装置还包括：连接至所述第一连接线的第一组件、连接至所述第二连接线的第二组件以及固定设置在所述第三连接线上的第三组件；[0015] 所述第一组件包括依次连接的激光器、扩束器、衰减器和第一物镜，且该第一物镜与所述第一连接线相接；[0016] 所述第二组件包括：依次连接的CCD相机和第二物镜，且该第二物镜与所述第二连接线相接；[0017] 所述第三组件包括：第三物镜。[0018] 在本申请的一些实施例中，所述控制预设的多模光纤消化内镜成像装置自活体内部采集散斑图像数据，包括：[0019] 将多模光纤消化内镜成像装置的第三连接线探入目标活体体内的目标区域中；[0020] 控制所述多模光纤消化内镜成像装置的所述激光器发出光束，以使该光束依次经过所述扩束器、衰减器和第一物镜到达所述多模光纤耦合器，再经由所述第三物镜放大后照射至所述目标区域后进行反射，而后再次经由所述多模光纤耦合器传输至所述第二物镜，使得所述CCD相机采集得到经所述第二物镜放大后的所述目标区域对应的散斑图像数据。[0021] 在本申请的一些实施例中，所述多模光纤消化内镜成像实验系统包括：单根的多模光纤耦合器，且该多模光纤耦合器的一侧设有第一连接线和第二连接线，多模光纤耦合器的另一侧设有第三连接线；[0022] 所述多模光纤消化内镜成像实验系统还包括：连接至所述第一连接线的第一组件、连接至所述第二连接线的第二组件以及固定设置在所述第三连接线上的第三组件；[0023] 所述第一组件包括依次连接的激光器、扩束器、衰减器、可拆卸式的第一偏振分束器和第一物镜，且该第一物镜与所述第一连接线相接；[0024] 所述第二组件包括：依次连接的CCD相机、可拆卸式的第二偏振分束器和第二物镜，且该第二物镜与所述第二连接线相接；[0025] 所述第三组件包括：第三物镜、可拆卸式的掩膜板组件、可拆卸式的终端器件；[0026] 其中，所述终端器件为用于进行传输矩阵计算的空间光调制器或用于进行数据对采集的数字微镜器件。[0027] 在本申请的一些实施例中，所述采用预设的多模光纤消化内镜成像实验系统生成经颗粒度调控的训练数据，包括：[0028] 在所述多模光纤消化内镜成像实验系统中拆卸掉所述掩膜板组件，并选取所述空间光调制器作为当前的所述终端器件，以得到所述多模光纤消化内镜成像实验系统对应的第一实验子系统；[0029] 控制所述第一实验子系统中的激光器发出光束，以使该光束通过所述扩束器和衰减器后，由所述第一偏振分束器分为目标光束与参考光束，所述目标光束通过所述第一物镜耦合进所述多模光纤耦合器进行传输，再经所述第三物镜放大后照亮所述空间光调制器，使得该空间光调制器上显示多个正交图像数据以作为用于计算传输矩阵的输入光。笏瞿勘旯馐俅尉龆嗄９庀笋詈掀鞔浜笥傻诙物镜放大，再通过所述第二偏振分束器与所述参考光束之间产生干涉，使得所述CCD相机采集对应的干涉散斑图像数据；[0030] 基于四步相移干涉法，根据所述输入光场和所述干涉散斑图像数据计算所述多模光纤消化内镜成像实验系统中用于表征多模光纤传输特性的传输矩阵，并对该传输矩阵进行奇异值分解，得到对应的目标矩阵以进行光束的奇异向量调制；[0031] 在所述多模光纤消化内镜成像实验系统中拆卸掉所述第一偏振分束器和第二偏振分束器，并选取所述数字微镜器件作为当前的所述终端器件，以得到所述多模光纤消化内镜成像实验系统对应的第二实验子系统；[0032] 控制所述第二实验子系统中的激光器发出光束，以使该光束通过所述扩束器和衰减器后，通过所述第一物镜耦合进所述多模光纤耦合器进行传输，再经所述第三物镜放大后照亮所述掩膜板组件，以用于根据所述目标矩阵控制所掩膜板组件对光束进行不同奇异向量下的相位调制，实现散斑颗粒度控制，并在数字微镜器件上调制对应的仿真原始图像数据以将对应的图像信息调制到光束中，并再次返回到所述多模光纤耦合器进行传输，并由所述第二物镜放大后，由所述CCD相机采集得到对应的目标散斑图像数据；[0033] 将各个所述仿真原始图像数据和对应的目标散斑图像数据作为所述经颗粒度调控的训练数据。[0034] 在本申请的一些实施例中，所述深度学习模型包括：卷积神经网络。[0035] 本申请的另一个方面提供了一种多模光纤消化内镜成像及优化装置，包括：[0036] 成像模块，用于控制预设的多模光纤消化内镜成像装置自活体内部采集散斑图像数据；[0037] 优化模块，用于将所述散斑图像数据输入预设的深度学习模型，以使该深度学习模型对所述散斑图像数据进行图像重建，并对于输出所述散斑图像数据对应的活体内部组织图像数据，其中，所述深度学习模型预先采用经颗粒度调控的训练数据训练得到。[0038] 本申请的第三个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的多模光纤消化内镜成像及优化方法。[0039] 本申请的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的多模光纤消化内镜成像及优化方法。[0040] 本申请提供的多模光纤消化内镜成像及优化方法，控制预设的多模光纤消化内镜成像装置自活体内部采集散斑图像数据，能够在保证消化内镜成像的图像采集质量的基础上，有效降低伸入人体消化道内部进行深层组织成像采集的采集端直径，进而能够提高用户的使用舒适度；通过将所述散斑图像数据输入预设的深度学习模型，以使该深度学习模型对所述散斑图像数据进行图像重建，并对于输出所述散斑图像数据对应的活体内部组织图像数据，其中，所述深度学习模型预先采用经颗粒度调控的训练数据训练得到，能够基于对多模光纤输出散斑图案的颗粒度调控，能够对采集到的散斑图像数据进行优化重检，进而能够有效提高消化内镜成像质量，还能够提高对散斑图像数据进行优化重检的效率、可靠性、智能化程度和自动化程度。[0041] 本申请的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。[0042] 本领域技术人员将会理解的是，能够用本申请实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本申请能够实现的上述和其他目的。附图说明[0043] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。附图中的部件不是成比例绘制的，而只是为了示出本申请的原理。为了便于示出和描述本申请的一些部分，附图中对应部分可能被放大，即，相对于依据本申请实际制造的示例性装置中的其它部件可能变得更大。在附图中：[0044] 图1为本申请实施例中的多模光纤消化内镜成像及优化方法的第一种流程示意图。[0045] 图2为本申请实施例中的多模光纤消化内镜成像及优化方法的第二种流程示意图。[0046] 图3为本申请实施例中的多模光纤消化内镜成像装置的结构举例示意图。[0047] 图4为本申请实施例中的多模光纤消化内镜成像及优化方法的第三种流程示意图。[0048] 图5为本申请实施例中的多模光纤消化内镜成像实验系统中第一实验子系统的结构举例示意图。[0049] 图6为本申请实施例中的多模光纤消化内镜成像实验系统中第二实验子系统的结构举例示意图。[0050] 图7为本申请实施例中的无颗粒度调控以及经过不同奇异向量的颗粒度调控下的系统成像过程图。[0051] 图8为本申请实施例中的散斑颗粒度大小与奇异向量的函数关系图。[0052] 图9为本申请实施例中的FC编码?解码网络结构示意图。[0053] 图10为本申请实施例中的测试集中部分重建结果对比示意图。[0054] 图11为本申请实施例中的多模光纤消化内镜成像及优化装置的结构示意图。具体实施方式[0055] 为使本申请的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本申请做进一步详细说明。在此，本申请的示意性实施方式及其说明用于解释本申请，但并不作为对本申请的限定。[0056] 在此，还需要说明的是，为了避免因不必要的细节而：吮旧昵，在附图中仅仅示出了与根据本申请的方案密切相关的结构和/或处理步骤，而省略了与本申请关系不大的其他细节。[0057] 应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。[0058] 在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。[0059] 在下文中，将参考附图描述本申请的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。[0060] 针对多模光纤在内窥镜成像应用过程中在输出端会形成看似随机的散斑图案的问题，本申请的设计人员首先考虑到这个过程并没有损失图像信息，而是将其进行了复杂的编码，因此，如果光在光纤中的传播过程可以被得知，那么就有可能恢复原始的图像信息。[0061] 具体来说，虽然经过多模光纤传输后在远端形成的散斑看似随机，但仍旧表现出可预测的特征。经本申请的设计人员通过研究发现，这些散斑的场振幅服从瑞利分布，空间上局部相关。这些局部相关性的空间范围通常被称为散斑粒度尺寸。不同的散斑粒度大小体现了光信号在多模光纤传播过程中所激发的波导模式阶次高低，低阶模式导致散斑粒度扩大，高阶模式导致散斑粒度变小。[0062] 基于此，本申请提出了一种多模光纤消化内镜成像及优化方法，通过反射式的光路设计，使用同一条光纤传输光源和图像的多模光纤消化内镜成像装置自活体内部采集散斑图像数据，能够进一步减少消化内镜成像装置伸入人体的多模光纤的直径，且多模光纤直径仅为微米量级，从而能够实现深入到消化道和组织内部以微创的方式进行实时的活体成像，是一种用于对人体消化道内部成像的医用内窥的成像显微装置。在此基础上，多模光纤消化内镜成像及优化方法还预先采用经颗粒度调控的训练数据训练得到深度学习模型，并将所述散斑图像数据输入预设的深度学习模型，以使该深度学习模型对所述散斑图像数据进行图像重建，并对于输出所述散斑图像数据对应的活体内部组织图像数据，以基于对多模光纤输出散斑图案的颗粒度调控，能够有效提高消化内镜成像质量。[0063] 具体通过下述实施例分别进行详细说明。[0064] 本申请实施例提供一种可由多模光纤消化内镜成像及优化装置实现的多模光纤消化内镜成像及优化方法，参见图1，所述多模光纤消化内镜成像及优化方法具体包含有如下内容：[0065] 步骤100：控制预设的多模光纤消化内镜成像装置自活体内部采集散斑图像数据。[0066] 在步骤100中，多模光纤消化内镜成像装置是指一种通过反射式的光路设计，使用同一条光纤传输光源和图像的消化内镜成像装置。[0067] 在本申请的一个或多个实施例中，活体可以指人体或其他动物等。[0068] 可以理解的是，所述散斑图像数据是指包含有散斑图案的活体内部组织图像数据。由于多模光纤携带成百上千种波导模式，相干光通过多模光纤传播时，由于模式耦合和模式干扰，在采集到的活体内部组织图像上会形成看似随机的散斑图案，进而会影响医用内窥成像的清晰度。[0069] 步骤200：将所述散斑图像数据输入预设的深度学习模型，以使该深度学习模型对所述散斑图像数据进行图像重建，并对于输出所述散斑图像数据对应的活体内部组织图像数据，其中，所述深度学习模型预先采用经颗粒度调控的训练数据训练得到。[0070] 在执行步骤200之前，需要先采用经颗粒度调控的训练数据训练深度学习模型，其中，在训练集中的各个历史散斑图像数据均设有各自对应的标签，这些标签为去除历史散斑图像数据中的散斑图案后的活体内部组织图像数据，具体可以采用仿真原始图像数据。而这些历史散斑图像数据是指经颗粒度调控后得到的目标散斑图像数据，调制后散斑不同的粒度大小对图像的重建效果影响不同，但与未经过颗粒度调控的散斑相比，重建效果都有得到提升，通过不同序号奇异向量的重建结果对比，可以找到对图像重建提升最大的奇异向量及其对应颗粒度调控后的散斑颗粒度大小。[0071] 从上述描述可知，本申请实施例提供的多模光纤消化内镜成像及优化方法，能够在保证消化内镜成像的图像采集质量的基础上，有效降低伸入人体消化道内部进行消化道深层组织成像采集的采集端直径，进而能够提高用户的使用舒适度；并能够对采集到的散斑图像数据进行优化重检，且能够提高对散斑图像数据进行优化重检的效率、可靠性、智能化程度和自动化程度。[0072] 为了进一步提高多模光纤消化内镜成像优化的可靠性及有效性，在本申请实施例提供的一种多模光纤消化内镜成像及优化方法中，参见图2，所述多模光纤消化内镜成像及优化方法中的步骤100之前或其他步骤执行前后可以具体包含有如下内容：[0073] 步骤010：采用预设的多模光纤消化内镜成像实验系统生成经颗粒度调控的训练数据。[0074] 在步骤010中，为了进一步提高多模光纤消化内镜成像优化的可靠性，可以在多模光纤消化内镜成像装置的基础上构建对应的多模光纤消化内镜成像实验系统，这样可以使得最终训练或更新出的深度学习模型能够尤其适用于经多模光纤消化内镜成像装置采集得到的散斑图像数据。[0075] 步骤020：基于所述经颗粒度调控的训练数据训练预设的深度学习模型，以使得该深度学习模型用于对多模光纤消化内镜成像装置自活体内部采集的散斑图像数据进行将散斑图案恢复为对应的活体内部组织图案的图像重建。[0076] 为了进一步降低多模光纤消化内镜成像装置的采集端直径，在本申请实施例提供的一种多模光纤消化内镜成像及优化方法中，参见图3，所述多模光纤消化内镜成像装置具体包含有如下内容：[0077] 单根的多模光纤耦合器MMF，该多模光纤耦合器MMF具体可以采用1×2多模光纤耦合器。且该多模光纤耦合器MMF的一侧设有第一连接线11和第二连接线12，多模光纤耦合器MMF的另一侧设有第三连接线13；[0078] 所述多模光纤消化内镜成像装置还包括：连接至所述第一连接线11的第一组件21、连接至所述第二连接线12的第二组件22以及固定设置在所述第三连接线13上的第三组件23；[0079] 所述第一组件21包括依次连接的激光器31、扩束器32、衰减器33和第一物镜1，且该第一物镜1与所述第一连接线11相接；[0080] 所述第二组件22包括：依次连接的CCD相机34和第二物镜2，且该第二物镜2与所述第二连接线12相接；[0081] 所述第三组件23包括：第三物镜3。[0082] 在一种具体实施方式中，所述多模光纤耦合器MMF、激光器31、扩束器32、衰减器33、第一物镜1、CCD相机、第二物镜2和第三物镜3均可以集成设置在同一壳体中，且所述第三连接线13的远离所述第一连接线11和第二连接线12的一侧即为所述多模光纤消化内镜成像装置中用于伸入活体内部的采集端。[0083] 为了进一步提高多模光纤消化内镜成像的可靠性及有效性，在本申请实施例提供的一种多模光纤消化内镜成像及优化方法中，参见图4，所述多模光纤消化内镜成像及优化方法中的步骤100具体包含有如下内容：[0084] 步骤110：将多模光纤消化内镜成像装置的第三连接线探入目标活体体内的目标区域中。[0085] 步骤120：控制所述多模光纤消化内镜成像装置的所述激光器发出光束，以使该光束依次经过所述扩束器、衰减器和第一物镜到达所述多模光纤耦合器，再经由所述第三物镜放大后照射至所述目标区域后进行反射，而后再次经由所述多模光纤耦合器传输至所述第二物镜，使得所述CCD相机采集得到经所述第二物镜放大后的所述目标区域对应的散斑图像数据。[0086] 为了进一步提高多模光纤消化内镜成像实验系统的应用可靠性及有效性，在本申请实施例提供的一种多模光纤消化内镜成像及优化方法中，参见图5和图6，所述多模光纤消化内镜成像实验系统具体包含有如下内容：[0087] 单根的多模光纤耦合器MMF，该多模光纤耦合器MMF具体可以采用1×2多模光纤耦合器。且该多模光纤耦合器MMF的一侧设有第一连接线11和第二连接线12，多模光纤耦合器MMF的另一侧设有第三连接线13；[0088] 所述多模光纤消化内镜成像实验系统还包括：连接至所述第一连接线11的第一组件21、连接至所述第二连接线12的第二组件22以及固定设置在所述第三连接线13上的第三组件23；[0089] 所述第一组件21包括依次连接的激光器31、扩束器32、衰减器33、可拆卸式的第一偏振分束器PBS1和第一物镜1，且该第一物镜1与所述第一连接线11相接；[0090] 所述第二组件22包括：依次连接的CCD相机34、可拆卸式的第二偏振分束器PBS2和第二物镜2，且该第二物镜2与所述第二连接线12相接；[0091] 所述第三组件23包括：第三物镜3、可拆卸式的掩膜板组件35、可拆卸式的终端器件；[0092] 其中，所述终端器件为用于进行传输矩阵计算的空间光调制器SLM或用于进行数据对采集的数字微镜器件DMD。[0093] 也就是说，多模光纤消化内镜成像实验系统具体是一种多模光纤消化内镜成像系统，该系统至少可以包含一个激光器作为光源发起设备、一个扩束器、一个衰减器、两个偏振分束器PBS、一个1×2多模光纤耦合器、三组物镜、若干组奇异向量掩膜板、一个数字微镜器件DMD、一个空间光调制器SLM和一个CCD相机。两个偏振分束器具体可以为第一偏振分束器PBS1和第二偏振分束器PBS2。三组物镜可以包含有：第一物镜1、第二物镜2和第三物镜3。[0094] 在一种举例中，多模光纤耦合器可以采用分光比50:50，纤芯直径为105μm，数值孔径为0.22，长度为1m的多模光纤耦合器。数字微镜装置可以通过电脑控制若干个微镜翻转一定的角度和不同的翻转频率来达到对光场进行调制输出灰度图像的效果。空间光调制器可以为相位型，利用液晶分子实现通过折射率调制相位，从而将一定的信息写入光波中，达到光波调制的目的。空间光调制器SLM可以是被计算机识别为一台普通显示器来控制的，计算机将相位"显示"到空间光调制器SLM上(所显示的图片每一个像素的灰度值[一般为0～255]对应着相应液晶单元的相位调制值[0～2π])。其中的多模光纤消化内镜成像实验系统的硬件参数举例如表1所示。[0095] 表1：实验系统硬件参数[0096] 为了进一步提高多模光纤消化内镜成像优化的可靠性及有效性，在本申请实施例提供的一种多模光纤消化内镜成像及优化方法中，参见图4，所述多模光纤消化内镜成像及优化方法中的步骤010具体包含有如下内容：[0097] 步骤011：在所述多模光纤消化内镜成像实验系统中拆卸掉所述掩膜板组件，并选取所述空间光调制器作为当前的所述终端器件，以得到所述多模光纤消化内镜成像实验系统对应的第一实验子系统；[0098] 步骤012：控制所述第一实验子系统中的激光器发出光束，以使该光束通过所述扩束器和衰减器后，由所述第一偏振分束器分为目标光束与参考光束，所述目标光束通过所述第一物镜耦合进所述多模光纤耦合器进行传输，再经所述第三物镜放大后照亮所述空间光调制器，使得该空间光调制器上显示多个正交图像数据以作为用于计算传输矩阵的输入光。笏瞿勘旯馐俅尉龆嗄９庀笋詈掀鞔浜笥傻诙物镜放大，再通过所述第二偏振分束器与所述参考光束之间产生干涉，使得所述CCD相机采集对应的干涉散斑图像数据；[0099] 步骤013：基于四步相移干涉法，根据所述输入光场和所述干涉散斑图像数据计算所述多模光纤消化内镜成像实验系统中用于表征多模光纤传输特性的传输矩阵，并对该传输矩阵进行奇异值分解，得到对应的目标矩阵以进行光束的奇异向量调制；[0100] 步骤014：在所述多模光纤消化内镜成像实验系统中拆卸掉所述第一偏振分束器和第二偏振分束器，并选取所述数字微镜器件作为当前的所述终端器件，以得到所述多模光纤消化内镜成像实验系统对应的第二实验子系统；[0101] 步骤015：控制所述第二实验子系统中的激光器发出光束，以使该光束通过所述扩束器和衰减器后，通过所述第一物镜耦合进所述多模光纤耦合器进行传输，再经所述第三物镜放大后照亮所述掩膜板组件，以用于根据所述目标矩阵控制所掩膜板组件对光束进行不同奇异向量下的相位调制，实现散斑颗粒度控制，并在数字微镜器件上调制对应的仿真原始图像数据以将对应的图像信息调制到光束中，并再次返回到所述多模光纤耦合器进行传输，并由所述第二物镜放大后，由所述CCD相机采集得到对应的目标散斑图像数据；[0102] 步骤016：将各个所述仿真原始图像数据和对应的目标散斑图像数据作为所述经颗粒度调控的训练数据。[0103] 其中，实验分为两个步骤，第一个步骤：利用四步相移干涉法计算第一实验子系统中表征多模光纤传输特性的传输矩阵T，并进行奇异值分解(SVD)；第二个步骤：放置表征不同奇异向量的掩膜板以形成第二实验子系统，将相应的相位信息调制到光束中，在数字微镜器件DMD上显示一系列输入图像，CCD相机捕获多模光纤远端得到的相应的散斑图案，采集不同奇异向量调制下的输入输出数据对作为网络训练集，通过深度学习方法训练得到映射模型，实现图像重建。[0104] 步骤一实验过程如下：[0105] 激光器发出光源通过扩束器和衰减器后，由第一偏振分束器分为两条光束：目标光束与参考光束。目标光束通过第一物镜1耦合进多模光纤耦合器MMF传输，经过第三物镜3放大后照亮空间光调制器SLM，空间光调制器SLM上显示一系列正交图案作为计算传输矩阵T过程中的输入光。俅尉嗄９庀笋詈掀鱉MF传输后，目标光束由第二物镜2放大，通过第二偏振分束器PBS2与参考光束产生干涉，CCD相机采集对应的干涉散斑图案，进行传输矩阵的计算。[0106] 步骤二实验过程如下：[0107] 激光器发出光源通过扩束器和衰减器后，通过第一物镜1耦合进多模光纤耦合器MMF传输，经过第三物镜3后照亮奇异向量掩膜板，光束进行不同奇异向量下的相位调制，实现散斑颗粒度控制，数字微镜器件DMD上调制灰度目标原图像(仿真真实场景)，将图像信息调制到光束中，再次返回到多模光纤耦合器MMF传输后，由第二物镜2放大，CCD相机采集相应散斑图案。[0108] 在本申请的一个或多个实施例中，四步相移干涉法具体指：[0109] 传输矩阵描述光经过多模光纤的传播，可将输入光场Ein与输出光场Eout联系起来，表达式如式(1)所示，分别将输入光场和输出光场划分为n、m份，第m个输出光场可表示为式(2)，式中， 为第m个输出光。 为第n个输入光。籺mn为传输矩阵T的元素，遵循复高斯分布，传输矩阵T的尺寸为M×N。[0110] Eout＝TEin(1)[0111][0112] 对于任何输入光场中的控制光复振幅 (n＝1,2,…,N)，N表示输入光中控制光的总通道数，如果调制光的相位是一个随常数α变化的量，结合光波的干涉叠加，可得第m个输出通道的光强强度用下式进行描述：[0113][0114] 其中，sm表示参考光经过多模光纤后在探测器的第m个输出通道下产生的输出光的复振幅。 表示sm的转置共轭，Re(·)算子为求取复数的实部。[0115] 因此，输入第n维哈达玛基，在a＝0,π/2,π,3π/2的情况下，将这些相移分别带入到公式(3)中，结合欧拉公式，可将测量得到的强度值 和 分别表示为：[0116][0117][0118][0119][0120] 通过式(4)可以发现 与待测量传输矩阵的实部成正比， 与待测量的传输矩阵的虚部成正比，因此，在第m个输出通道下强度为：[0121][0122] 式中，对于任意的输出通道m，参考光在光束传输过程中对应产生的脉冲响应 为恒值，因此，只要不断改变输入光场值 ( 是哈达玛基的每一列对应的矩阵，因此它是一组线性无关的输入)，就能得到多个不同的 得到了不同输入光场对应的输出光。倮霉(5)，即可解得所有的tmn，进而组成了传输矩阵T，由于测量传输矩阵的每一列时都进行了四次相移且相移范围为[0,2πrad)，因此这种方法被称为四步相移干涉法。[0123] 从数学角度上看,每个输入光场值 可以表示为向量的形式，即用xi表示第i次测量时 (n＝1,2，…，n)构成的列向量 并且可以令公式(5)的左端也用向量yi表示，即 所有的公式(5)的左端对应的向量ym(m＝1,2,…，m)T构成的列向量(y1，y2，…，ym) ，结合公式(5)，可以得到下式：[0124] yi＝Sref×T×xi(6)[0125] 式中，Sref是由 表征的复对角矩阵，其对角元素 因为 是不变的，因此Sref也在一定程度上保持恒定。依次改变输入列向量到第N个列向量，也就是第N张输入哈达玛图时，得到下式：[0126] [y1,y2,…,yN]＝Sref×T×[x1,x2,…,xN](7)[0127] 将上述列向量写成矩阵形式，令X＝[x1,x2,…,xN]，Y＝[y1,y2,…,yN]，则：[0128] Y＝Sref×T×X(8)[0129] 当X的秩超过所需求解的元素个数n时，(6)式的方程组有唯一的解，即N需要大于或等于n，如输入哈达玛图的大小为32*32，则所需图片张数需要大于或等于1024，所构成的矩阵X才能使解得的T唯一。Sref在计算过程中可通过归一化消除，因此经过变换，可以得到传输矩阵为：[0130] T＝Y×X?1(9)[0131] 奇异值分解(SingularValueDecomposition，SVD)：是一种将特征分解推广到非方阵的方法，对于大小为M×N的传输矩阵T，奇异值分解过程如下式所示：[0132][0133] 其中U和V都是酉矩阵，即满足UTU＝I,VTV＝I，是包含所谓的左右奇异向量的矩阵，HV为V的共轭转置，Σ是一个对角矩阵，对角线上的元素是传输矩阵T的奇异值。[0134] 本申请通过对传输矩阵T进行奇异值分解，得到矩阵V，V的每一列都为T的右奇异向量，将列值重塑为一个二维矩阵，显示在空间光调制器SLM上，便可进行光束的奇异向量调制，实现输出散斑图案颗粒度调控。[0135] 下面给出本申请提出的基于颗粒度调控的反射式单根多模光纤成像的采集原理和算法模型。图7展示了无颗粒度调控以及经过不同奇异向量的颗粒度调控下的系统成像过程图，经计算，所得多模光纤的传输矩阵T的大小为255*1024，对应255个奇异向量。经过第8个奇异向量No.8的调制后，散斑图案同无调控下的散斑图像相比，粒度变大，通过第134个奇异向量No.134的调制后，散斑图案同无调控下的散斑图像相比，粒度变。髦坪笊卟煌牧６却笮《酝枷竦闹亟ㄐЧ跋觳煌，但与未经过颗粒度调控的散斑相比，重建效果都有得到提升，通过不同序号奇异向量的重建结果对比，可以找到对图像重建提升最大的奇异向量及其对应颗粒度调控后的散斑颗粒度大小。[0136] 原始图像在经过单根多模光纤成像系统后，由于多模光纤中各种导波模式有不同的像速度，会使图像信息失去其原有的相位关系，最后使得相机采集到的图像是一个看似随机的散斑，同时，由于图像信息通过了在SLM上显示的不同奇异向量的相位调制，所采集到的散斑图案粒度大小会产生相应变化，理论上来看，随着所调制奇异向量的序号增大，对应散斑粒度大小总体呈下降趋势，如图8所示。从多模光纤成像系统上整体来看，可以将多模光纤对光场的作用看作一个映射，只要找到这种映射关系的逆变换，就可以通过输出散斑来恢复输入的原始图像。可以预先采集一定数量的多模光纤远端得到的散斑图案和其对应的原始图像作为训练集，通过深度学习方法训练得到映射模型，之后每采集到一个散斑都可以通过模型计算出其对应的原始图像。[0137] 为了进一步提高多模光纤消化内镜成像优化的可靠性及有效性，在本申请实施例提供的一种多模光纤消化内镜成像及优化方法中，所述深度学习模型包括：卷积神经网络。所述卷积神经网络包括：依次连接的输入层、全连接层、编码器、解码器和输出层；所述编解码器包括依次连接的两个下采样单元，所述解码器包括依次连接的两个上采样层。[0138] 具体来说，本申请可以采用FC编码?解码(Encoder?decoder)结构的卷积网络结构来建立深度学习模型，如图9所示。输入散斑图像的分辨率是192×192，输出图像的分辨率为48×48。编解码器结构由两个下采样单元和两个上采样单元组成，每个单元由两个3×3卷积层组成，然后是整流线性单元(ReLU)。下采样和上采样分别由最大池化层和转置卷积层实现。输出层包含一个1×1卷积层和一个tanh函数。[0139] 基于此，本申请提出了一种多模光纤消化内镜成像及优化方法，通过反射式的光路设计，使用同一条光纤传输光源和图像，进一步减少了成像系统的直径。应用波前整形技术，通过计算能够表征多模光纤传输特性的传输矩阵(TM)，并进行奇异值分解(SVD)操作，不同序号的奇异向量对应激发多模光纤中不同阶次模式的传播，从而控制散斑颗粒度大。迪指泳返某上。同时采用深度学习算法，整个系统的鲁棒性高，成像速度快，硬件简单。[0140] 在一种具体应用举例中：按照图5和图6搭建单根反射式多模光纤成像实验系统，表1展示了实验系统所用的硬件与参数。单根反射式多模光纤成像实验系统采用SIPaKMeD细胞图像数据集，并且通过实验系统采集了10000张与其对应的散斑图案。训练集与测试集的比例为9：1，使用图9所示的网络模型中进行150代训练，损失函数使用均方误差(MSE)函数，150代后网络基本可以达到不再收敛。训练好的模型在测试集中部分图像的表现如图10所示。在不调制奇异向量，即无颗粒度调控的情况下，使用深度学习方法进行图像重建的平均峰值信噪比(PSNR)为15.01，平均结构相似度(SSIM)为0.623；在调制不同奇异向量，即通过颗粒度调控后，SIPaKMeD数据集上的最高平均峰值信噪比(PSNR)可以达到16.84，最高平均结构相似度(SSIM)可以达到0.691；最低平均峰值信噪比(PSNR)为16.2，最低平均结构相似度(SSIM)为0.672。与不经过调制，即无颗粒度调控情况下的图像重建结果相比，PSNR最多可提升1.83，最少提升1.19，SSIM最多可提升0.068，最少提升0.049；[0141] 可以看出，颗粒度调控后的重建效果相比于不进行颗粒度调控的重建效果，在PSNR与SSIM上都有较为明显的提升。其中，第134个奇异向量No.134对成像质量提升最大，第8个奇异向量No.8对成像质量提升最小。实验结果表明，在成像物体前选择合适的掩膜板进行光束调制，能够有效提高多模光纤的消化内镜成像质量。[0142] 综上所述，本申请实施例提供是一种用于对人体消化道内部成像的医用内窥成像显微系统，成像系统所采用的多模光纤直径仅为微米量级，从而能够实现深入到消化道和组织内部以微创的方式进行实时的活体成像。采用反射式的多模光纤成像系统可以进一步减少纤维的直径，同时基于对多模光纤输出散斑图案的颗粒度调控，能够有效提高消化内镜成像质量。[0143] 从软件层面来说，本申请还提供一种用于执行所述多模光纤消化内镜成像及优化方法中全部或部分内的多模光纤消化内镜成像及优化装置，参见图11，所述多模光纤消化内镜成像及优化装置具体包含有如下内容：[0144] 成像模块10，用于控制预设的多模光纤消化内镜成像装置自活体内部采集散斑图像数据；[0145] 优化模块20，用于将所述散斑图像数据输入预设的深度学习模型，以使该深度学习模型对所述散斑图像数据进行图像重建，并对于输出所述散斑图像数据对应的活体内部组织图像数据，其中，所述深度学习模型预先采用经颗粒度调控的训练数据训练得到。[0146] 本申请提供的多模光纤消化内镜成像及优化装置的实施例具体可以用于执行上述实施例中的多模光纤消化内镜成像及优化方法的实施例的处理流程，其功能在此不再赘述，可以参照上述多模光纤消化内镜成像及优化方法实施例的详细描述。[0147] 所述多模光纤消化内镜成像及优化装置进行多模光纤消化内镜成像及优化的部分可以在服务器中执行，也可以在客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器，用于多模光纤消化内镜成像及优化的具体处理。[0148] 具体来说，多模光纤消化内镜成像及优化装置可以所述多模光纤消化内镜成像装置之间通信连接。[0149] 上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。[0150] 上述服务器与所述客户端设备端之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(RemoteProcedureCallProtocol，远程过程调用协议)、REST协议(RepresentationalStateTransfer，表述性状态转移协议)等。[0151] 从上述描述可知，本申请实施例提供的多模光纤消化内镜成像及优化装置，能够在保证消化内镜成像的图像采集质量的基础上，有效降低伸入人体消化道内部进行消化道深层组织成像采集的采集端直径，进而能够提高用户的使用舒适度；并能够对采集到的散斑图像数据进行优化重检，且能够提高对散斑图像数据进行优化重检的效率、可靠性、智能化程度和自动化程度。[0152] 本申请实施例还提供了一种电子设备，该电子设备可以包括处理器、存储器、接收器及发送器，处理器用于执行上述实施例提及的多模光纤消化内镜成像及优化方法，其中处理器和存储器可以通过总线或者其他方式连接，以通过总线连接为例。该接收器可通过有线或无线方式与处理器、存储器连接。[0153] 处理器可以为中央处理器(CentralProcessingUnit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field?ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。[0154] 存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的多模光纤消化内镜成像及优化方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的多模光纤消化内镜成像及优化方法。[0155] 存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。[0156] 所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行实施例中的多模光纤消化内镜成像及优化方法。[0157] 在本申请的一些实施例中，用户设备可以包括处理器、存储器和收发单元，该收发单元可包括接收器和发送器，处理器、存储器、接收器和发送器可通过总线系统连接，存储器用于存储计算机指令，处理器用于执行存储器中存储的计算机指令，以控制收发单元收发信号。[0158] 作为一种实现方式，本申请中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现，处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。[0159] 作为另一种实现方式，可以考虑使用通用计算机的方式来实现本申请实施例提供的服务器。即将实现处理器，接收器和发送器功能的程序代码存储在存储器中，通用处理器通过执行存储器中的代码来实现处理器，接收器和发送器的功能。[0160] 本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述多模光纤消化内镜成像及优化方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD?ROM、或技术领域内所公知的任意其它形式的存储介质。[0161] 本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。[0162] 需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。[0163] 本申请中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征[0164] 以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

专利地区：河南

专利申请日期：2023-06-20

专利公开日期：2024-09-10

专利公告号：CN116862846B