产学研创新服务平台(开云优惠体育网页版入口)
专利申请类型:实用新型专利;专利名称:具有共享光电检测器的光强度和对比度变化检测能力的像素读出电路
专利类型:实用新型专利
专利申请号:CN202080053703.4
专利申请(专利权)人:苹果公司
权利人地址:美国加利福尼亚州
专利发明(设计)人:E·曼德里,A·K·麦克马洪,N·E·博克
专利摘要:本文公开的各种实施方式包括由具有成像传感器的电子设备实施的设备、系统和方法,成像传感器包括多个像素(例如,像素矩阵),每个像素能够利用至少一个共享光电传感器检测照明强度或对比度变化。在一些实施方式中,成像传感器能够操作于第一照明强度检测模式中(例如,在基于帧的相机模式中)或第二对比度变化检测模式中(例如,在事件相机模式中)。在一些实施方式中,第一照明强度检测模式和第二对比度变化检测模式是相互排斥的。在一些具体实施中,成像传感器的像素包括两个转移晶体管(例如,门),其中第一转移晶体管允许强度检测,并且第二转移晶体管允许对比度变化检测。
主权利要求:
1.一种系统,包括:
多个可寻址像素的矩阵布置,所述像素中的每一者包括:
光电检测器;
选择性地耦接到所述光电检测器的第二传导读出路径,所述第二传导读出路径被配置为检测由所述光电检测器检测的超过阈值的光强度变化,其中,所述第二传导读出路径包括:第一晶体管,所述第一晶体管具有耦接到所述光电检测器的第二端子的第一端子、耦接到用于在第一模式中从所述光电检测器转移光电流的第一模式信号的第三端子;
第二晶体管,所述第二晶体管具有耦接到所述第一晶体管的第二端子的第三端子、耦接到第一参考电压的第一端子、和耦接到事件相机数据输出电路的第二端子;
第三晶体管,所述第三晶体管具有耦接到所述第一晶体管的所述第二端子的第一端子、耦接到第二参考电压的第二端子、和耦接到所述事件相机数据输出电路的第三端子;以及第四晶体管,所述第四晶体管具有耦接到所述第二参考电压的第一端子、耦接到所述事件相机数据输出电路的第二端子、和耦接到偏置信号的第三端子;以及选择性地耦接到所述光电检测器的第一传导读出路径,所述第一传导读出路径被配置为传递对应于累积的由所述光电检测器检测的光强度的电荷。
2.根据权利要求1所述的系统,其中所述光电检测器的第一端子耦接到接地电压。
3.根据权利要求1所述的系统,还包括:
电平移位电路,所述电平移位电路耦接在所述第二晶体管的所述第一端子与所述第一参考电压之间。
4.根据权利要求3所述的系统,其中所述电平移位电路包括第一端子耦接到所述第一参考电压、第二端子耦接到所述第二晶体管的所述第一端子、并且第三端子耦接到所述第二端子的晶体管。
5.根据权利要求1所述的系统,其中所述第一参考电压是接地电压。
6.根据权利要求1所述的系统,其中所述第一参考电压是高于接地电压的低偏置电压,并且所述光电检测器的所述第一端子耦接到负电压。
7.根据权利要求1所述的系统,其中所述第二晶体管是正掺杂晶体管,并且所述第一参考电压是小于所述第二参考电压的正电压。
8.根据权利要求1所述的系统,其中所述第一传导读出路径包括:第五晶体管,所述第五晶体管具有耦接到所述光电检测器的所述第二端子的第一端子、耦接到用于在第二模式中从所述光电检测器转移光生电荷的第二模式信号的第三端子;
第六晶体管,所述第六晶体管具有耦接到所述第五晶体管的第二端子的第三端子、和耦接到所述第二参考电压的第二端子;
第七晶体管,所述第七晶体管具有耦接到所述第六晶体管的第一端子的第二端子、耦接到行选择信号的第三端子、和耦接到输出端子的第一端子;以及第八晶体管,所述第八晶体管具有耦接到所述第六晶体管的第三端子的第一端子、耦接到复位信号的第三端子、和耦接到所述第二参考电压的第二端子。
9.根据权利要求8所述的系统,其中浮置扩散节点耦接在所述第八晶体管的所述第一端子、所述第五晶体管的所述第二端子、和所述第六晶体管的所述第三端子之间。
10.根据权利要求1所述的系统,其中所述像素中的每一者包括多个光电检测器,其中所述多个光电检测器同时耦接到所述第二传导读出路径,并且其中所述多个光电检测器单独地且顺序地耦接到所述第一传导读出路径。
11.根据权利要求1?10中任一项所述的系统,其中所述第一端子是源极端子,所述第二端子是漏极端子,并且所述第三端子是栅极端子。
12.根据权利要求1所述的系统,其中事件相机数据对应于基于像素传感器处的光强度的变化超过比较器阈值而触发的像素事件。 说明书 : 具有共享光电检测器的光强度和对比度变化检测能力的像素
读出电路技术领域[0001] 本公开整体涉及检测照明强度和对比度变化的系统、方法和设备。发明内容[0002] 本文公开的各种具体实施包括由具有成像传感器的电子设备实施的设备、系统和方法,成像传感器包括多个像素(例如,像素矩阵),每个像素能够利用共享光电检测器检测照明强度或对比度变化。在一些具体实施中,成像传感器能够操作于第一照明强度检测模式中(例如,在基于帧的相机模式中)或第二对比度变化检测模式中(例如,在事件相机/动态视觉传感器(DVS)模式中)。在一些具体实施中,第一照明强度检测模式和第二对比度变化检测模式是相互排斥的,例如,其中每个像素在给定时间点仅操作在这些模式中的一者中。在一些具体实施中,成像传感器的像素包括两个转移晶体管(例如,门),其中第一转移晶体管允许强度检测,并且第二转移晶体管允许对比度变化检测。在一些具体实施中,两个转移晶体管中的第一转移晶体管使得能够对于成像传感器的像素在强度检测期间实现完全电荷转移和光电二极管消耗。在一些具体实施中,当使用第一传输门时,成像传感器处的像素可利用诸如四晶体管(4T)像素的标准配置来操作。在一些具体实施中,两个转移晶体管中的第二转移晶体管使光电子能够流过以用于对比度变化检测。在一些具体实施中,两个转移晶体管使得能够由成像传感器执行相互排斥的操作模式。附图说明[0003] 因此,本公开可被本领域的普通技术人员理解,更详细的描述可参考一些例示性具体实施的方面,其中一些具体实施在附图中示出。[0004] 图1是根据一些具体实施的示例性系统的框图。[0005] 图2是根据一些具体实施的示例性控制器的框图。[0006] 图3是根据一些具体实施的示例性电子设备的框图。[0007] 图4是根据一些具体实施的成像传感器的示例性像素的框图。[0008] 图5至图10是根据一些具体实施的成像传感器的附加示例性像素的示意图。[0009] 图11是根据一些具体实施的具有合并的示例性对比度电荷检测电路的图示。[0010] 图12是根据一些具体实施的用于事件相机的像素传感器的框图和像素传感器的示例性电路图。[0011] 图13是4晶体管(4T)像素的示例性布置的图示。[0012] 根据通常的做法,附图中示出的各种特征部可能未按比例绘制。因此,为了清楚起见,可以任意地扩展或减小各种特征部的尺寸。另外,一些附图可能未描绘给定的系统、方法或设备的所有部件。最后,在整个说明书和附图中,类似的附图标号可用于表示类似的特征部。具体实施方式[0013] 描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而,附图仅示出了本公开的一些示例方面,因此不应被视为限制。本领域的普通技术人员将会知道,其他有效方面或变体不包括本文所述的所有具体细节。此外,没有详尽地描述众所周知的系统、方法、部件、设备和电路,以免:疚乃龅氖纠跃咛迨凳┑母嘞喙胤矫。[0014] 图1是根据一些具体实施的示例性操作环境100的框图。作为非限制性示例,操作环境100包括控制器110和电子设备(例如,膝上型电脑)120,它们中的一者或全部可处于物理布景105中。[0015] 在一些具体实施中,控制器110可被配置为检测强度和对比度变化。在一些具体实施中,控制器110包括软件、固件或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中,控制器110是相对于物理布景105处于本地或远程位置的计算设备。[0016] 在一个示例中,控制器110是位于物理布景105内的本地服务器。在另一个示例中,控制器110是位于物理环境105之外的远程服务器(例如,云服务器、中央服务器等)。在一些具体实施中,控制器110经由一个或多个有线或无线通信信道144(例如,蓝牙、IEEE802.11x、IEEE802.16x、IEEE802.3x等)与对应的电子设备120通信地耦接。[0017] 在一些具体实施中,控制器110和对应的电子设备(例如,120)被配置为一起检测强度和对比度变化。[0018] 在一些具体实施中,电子设备120被配置为检测强度和对比度变化。在一些具体实施中,电子设备120包括软件、固件或硬件的合适组合。下文参考图3更详细地描述电子设备120。在一些具体实施中,对应控制器110的功能由电子设备120提供或与电子设备120组合,例如,在用作独立单元的电子设备的情况下。[0019] 图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不:疚乃木咛迨凳┑母嘞喙胤矫,未示出各种其他特征。为此,作为非限制性示例,在一些具体实施中,控制器110包括一个或多个处理单元202(例如,微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如,通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE802.3x、IEEE802.11x、IEEE802.16x、全球移动通信系统(GSM),码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE或相似类型接口)、一个或多个编程(例如,I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。[0020] 在一些具体实施中,该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中,一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像捕获设备或其他传感器、一个或多个显示器等中的至少一者。[0021] 存储器220包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(CGRAM)、双倍数据速率随机存取存储器(DDRRAM)或者其他随机存取固态存储器设备。在一些具体实施中,存储器220包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中,存储器220或存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,包括任选的操作系统230和检测模块240。[0022] 操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中,检测模块240被配置为检测强度和对比度变化。此外,图2更多地用作存在于特定具体实施中的各种特征部的功能描述,与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图2中单独示出的一些功能模块可以在单个模块中实现,并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化,并且在一些具体实施中,部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。[0023] 图3是根据一些具体实施的电子设备120的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不:疚乃木咛迨凳┑母嘞喙胤矫,未示出各种其他特征。为此,作为非限制性示例,在一些具体实施中,电子设备120包括一个或多个处理单元302(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如,USB、FIREWIRE、THUNDERBOLT、IEEE802.3x、IEEE802.11x、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如,I/O)接口310、一个或多个显示器312、一个或多个面向内部或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。[0024] 在一些具体实施中,一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中,一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如,结构光、飞行时间等)等。[0025] 在一些具体实施中,一个或多个显示器312被配置为向用户呈现内容。在一些具体实施中,一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD?LED)、微机电系统(MEMS)或者类似显示器类型。在一些具体实施中,一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如,电子设备可包括单个显示器。又如,电子设备可对于用户的每只眼睛包括显示器。[0026] 存储器320包括高速随机存取存储器,诸如DRAM、CGRAM、DDRRAM或其他随机存取固态存储器设备。在一些具体实施中,存储器320包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离所述一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中,存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,包括任选的操作系统330和检测模块340。[0027] 操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中,检测模块340被配置为检测强度和对比度变化。此外,图3更多地用作存在于特定具体实施中的各种特征部的功能描述,与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图3中单独示出的一些功能模块可以在单个模块中实现,并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化,并且在一些具体实施中,部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。[0028] 图4是根据一些具体实施的能够利用共享光电检测器(例如,单个光电检测器)检测照明强度或对比度变化的成像传感器的示例性像素的框图。如图4所示,混合像素400使用单个光电传感器来操作于第一模式中(例如,照明强度检测、帧相机)以及操作于第二模式中(例如,对比度变化检测、事件相机)。在一些具体实施中,混合像素400在第一模式中使用第一传导读出路径。在一些具体实施中,混合像素400在第二模式中使用第二传导读出路径。[0029] 如图4所示,混合像素400包括单个光电检测器410,其耦接在第一参考电压(例如,地)与第一传导读出路径(例如,照明强度)之间通过第一读出(readout)晶体管TX1到输出430。光电检测器410还连接在第一参考电压和第二传导读出路径(例如,光电流)之间通过第二读出晶体管TX2到动态视觉传感器(DVS)后端420。在一些具体实施中,第一传导读出路径是四晶体管(4T)像素电路,其包括第一读出晶体管TX1、复位晶体管(Reset)、源极跟随器晶体管(SF)、行选择晶体管(Select)到输出430(列总线)。在一些具体实施中,第二传导路径包括第二读出晶体管TX2、晶体管M1、晶体管M2和偏置晶体管(V_ibias)连接到动态视觉传感器(DVS)后端。[0030] 如图4所示,第一传导路径包括第二电极(例如,漏极)连接到第二参考电压404(例如,Vcc)、第一电极(例如,源极)连接到第一读出晶体管TX1的第二电极、并且栅极(例如,第三电极/端子)耦接到复位控制信号的复位晶体管(Reset)。源极跟随器晶体管(SF)具有连接到第二参考电压的第二电极、连接到第一读出晶体管TX1的第二电极和复位晶体管(Reset)的第一电极的栅极、以及连接到选择晶体管(Select)的第二电极的第一电极。在一些具体实施中,浮置扩散节点(FD1)形成在源极跟随器晶体管(SF)的栅极、第一读出晶体管TX1的第二电极、和复位晶体管(Reset)的第一电极的连接处。行选择晶体管(Select)具有连接到作为输出节点430的列总线的第一电极。[0031] 在一些具体实施中,光敏像素400的2D阵列中在第一模式中的混合像素400的操作产生帧或图像。在一些具体实施中,光敏像素400的2D阵列中混合像素400的第一传导路径的操作产生帧或图像。[0032] 在一些具体实施中,混合像素400的第一传导路径的操作包括相关双采样(CDS)以减少固定图案噪声或kTC噪声。在一些具体实施中,相对于图13描述混合像素400的第一传导路径的操作。在一些具体实施中,混合像素400是图像传感器的至少一部分,包括光敏像素的2D阵列,其在来自光敏像素的数据被采集和处理时,产生帧或图像。在一些具体实施中,光电检测器410是光电二极管、光电传感器等。[0033] 在一些具体实施中,混合像素400的第二传导路径检测由光电检测器410产生的光电流中的事件。[0034] 如图4所示,第二连接性读出路径包括第二读出晶体管TX2,第二读出晶体管具有连接到光电检测器410的阴极的第一电极和连接到晶体管M1的栅极的第二电极。晶体管M1的第一电极耦接到第一参考电压402(例如,接地电压),并且第二电极耦接到DVS后端420的输入端、偏置晶体管(V_ibias)的第二电极和晶体管M2的栅极。晶体管M2的第二电极连接到第二参考电压404,并且晶体管M2的第一电极连接到第二读出晶体管TX2的第二电极、以及晶体管M1的栅极。偏置晶体管(V_ibias)具有连接到第二参考电压404的第一电极和耦接到偏置控制信号的栅极。[0035] 在第二操作模式(例如,对比度变化检测、动态视觉传感器、事件相机)中,混合像素400启用读出晶体管TX2使得来自光电检测器410的光电流偏置晶体管M2并且与晶体管M1闭合环以形成向DVS后端420提供输入的对数前端放大器。在一些具体实施中,连接的晶体管M1和M2在来自光电检测器410的光电流与到DVS后端420的输入信号(Vlog_out)之间生成对数关系。在一些具体实施中,读出晶体管TX2在第二模式中始终启用。[0036] 如图4所示,从光电检测器410通过被启用晶体管TX2向晶体管M2的总光电流传递取决于晶体管M1在像素400的第二模式中的操作。在一些具体实施中,存在规定的栅极电压(Vgs)用于偏置晶体管M1。在一些具体实施中,规定的用于偏置晶体管M1的栅极电压(Vgs)是小电压,具体取决于用于实施混合像素400的技术。例如,用于偏置晶体管M1的电压是300mV、400mV、500mV等。[0037] 在一些具体实施中,像素400的第二模式中晶体管M1的栅极电压是比接地电压更高的电压。在一些具体实施中,晶体管M1的栅极电压高于像素400的第二模式中光电检测器410的阻断电压(Vpn)。在一些具体实施中,读出晶体管TX2作为开关操作,使得来自光电检测器410的所有或大部分光电流在像素400的第二模式中流过晶体管M2。[0038] 图5是根据一些具体实施的能够利用共享光电检测器检测照明强度或对比度变化的成像传感器的另一示例性像素的框图。如图5所示,如关于图4所描述,光电二极管410在混合像素500的第一操作模式中通过第一传导读出路径(例如,4T像素)连接到输出列或输出430。如图5所示,电平移位器电路耦接在混合像素500的第二传导路径中。如图5所示,电平移位器电路525耦接到晶体管M1的第一电极。如图5所示,电平移位器电路525增大晶体管M1的栅极电压。在一些具体实施中,电平移位器电路525相对于混合像素500的光电检测器410增大晶体管M1的栅极电压。在一些具体实施中,电平移位器电路525包括具有第一电极连接到第一参考电压402(例如,接地电压)、第二电极和栅极连接到晶体管M1的第一电极的晶体管。[0039] 图6是根据一些具体实施的能够利用共享光电检测器检测照明强度或对比度变化的成像传感器的再一示例性像素的框图。如图6所示,如关于图4所描述,光电二极管410在混合像素600的第一操作模式中通过第一传导读出路径(例如,4T像素)连接到输出列或输出430。如图6所示,附加参考电压耦接在混合像素600的第二传导路径中。如图6所示,与耦接到光电检测器410的阳极的第一参考电压402(例如,地)不同的参考电压625(例如,低偏置电压)耦接到混合像素600的第二传导路径中晶体管M1的第一电极。在一些具体实施中,参考电压625在第一参考电压402与第二参考电压404之间。如图6所示,参考电压625增大晶体管M1的栅极电压。在一些具体实施中,参考电压625相对于混合像素600的光电检测器410增大晶体管M1的栅极电压。[0040] 图7是根据一些具体实施的能够利用共享光电检测器检测照明强度或对比度变化的成像传感器的另外一示例性像素的框图。如图7所示,如关于图4所描述,光电二极管410在混合像素700的第一操作模式中通过第一传导读出路径(例如,4T像素)连接到输出列或输出430。如图7所示,附加参考电压耦接在混合像素700的第二传导路径中。如图7所示,第一参考电压402(例如,地)耦接到晶体管M1的第一电极,并且与第一参考电压不同的参考电压725(例如,固定电压)耦接到混合像素700的第二传导路径中光电检测器410的阳极。在一些具体实施中,参考电压725小于第一参考电压402和第二参考电压404。例如,参考电压725是?1伏(V)。如图7所示,参考电压725相对于光电检测器410增大晶体管M1的栅极电压。在一些具体实施中,参考电压725在混合像素700的第二模式中相对于光电检测器410增大晶体管M1的栅极电压。[0041] 图8是根据一些具体实施的能够利用单个光电检测器检测照明强度或对比度变化的成像传感器的再另外一示例性像素的框图。如图8所示,如关于图4所描述,光电二极管410在混合像素800的第一操作模式中通过第一传导读出路径(例如,4T像素)连接到输出列或输出430。如图8所示,PMOS晶体管M1'825耦接在混合像素800的第二传导路径中。在一些具体实施中,PMOS晶体管M1'825具有耦接到与混合像素700的第二传导路径中的第一参考电压402不同的参考电压806(例如,Vdd)的第一电极。如图8所示,从第一电极到PMOS晶体管M1'825的栅极的电压降(例如,Vgs)根据用于实施混合像素800的技术而变化。例如,从第一电极到PMOS晶体管M1'825的栅极的电压降是0.5V或1V。在一些具体实施中,参考电压806是2.5V或2.0V。在一些具体实施中,参考电压806在混合像素800的第二模式中相对于光电检测器410增大晶体管M1'825的栅极电压。[0042] 图9是根据一些具体实施的能够利用共享光电检测器检测照明强度或对比度变化的成像传感器的另外一示例性像素的框图。如图9所示,多个光电检测器(例如,4个光电二极管)可用作4个独立强度像素,或者被合并在一起作为单个对比度变化像素执行事件检测。[0043] 如图9所示,如关于图4所描述,光电检测器410a?410d在混合像素900的第一操作模式中分别通过第一传导读出路径(例如,4T像素)连接到输出列或输出430。在一些具体实施中,光电检测器410a?410d(例如,在整合周期之后)分别通过顺序地启用第一读出晶体管TX1a?TX1d而被读出。在一些具体实施中,光电检测器410a?410d形成图像传感器中像素的重复拜耳图案(例如,红、绿、蓝、绿;等)。在一些具体实施中,混合像素900被认为在第一模式中使用多个时间顺序的第一输出路径(例如,4)。[0044] 如图9所示,如关于图4所描述的,在混合像素900的第二操作模式中,光电检测器410a?410d分别通过第二传导读出路径连接到DVS后端420。在一些具体实施中,来自光电检测器410a?410d的光电流在第二模式中连续输出到DVS后端420。在一些具体实施中,来自光电检测器410a?410d的光电流在第二模式中通过同时启用多个对应的第二读出晶体管TX2a?TX2d而连续地输出给DVS后端420。在一些具体实施中,所述多个第二读出晶体管TX2a?TX2d利用控制信号TX2_DVS而被同时启用。在一些具体实施中,控制信号TX2_DVS在第二模式中设置为高(例如,启用)。在一些具体实施中,控制信号TX2_DVS在混合像素900的第一模式中设置低(例如,禁用)。在一些具体实施中,混合像素900在低光(例如,对比度)条件中使用。[0045] 在一些具体实施中,混合像素900包括如本文关于图4至图6、图8等所述操作的第一读出路径或第二读出路径。尽管在图9中示出具有4个光电检测器410a?410d,但是在一些具体实施中,混合像素900可使用另一数量的光电检测器(例如,2、3、8、12等)。在一些具体实施中,混合像素900在第一模式中使用第一较高分辨率并且在第二模式中使用第二较低分辨率。如图9所示,混合像素900在第一模式中具有比第二模式中的分辨率高4倍的分辨率。[0046] 图10是根据一些具体实施的能够利用单个光电检测器检测照明强度或对比度变化的成像传感器的再另外一示例性像素的框图。如图10所示,混合像素1000中的晶体管可在第一操作模式(例如,基于帧的相机模式、照明强度检测操作、4T像素)和第二操作模式(例如,事件相机模式、对比度变化检测操作)之间共享。在一些具体实施中,对比度变化检测和照明强度检测可以是时间复用的。在一些具体实施中,光电流在照明强度检测或基于帧的相机模式期间被整合(例如,在节点诸如FD1处)。在一些具体实施中,光电流在对比度变化检测或事件相机模式中流入输入设备(例如,晶体管M2)中。在一些具体实施中,在全局或系统级(例如,成像传感器)处进行使用事件相机模式或是基于帧的相机模式的确定。在一些具体实施中,照明强度检测模式由相同像素中的对比度变化检测事件触发。[0047] 如图10所示,混合像素1000中用于光电检测器410的第一传导读出路径和第二传导读出路径不是分开的路径。在一些具体实施中,至少一些电路设备(例如,晶体管、参考电压、控制信号)在混合像素1000的第一模式与第二模式之间共享。在一些具体实施中,混合像素1000在控制信号(例如,启用DVS)低或关断时实施第一传导路径,并且在控制信号(例如,启用DVS)高或接通时实施第二传导路径。[0048] 如图10所示,当控制信号En_DVS被启用时,开关1025将偏置晶体管的栅极连接到偏置电压V_bias(例如,V_ibias),并且开关1026将晶体管M1的第二电极连接到DVS后端420的输入端子。此外,当控制信号En_DVS被启用时,晶体管1027被启用并将晶体管M1的第一电极连接到参考电压1028(例如,Vdd、V_bias_low),其被设置为确保晶体管M1的栅极电压高于光电检测器410的阻断电压。在一些具体实施中,光电检测器410的阳极连接到?1V,并且参考电压1028是接地电压。因此,如图10所示,当控制信号En_DVS被启用且TX晶体管被启用时,晶体管M1和M2形成连接在光电检测器410与DVS后端420的输入之间的对数放大器。因此,如图10所示,当控制信号En_DVS被启用时,混合像素1000操作于第二模式中。[0049] 如图10所示,当控制信号En_DVS被禁用(例如,低)时,晶体管M1变为源极跟随器晶体管,并且晶体管M2变为4T像素操作中的复位晶体管,以在光电检测器410与输出430(例如,列总线)之间形成第一传导读出路径。在一些具体实施中,当控制信号En_DVS被禁用时,开关1025将偏置晶体管的栅极连接到第二参考电压404,开关1026将晶体管M1的第二电极连接到参考电压404(例如,通过偏置晶体管,其栅极被开关1025连接到第二参考电压404),并且晶体管1027被禁用,使得晶体管M1的第一电极连接到选择晶体管的第二电极。因此,如图10所示,当控制信号En_DVS被禁用时,混合像素1000操作于第一模式中,并且TX晶体管接收如图13中所述的控制信号。[0050] 图11是根据一些具体实施的成像传感器的另一示例的框图,该成像传感器在使用光电检测器的对比度变化检测期间包括合并。如图11所示,对比度变化检测合并可通过将2个或更多个光电传感器的光电流加和到一个放大器中来执行。在一些具体实施中,应关断(例如,围圈)另一放大器的偏置线。[0051] 如图11所示,用于对比度变化检测的图像传感器包括2个光电检测器410a、410b,它们各自通过DVS前端1115a、1115b连接到对应的DVS后端420a、420b。在一些具体实施中,合并电路被配置为在合并电路被启用时将光电检测器410a、410b两者通过单个DVS前端1115b连接到单个DVS后端420b。在一些具体实施中,在合并操作期间不使用的DVS前端1115a和DVS后端420a被禁用或隔离。[0052] 如图11所示,DVS前端1115a、1115b包括6个晶体管,并且合并电路包括合并晶体管1125和合并控制信号(Bin)。在一些具体实施中,当单独光电检测器读出发生时(例如,当Bin控制信号1126被禁用或低时),DVS前端1115a、1115b生成来自光电检测器410a、410b的光电流与到对应DVS后端420a、420b的输入信号之间的对数关系。在合并操作期间的一些具体实施中,Bin控制信号1126被启用并且来自两个光电检测器410a、410b的光电流通过DVS前端1115b组合到DVS后端420b。在合并操作期间的一些具体实施中,Bin控制信号1126被启用并且在合并操作期间不使用的DVS前端1115a和DVS后端420a被禁用或隔离。如图11所示,DVS前端1115a中的晶体管T2由被启用的Bin控制信号1126禁用。在一些具体实施中,合并操作期间图11中的图像传感器的分辨率将小于单独光电检测器读出期间图像传感器的分辨率。[0053] 在一些具体实施中,关于图11描述的合并操作在低对比度条件(例如,低光)中被启用。在一些具体实施中,关于图11描述的合并操作在低对比度条件中被启用,其中由单个光电检测器产生的光电流不足以在DVD后端生成事件,但来自多个光电检测器(例如,2、4、10)的光电流足以在DVS后端生成事件。[0054] 尽管图11中示出了两个光电检测器,但是应用不旨在如此限制。在一些具体实施中,用于对比度变化检测的图像传感器包括多个N个光电检测器,其各自通过N个DVS前端连接到N个DVS后端中的对应一者,其中N是大于1的正整数,并且合并电路被配置为将这N个光电检测器通过单个DVS前端连接到这N个DVS后端中的单个。在一些具体实施中,合并电路还被配置为禁用未使用的N?1个DVS前端以及禁用未使用的N?1个DVS后端。在一些具体实施中,晶体管T4和T1对应于图4至图10中所示的晶体管M1和M2。[0055] 图12是根据一些具体实施的用于示例性事件相机或动态视觉传感器(DVS)的像素传感器的框图和像素传感器的示例性电路图。如图12所示,像素传感器1215可通过在行和列的2D矩阵1210中布置像素传感器1215而相对于电子设备(例如,图1的电子设备120)在已知位置处设置在事件相机上。在图12的示例中,像素传感器1215中的每一者与由一个行值和一个列值定义的地址标识符相关联。[0056] 图12还示出了适于实施像素传感器1215的电路1220的示例性电路图。在图12的示例中,电路1220包括光电二极管1221、电阻器1223、电容器1225、电容器1227、开关1229、比较器1231和事件编译器1232。在操作中,在光电二极管1221两端形成电压,该电压与入射在像素传感器上的光的强度成比例。电容器1225与光电二极管1221并行,并且因此电容器1225两端的电压与光电二极管1221两端的电压相同。[0057] 在电路1220中,开关1229居间在电容器1225和电容器1227之间。因此,当开关1229处于闭合位置时,电容器1227两端的电压与电容器1225和光电二极管1221两端的电压相同。当开关1229处于打开位置时,电容器1227两端的电压固定在当开关1229最后处于闭合位置时电容器1227两端的先前电压。比较器1231接收和比较输入侧上电容器1225和电容器1227两端的电压。如果电容器1225两端的电压与电容器1227两端的电压之间的差超过阈值量(“比较器阈值”),则指示入射在像素传感器上的光强度的电响应(例如,电压)出现在比较器1231的输出侧上。否则,在比较器1231的输出侧上没有电响应。[0058] 当电响应出现在比较器1231的输出侧上时,开关1229转变到闭合位置,并且事件编译器1232接收电响应。在接收到电响应时,事件编译器1232生成像素事件并且用指示电响应的信息(例如,电响应的值或极性)填充像素事件。在一个具体实施中,事件编译器1232还利用以下中的一者或多者填充像素事件:与像素事件生成的时间点相对应的时间戳信息和与生成像素事件的特定像素传感器相对应的地址标识符。[0059] 事件相机通常包括多个像素传感器,如像素传感器1215,其各自响应于检测到超过比较阈值的光强度变化而输出像素事件。当聚集时,所述多个像素传感器输出的像素事件形成由事件相机输出的像素事件流。在一些具体实施中,从事件相机输出的像素事件流获得的光强度数据被用于实施各种应用。当事件相机设置在第一电子设备和第二电子设备中的一个设备上时,光强度变化的至少一部分对应于由设置在第一电子设备和第二电子设备中另一设备上的光源中的一者或多者发射的光。[0060] 图13是4晶体管(4T)像素的示例性布置的图示。在一些具体实施中,图像传感器是光敏像素的2D阵列,其在来自光敏像素的数据被正确采集和处理时产生帧或图像。光电二极管位于像素的光敏区域中并且收集与撞击其表面的光子数量成比例的电荷。每行像素连接到选择晶体管,选择晶体管确定在任何一个时间已选择哪行像素用于读出。一旦行选择晶体管已接合,像素就经由复位晶体管(其充当开关)复位,并且在光检测或整合周期期间由光电二极管累积的电荷在被转移到列总线之前被源极跟随器晶体管缓冲。在正常4T操作中,整合周期完成,然后复位单独的读出节点(例如,浮置扩散节点)。这个复位值然后在传输门被打开之前被采样,以便对信号值进行采样并清空二极管(例如,相关双采样(CDS))。在一些具体实施中,CDS操作以减少或消除固定图案噪声和kTC噪声两者,因为来自浮置扩散节点电容的噪声在信号和复位值两者中被读出,因此当这两个信号被减去时被减少或消除。在一些具体实施中,4T像素是常规3T像素的变体。[0061] 本文阐述了许多具体细节以提供对主题的全面理解。然而,本领域的技术人员将理解,可以在没有这些具体细节的情况下实践主题。在其他情况下,没有详细地介绍普通技术人员已知的方法、装置或系统,以便不使主题晦涩难懂。[0062] 除非另外特别说明,否则应当理解,在整个说明书中,利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程,诸如一个或多个计算机或类似的电子计算设备,其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。[0063] 本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统,其访问存储的软件,该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。[0064] 本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化,例如,可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。[0065] 根据一些具体实施,一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序;该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行,并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施,一种非暂态计算机可读存储介质中存储有指令,这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施,一种设备包括:一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。[0066] 本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言,其不排除适用于或被配置为执行额外任务或步骤的设备。另外,“基于”的使用意味着开放和包容性,因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。[0067] 还将理解的是,虽然术语“第一”、“第二”等可能在本文中用于描述各种元素,但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如,第一节点可以被称为第二节点,并且类似地,第二节点可以被称为第一节点,其改变描述的含义,只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点,但它们不是同一个节点。[0068] 本文中所使用的术语仅仅是为了描述特定具体实施,并非旨在进行限制。如对具体实施的描述中所使用的那样,单数形式的“一个”、“一种”和“该”旨在也涵盖复数形式,除非上下文以其他方式明确地指示。还将理解的是,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件,和/或其分组。[0069] 如本文所使用的,术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真,具体取决于上下文。类似地,短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真,具体取决于上下文。[0070] 本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的,而非限制性的,并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定,而是根据专利法允许的全部广度。应当理解,本文所示和所述的具体实施仅是对本发明原理的说明,并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。
专利地区:美国
专利申请日期:2020-07-16
专利公开日期:2024-11-29
专利公告号:CN114270808B