使用单光子雪崩二极管进行高动态范围图像捕获
背景技术：
1.开发高动态范围(hdr)成像是为了改善所捕获的环境的图像，该环境包括明亮的照明区域/对象和相对较暗的区域/对象两者。作为简要的介绍，hdr成像生成两个独立的图像。一个图像是使用延长的曝光时间生成的，以检测足够的光子来捕获所捕获的环境中的黑暗、阴影区域/对象。另一个图像是使用非常短的曝光时间来检测光子，以捕获明亮的照亮区域/对象，同时避免过饱和。然后，经由信号/图像处理将这两个图像混合/缝合在一起，以生成合成图像，该合成图像显示明亮区域中的对象(而不是简单的褪色的白色模糊)以及黑暗区域中的对象(而不是简单的深色模糊)，有效地增加了组合图像的动态范围。
2.虽然传统的hdr传感器可以为静态环境提供准确且高度动态的图像，但是当hdr传感器用于生成包括场景中的移动对象(或者图像传感器相对于场景移动的情况)的环境的图像时，会出现严重的问题。为了说明这一点，用于形成hdr图像的长曝光图像和短曝光图像通常是在不同时间捕获的(即，一个接一个)。因此，当图像传感器与所捕获的环境之间存在相对运动时，在长曝光图像中捕获的对象可能会与在短曝光图像中捕获的同一对象在空间上错位(misalign)。这种错位可能会导致模糊伪影，从而降低图像质量和/或清晰度。此外，用于捕获长曝光图像的长曝光时间会进一步导致最终图像中出现运动模糊。
3.尽管已经出现了一些依赖于运动跟踪或图像处理的技术来试图对抗hdr成像中的运动模糊，但是这些技术消耗系统功率和计算资源，这在许多成像系统(例如，头戴式显示器(hmd))中是受限的。
4.因此，至少出于前述原因，存在对用于hdr图像捕获的改进系统和技术的持续需求和期望。
5.本文要求保护的主题不限于解决任何缺点或仅在诸如上述那些环境中操作的实施例。相反，该背景仅被提供来说明可以实践本文描述的一些实施例的一个示例性技术领域。
技术实现要素：
6.公开的实施例涉及使用单光子雪崩二极管(spad)进行高动态范围(hdr)图像捕获的系统、方法和设备。
7.一些实施例包括一种系统，该系统包括具有多个spad像素的spad阵列。该系统包括一个或多个处理器和一个或多个硬件存储设备，该硬件存储设备存储能够由该一个或多个处理器执行以配置该系统以执行各种动作的指令。该系统可被配置为执行分割的长曝光操作。分割的长曝光操作包括(i)应用第一组长曝光快门操作来配置所述spad阵列的每个spad像素以实现光子检测，以及(ii)应用第二组长曝光快门操作来配置所述spad阵列的每个spad像素以实现光子检测，其中时间段介于应用所述第一组长曝光快门操作与应用所述第二组长曝光快门操作之间。该系统还可被配置为执行短曝光操作。短曝光操作包括：应用一组短曝光快门操作来配置所述spad阵列的每个spad像素以实现光子检测，该组短曝光快门操作是在介于应用所述第一组长曝光快门操作与应用所述第二组长曝光快门操作之间
的所述时间段期间应用的。该系统还可被配置为至少基于在分割的长曝光操作期间检测到的光子数量和在所述短曝光操作期间检测到的光子数量来生成图像。
8.提供本发明内容是为了以简化的形式介绍概念的选择，这些概念将在下面的具体实施方式中进一步描述。本发明内容无意于识别所要求保护的主题的关键特征或基本特征，也无意于用作确定所要求保护的主题的范围的帮助。
9.附加的特征和优点将在下面的描述中阐述，并且部分地从描述中将是显而易见的，或者可以通过本文的教导的实践而了解到。本发明的特征和优点可以通过所附权利要求中特别指出的手段和组合来实现和获得。本发明的特征将从下面的描述和所附权利要求中变得更加明显，或者可以通过如下文阐述的本发明的实践来了解。
附图说明
10.为了描述获得上述和其他优点和特征的方式，将参考附图中示出的具体实施例对上面简要描述的主题进行更具体的描述。要理解的是，这些附图仅描绘了典型的实施例并且因此不应被认为是对范围的限制，将通过使用附图以额外的特性和细节来描述和解释实施例，其中：
11.图1示出了示例系统的示例组件，该示例系统可以包括或用于实现一个或多个所公开的实施例；
12.图2a-2d示出了可以使用单光子雪崩二极管(spad)阵列来执行以捕获高动态范围(hdr)图像的示例曝光操作；
13.图3和图4示出了使用spad阵列捕获连续hdr图像的示例；以及
14.图5示出了描述与使用spad促进hdr图像捕获相关联的动作的示例流程图。
具体实施方式
15.所公开的实施例总体上涉及使用单光子雪崩二极管(spad)促进高动态范围(hdr)图像捕获的系统、方法和设备。
16.技术益处、改进和实际应用的示例
17.本领域技术人员鉴于本公开将认识到，所公开的实施例中的至少一些可以被实现以解决与用于hdr图像捕获的至少一些传统技术和/或系统相关联的各种缺点。以下部分概述了所公开的实施例提供的一些示例改进和/或实际应用。然而，应当意识到，以下仅是示例并且本文描述的实施例决不限于本文讨论的示例改进。
18.spad在使得spad能够检测单个光子的偏置电压下操作。在检测到单个光子时，形成电子-空穴对，并且电子跨高电场加速，引起雪崩倍增(例如，生成额外的电子-空穴对)。因此，每个检测到的光子都可能触发雪崩事件。spad可以以门控方式操作(每个门对应于单独的快门操作)，其中每个门控快门操作可以被配置为产生二进制输出。二进制输出可以包括“1”，其中在曝光期间检测到雪崩事件(例如，其中检测到光子)，或者包括“0”，其中没有检测到雪崩事件。
19.单独的快门操作可以在帧捕获时间段(例如，30hz时间段，或一些其他帧率)上集成。可以对帧捕获时间段上的快门操作的二进制输出进行计数，并且可以基于计数的二进制输出来计算强度值。
20.spad阵列可以形成图像传感器，其中每个spad形成spad阵列中的单独像素。为了捕获环境的图像，每个spad像素可以检测雪崩事件并且以本文描述的方式为连续快门操作提供二进制输出。可以对帧捕获时间段内的多个快门操作的每像素二进制输出进行计数，并且可以基于计数的每像素二进制输出来计算每像素强度值。每像素强度值可用于形成环境的强度图像。
21.如本文所述的用于hdr图像捕获的spad图像传感器的使用可以提供优于用于hdr图像捕获的传统系统和技术的许多优点。如下文更详细描述的，用于捕获环境中较暗对象的长曝光操作可以被分成多个部分，这些部分被单独读出以形成单独的长曝光图像。在长曝光操作的单独部分之间，可以执行并读出短曝光操作以形成短曝光图像，从而捕获环境中的较亮对象。单独的长曝光图像和短曝光图像可以被组合以用于形成捕获环境中较亮和较暗对象的最终hdr图像。
22.将长曝光操作分成单独的曝光可以减少在单独的(较短的)曝光期间可能出现的运动伪影和/或误差累积。此外，通过在长曝光操作的单独部分之间执行短曝光操作，可以减少短曝光图像和单独的长曝光图像之间的未对准的影响。
23.另外，本文描述的技术可以与运动补偿技术(例如，基于计算机视觉的技术、基于运动的技术)结合使用，以提供具有进一步减轻的运动模糊的改进的hdr图像。
24.spad输出的二值化有效消除了读取噪声，从而与传统cmos和/或ccd传感器相比，提高了spad图像传感器阵列的信噪比(特别是在弱光环境下)。因此，将长曝光操作分成单独读出的多个部分并执行单独读出的中间短曝光操作不会导致读取噪声增加。相反，尝试执行这种分割的长曝光操作并插入短曝光操作将导致cmos和/或ccd传感器中的读取噪声增加。
25.此外，与包括用于同时执行短曝光操作和长曝光操作以进行hdr成像的空间复用传感器像素组的cmos和ccd传感器系统相比，可以使用单组spad像素来执行本技术以促进如本文所描述的分割长曝光和短曝光，从而避免与空间复用的传感器像素组相关联的设计和制造复杂性。
26.刚刚描述了所公开的实施例的各种高级特征和益处中的一些，现在将注意力转向图1至图5。这些图示出了与所公开的实施例相关的各种概念表示、架构、方法和支持说明。
27.使用spad进行hdr图像捕获的示例系统和技术
28.现在关注图1，图1示出了可以包括或用于实现一个或多个所公开的实施例的示例系统100。图1将系统100描绘为头戴式显示器(hmd)，其被配置为放置在用户的头部上方以显示供用户的眼睛观看的虚拟内容。这样的hmd可以包括增强现实(ar)系统、虚拟现实(vr)系统和/或任何其他类型的hmd。尽管本公开在至少一些方面集中于被实现为hmd的系统100，但是应当注意，本文描述的用于利用spad阵列的技术可以使用其他类型的系统/设备来实现，但不限于此。
29.图1示出了系统100的各种示例组件。例如，图1示出了其中系统包括处理器102、存储装置104、传感器110、i/o系统116以及通信系统118的实现方式。虽然图1将系统100示出为包括特定组件，但是鉴于本公开，人们将意识到，系统100可以包括任何数量的附加或替代组件。
30.处理器102可以包括一组或多组电子电路，其包括任何数量的逻辑单元、寄存器
和/或控制单元，以促进计算机可读指令(例如，形成计算机程序的指令)的执行。这样的计算机可读指令可以存储在存储装置104内。存储装置104可以包括物理系统存储器并且可以是易失性的、非易失性的或它们的某种组合。此外，存储装置104可以包括本地存储装置、远程存储装置(例如，可经由通信系统116或其他方式访问)或它们的某种组合。下文将提供与处理器(例如，处理器102)和计算机存储介质(例如，存储装置104)相关的附加细节。
31.在一些实施方式中，处理器102可包括或被配置为执行软件和/或硬件组件的任何组合，所述软件和/或硬件组件可操作以促进使用机器学习模型或其他基于人工智能的结构/架构的处理。例如，处理器102可以包括和/或利用可操作来执行功能块和/或处理层的硬件组件或计算机可执行指令，所述功能块和/或处理层以非限制性示例的方式配置为单层神经网络、前馈神经网络、径向基函数网络、深度前馈网络、循环神经网络、长短期记忆(lstm)网络、门控循环单元、自动编码器神经网络、变分自动编码器、去噪自动编码器、稀疏自动编码器、马尔可夫链、hopfield神经网络、玻尔兹曼机网络、受限玻尔兹曼机网络、深度信念网络、深度卷积网络(或卷积神经网络)、反卷积神经网络、深度卷积逆图形网络、生成对抗网络、液体状态机、极限学习机、回声状态网络、深度残差网络、kohonen网络、支持向量机、神经图灵机和/或其他网络。
32.如将更详细地描述的，处理器102可以被配置为执行存储在存储装置104内的指令106以执行与使用spad阵列的hdr成像相关联的某些动作。这些动作可以至少部分地依赖于以易失性或非易失性方式存储在存储装置104上的数据108(例如，雪崩事件计数或跟踪等)。
33.在一些情况下，动作可以至少部分地依赖于从远程系统120接收数据的通信系统118，远程系统120可以包括例如单独的系统或计算设备、传感器和/或其他。通信系统120可以包括可操作以促进系统内组件/设备之间和/或与系统外组件/设备之间的通信的软件或硬件组件的任意组合。例如，通信系统120可以包括端口、总线或用于与其他设备/组件通信的其他物理连接装置。另外或替代地，通信系统120可包括可操作以通过任何合适的通信信道(例如，作为非限制性示例，蓝牙、超宽带、wlan、红外通信和/或其他)与外部系统和/或设备无线通信的系统/组件。
34.图1示出了系统100可以包括传感器110或与传感器110通信。传感器110可以包括用于捕获或测量表示可感知现象的数据的任何设备。作为非限制性示例，传感器110可以包括一个或多个图像传感器、麦克风、温度计、气压计、磁力计、加速计、陀螺仪和/或其他传感器。
35.图1还示出了传感器110包括spad阵列112。如图1中所描绘的，spad阵列112包括spad像素122的布置，每个spad像素122被配置为响应于感测到光子来促进雪崩事件，如上所述。如下文将更详细描述的，spad阵列112可以在系统100(例如，mr hmd)上实现以促进与hdr成像相关联的各种图像捕获功能。
36.图1还示出了传感器110包括惯性测量单元114(imu 114)。imu 114可以包括任意数量的加速计、陀螺仪和/或磁力计，以当系统在物理空间内移动时捕获与系统100相关联的运动数据。
37.此外，图1示出了系统100可以包括i/o系统116或与i/o系统116通信。i/o系统116可以包括任何类型的输入或输出设备，例如通过非限制性示例是触摸屏、鼠标、键盘、控制
器和/或其他，但不限于此。例如，i/o系统116可以包括显示系统，该显示系统可以包括任意数量的显示面板、光学器件、激光扫描显示组件和/或其他部件。在一些情况下，spad阵列112可以配置有与显示系统的像素分辨率相匹配的spad像素122的分辨率，这可以有利于高保真直通成像。
38.现在将注意力转向图2a-2d，图2a-2d示出了可以使用spad阵列来执行以捕获hdr图像的示例曝光操作。具体地，图2a示出了spad阵列200，其可对应于上文参考图1描述的spad阵列112。在这方面，spad阵列的spad像素202被配置为响应于检测到光子来触发雪崩事件。spad像素202可以以受控的门控方式操作以促进用于hdr成像的不同曝光操作。
39.图2a示出了spad像素之间的虚线和省略号240以及将在下文中更详细地描述的曝光操作的表示。虚线和省略号240指示可以使用spad阵列200的任意数量的spad像素(例如，所有spad像素)来执行下文描述的曝光操作。为了清楚和简单起见，图2a中显示了曝光操作的单个实例。图2a还提供了时间轴t以示出下文将描述的不同曝光操作之间的时间关系。
40.图2a示出，为了促进hdr成像，spad阵列200的spad像素被配置为执行分割的长曝光操作204和短曝光操作214。分割的长曝光操作204至少包括第一长曝光206和第二长曝光208。虽然图2a将分割的长曝光操作204示出为仅包括第一长曝光206和第二长曝光208，但是分割的长曝光操作204可以包括任何数量的单独部分/曝光。
41.图2a(通过从第一长曝光206向下延伸的虚线)描绘了第一长曝光206包括应用第一组长曝光快门操作210。如上所述，向spad像素应用快门操作配置spad像素响应于检测到的光子而触发雪崩事件。因此，在快门操作期间雪崩事件的存在表明spad像素在快门操作期间检测到光子。spad像素在快门操作期间是否经历雪崩事件(并因此检测到光子)可以由二进制“1”或“0”表示，其中“1”表示在快门操作期间发生雪崩事件，而“0”表示快门操作期间没有发生雪崩事件。因此，图2a描绘了与二进制“1”或“0”相关联的每个长曝光快门操作210。
42.图2a还描绘了在特定的长曝光选通时间212上执行各个长曝光快门操作210。长曝光选通时间212是spad像素被配置为响应于检测到的光子而触发雪崩事件的持续时间。较长的选通时间可以有利于检测来自捕获的环境中的较暗对象的光子反射。
43.尽管图2a仅明确地描绘了与分割的长曝光操作204的第一长曝光206相关联的第一组长曝光快门操作210，但是应用对应的第二组长曝光快门操作来促进分割的长曝光操作204的第二长曝光208。如下文将更详细描述的，第一长曝光206和第二长曝光208的结果可被组合以形成hdr图像的长曝光分量。
44.图2a还示出分割的长曝光操作204的第一长曝光206和第二长曝光208在时间上彼此偏移。换句话说，时间段介于第一长曝光206和第二长曝光208的执行之间。以这种方式，可以在介于分割的长曝光操作204的第一长曝光206与第二长曝光208之间的时间段期间执行短曝光操作214。
45.如图2a中从短曝光操作214向下延伸的虚线所示，短曝光操作包括应用一组短曝光快门操作216。与长曝光快门操作210类似，短曝光快门操作216将spad像素配置为响应于检测到的光子而触发雪崩事件，并且雪崩事件(以及因此检测到的光子)的存在可以由二进制“1”或“0”表示。
46.从图2a可以明显看出，短曝光快门操作216与短曝光选通时间218相关联，并且短
曝光选通时间218短于与长曝光快门操作210相关联的长曝光选通时间212。在一个示例中，对于11位数据，长曝光选通时间212可包括约11ms(例如，当以约90fps执行长曝光快门操作时)，而短曝光选通时间218可包括约0.5ms(例如，当以约900fps执行短曝光快门操作216时)。较短的选通时间可以有利于捕获环境中明亮照明的对象，同时避免过饱和。
47.此外，从图2a可以明显看出，与执行短曝光快门操作216的有效曝光时间相比，第一长曝光206和/或第二长曝光208的长曝光快门操作是在更长的有效曝光时间内执行的。因此，在一些实现方式中，第一和第二长曝光206被配置为适当地曝光所捕获环境的较暗对象/区域，而短曝光操作214被配置为适当地曝光所捕获环境的较亮对象/区域。
48.图2b示出了，在一些情况下，相应的部分帧是从用于捕获hdr图像的单独曝光分量(即，第一长曝光206、中间短曝光操作214和第二长曝光208)生成的。具体地，图2b示出了在第一长曝光206之后执行读出220a以形成部分帧222a。对于spad阵列，“读出”包括确定或输出在每个像素的基础上通过一组快门操作检测到的光子数量。捕获所捕获环境的较亮部分的像素将比捕获所捕获环境的较暗部分的像素计数到更多数量的光子。因此，在该组快门操作期间检测到的每像素光子数量可用于形成强度图像。
49.因此，图2b示出了基于根据执行第一长曝光206的第一组长曝光快门操作210的读出220a而形成的部分帧222a。部分帧222a概念性地表示捕获的场景，其包括沙滩球和太阳。与太阳相比，沙滩球可能显得相对较暗(例如，相对于图像捕获视点，太阳位于沙滩球后面，导致沙滩球出现阴影)。因此，由于与第一长曝光206相关联的长曝光时间，部分帧222a将较暗的沙滩球描绘为适当曝光，并将较亮的太阳描绘为过度曝光。
50.图2b还示出了基于根据执行短曝光操作214的短曝光快门操作216的读出220b而形成的部分帧222b。由于与短曝光操作214相关联的短曝光时间，部分帧222b将较暗的沙滩球描绘为曝光不足，并将较亮的太阳描绘为适当曝光。图2b还示出了基于根据执行第二长曝光208的长曝光快门操作的读出220c而形成的部分帧222c。与部分帧222a类似，部分帧222c将较暗的沙滩球描绘为被适当曝光，并将较亮的太阳描绘为过度曝光。
51.使用这些部分帧222a、222b和222c，系统可以生成将明亮和黑暗的捕获对象描绘为适当曝光的合成hdr图像。例如，图2c示出了执行处理224以组合部分帧222a、222b和222c以形成图像226。图2c将图像226示出为描绘沙滩球的适当曝光的表示(借用使用较长曝光时间捕获的部分帧222a和222c)和太阳的适当曝光的表示(借用使用较短曝光时间捕获的部分帧222b)。
52.图像226因此包括hdr图像。因为短曝光操作是在分割的长曝光操作204的第一长曝光206和第二长曝光208之间执行的，所以可以减少部分帧222b与部分帧222a和222c之间的空间未对准。此外，因为执行单独的长曝光206和208以生成单独的长曝光部分帧222a和222c，所以与执行单个、不间断的长曝光操作以生成单个长曝光部分帧的情况相比，单独的长曝光部分帧222a和222c可以经历减少的运动模糊。
53.尽管图2a-2c描绘了在相等的相应持续时间(例如，相应的有效曝光时间)上执行第一长曝光206和第二长曝光208，但在某些实施方式中，分割的长曝光操作204的单独分量可以在不同的相应持续时间上执行。此外，在一些情况下，基于先前曝光操作的读出动态地修改后续曝光操作(例如，长曝光分量或短曝光操作)的有效曝光时间。例如，可以基于对部分帧222a中曝光不足的对象的检测和/或第一长曝光206的读出220a来修改将执行第二长
曝光208的持续时间。
54.在一些实施方式中，可以执行附加动作以进一步减轻或减少捕获的hdr图像中的运动模糊。例如，在一些情况下，系统结合上述利用分割的长曝光操作204和中间短曝光操作214的技术来执行运动补偿操作以生成hdr图像。
55.图2d示出了基于运动数据(例如，经由imu 114获得的)的示例运动补偿操作。具体地，图2d示出了与第一长曝光206相关联的运动数据228a、与短曝光操作214相关联的运动数据228b以及与第二长曝光208相关联的运动数据228c。在一些情况下，各种运动数据是在执行上述各种曝光操作期间由imu 114捕获的。例如，imu 114可在第一长曝光206期间捕获运动数据228a。运动数据228a可表示在第一长曝光206期间的一个或多个平均或中值运动度量。imu 114还可在短曝光操作214期间捕获运动数据228b。运动数据228b可以表示短曝光操作214期间的一个或多个平均或中值运动度量(例如，相对于由运动数据228a表示的位置的测量的位置变化)。类似地，imu 114还可以在第二长曝光208期间捕获运动数据228c。运动数据228c可以表示在第二长曝光208期间的一个或多个平均或中值运动度量(例如，相对于由运动数据228b表示的位置的测量的位置变化)。
56.与各种曝光操作相关联的运动数据因此可以与基于各种曝光操作生成的不同部分帧相关联。例如，在一个示例中，运动数据228a与部分帧222a相关联，运动数据228b与部分帧222b相关联，并且运动数据228c与部分帧222c相关联。以此方式，运动数据228a、228b和228c可用于补偿spad阵列200在部分帧222a、222b和222c的捕获之间的移动，以对准部分帧222a、222b和222c以用于生成hdr图像。因此，图2d示出了使用运动数据228a、228b和228c以及相关联的部分帧222a、222b和222c来生成图像232的处理和运动补偿230。
57.在一些情况下，用于生成图像的运动补偿操作附加地或替代地利用基于计算机视觉的运动补偿技术。例如，在一些实现方式中，运动补偿操作可以包括全局或局部下采样、对准和上采样操作以减少hdr图像(例如，图像232)中的运动伪影。
58.图3和图4示出了使用spad阵列捕获连续hdr图像的示例。作为示例实现方式，连续的hdr图像可以使用hmd的一个或多个spad阵列来捕获，并且可以用于生成所捕获的环境的直通图像以实时呈现给hmd的用户。
59.图3示出了使用spad阵列200执行的各种长曝光和短曝光。具体地，图3示出了长曝光302a，其后是短曝光304a，其后是长曝光302b。图3示出了长曝光302a、短曝光304a和长曝光302b可用于使用与上文参考图2a-2d描述的技术类似的技术来生成图像306a(例如，如通过从长曝光302a、短曝光304a和长曝光302b延伸到图像306a的箭头所指示的)。为了清楚起见，图3省略了与读出、生成部分帧、处理、运动补偿等相关的细节。
60.图3示出了示例实现方式，其中长曝光302c在长曝光302b之后，短曝光304b在长曝光302c之后，并且长曝光302d在短曝光304b之后。图3的图像306b在时间上在图像306a之后形成，并且与图像306a类似，图像306b基于长曝光302c、短曝光304b和长曝光302b形成(例如，如经由从长曝光302c、短曝光304b和长曝光302d延伸到图像306b的箭头所指示的)。在这方面，系统可以出于各种目的(例如，用于呈现给hmd的用户)以期望的帧速率(例如，30fps或更高)连续地生成hdr图像。
61.长曝光302c和/或302d的长曝光快门操作可以具有与长曝光302a和/或302b的长曝光快门操作相同或不同的选通时间段。类似地，短曝光304b的短曝光快门操作可以具有
与短曝光304b的短曝光操作相同或不同的选通时间段。
62.图4示出了生成连续hdr图像的附加实现方式。图4显示以交错方式执行的长曝光和短曝光，每次短曝光紧接在长曝光之后，并且每次长曝光之后紧接着短曝光。具体地，图4示出了初始长曝光402a，随后是短曝光404a，其后是长曝光402b，其后是短曝光404b，其后是长曝光402c，其后是短曝光404c，随后是长曝光402d。
63.与图3的图像306a类似，图4示出长曝光402a、短曝光404a和长曝光402b可用于使用与上文参考图2a-2d描述的技术类似的技术来生成图像406a(例如，如经由从长曝光402a、短曝光404a和长曝光402b延伸到图像406a的箭头所指示的)。
64.图4还示出，在一些情况下，使用单个长曝光来形成多个hdr图像。举例来说，图4示出了基于长曝光402b、短曝光404b和长曝光402c形成图像406b(如从长曝光402b、短曝光404b和长曝光402c延伸到图像406b的箭头所指示的)。在这方面，长曝光402b用于形成图像406a和图像406b两者。可以实现这样的功能以有利地促进更高速率的连续hdr图像捕获/生成。
65.使用spad捕获hdr图像的示例方法
66.下面的讨论现在涉及可以由所公开的系统执行的多种方法和方法动作。尽管方法动作是按一定顺序讨论的，并且在流程图中说明为按特定顺序发生的，但除非特别说明或者因为一个动作依赖于在执行该动作之前完成的另一个动作而需要，否则不需要特定的排序。人们将意识到，本公开的某些实施例可以省略本文描述的一项或多项动作。
67.图5示出了描绘与使用spad促进hdr图像捕获相关联的动作的示例流程图500。对流程图中表示的各种动作的讨论包括对参照图1更详细描述的各种硬件组件的引用。
68.流程图500的动作502包括执行分割的长曝光操作。在一些情况下，动作502由系统100利用处理器102、存储装置104、传感器110、输入/输出系统116、通信系统118和/或其他组件来执行。
69.如图5所示，动作502与附加子动作相关联。例如，动作502包括应用第一组长曝光快门操作来配置spad阵列的每个单光子雪崩二极管(spad)像素以实现光子检测的动作502a。对于每个长曝光快门操作，通过检测在长曝光快门操作期间是否发生雪崩事件来促进光子检测。动作502还包括应用第二组长曝光快门操作来配置spad阵列的每个spad像素以实现光子检测的动作502b，其中时间段介于应用第一组长曝光快门操作与应用第二组长曝光快门操作之间。
70.流程图500的动作504包括通过应用一组短曝光快门操作来配置spad阵列的每个spad像素以实现光子检测来执行短曝光操作，在介于第一组长曝光快门操作的应用与第二组长曝光快门操作的应用之间的时间段期间应用该组短曝光快门操作。在一些情况下，动作504由系统100利用处理器102、存储装置104、传感器110、输入/输出系统116、通信系统118和/或其他组件来执行。在一些情况下，第一组长曝光快门操作和第二组长曝光快门操作(根据动作502参考)中的长曝光快门操作具有比该组短曝光快门操作中的短曝光快门操作更长的选通时间段。
71.流程图500的动作506包括至少基于在分割的长曝光操作期间检测到的光子数量和在短曝光操作期间检测到的光子数量来生成图像。在一些情况下，动作506由系统100利用处理器102、存储装置104、传感器110、输入/输出系统116、通信系统118和/或其他组件来
执行。
72.在一些情况下，生成图像的系统应用运动补偿操作来生成图像。示例运动补偿操作可以是基于运动的，并且可以包括(i)将第一组长曝光快门操作与在应用第一组长曝光快门操作期间捕获的第一运动数据相关联，(ii)将该组短曝光快门操作与在应用该组短曝光快门操作期间捕获的第二运动数据相关联，(iii)将第二组长曝光快门操作与在应用第二组长曝光快门操作期间捕获的第三运动数据相关联，以及(iv)使用第一运动数据、第二运动数据和第三运动数据来减少图像中的运动模糊。
73.在一些情况下，运动补偿操作附加地或替代地包括基于计算机视觉的运动补偿操作(例如，下采样、对准/滤波和上采样)。
74.流程图500的动作508包括在应用第二组长曝光快门操作之后，通过应用后续组短曝光快门操作以配置spad阵列的每个spad像素以实现光子检测，来执行后续短曝光操作。在一些情况下，动作508由系统100利用处理器102、存储装置104、传感器110、输入/输出系统116、通信系统118和/或其他组件来执行。在一些实施方式中，后续组短曝光快门操作中的短曝光快门操作具有与该组短曝光快门操作中的短曝光快门操作相同的选通时间段。
75.流程图500的动作510包括在执行后续短曝光操作之后，通过应用后续组长曝光快门操作来配置spad阵列的每个spad像素以实现光子检测，来执行后续长曝光操作。在一些情况下，动作510由系统100利用处理器102、存储装置104、传感器110、输入/输出系统116、通信系统118和/或其他组件来执行。在一些实施方式中，后续组长曝光快门操作中的长曝光快门操作具有与第一组长曝光快门操作和第二组长曝光快门操作中的长曝光快门操作相同的选通时间段。
76.此外，流程图500的动作512包括基于以下各项来生成后续图像：(i)在分割的长曝光操作的应用第二组长曝光快门操作期间检测到的光子数量，(ii)在后续短曝光操作期间检测到的光子的数量，以及(iii)在后续长曝光操作期间检测到的光子的数量。连续生成的图像可用于各种应用，例如用于促进hmd上的直通成像。
77.所公开的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下文更详细讨论的。所公开的实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。以数据形式存储计算机可执行指令的计算机可读介质是一个或多个“物理计算机存储介质”或“硬件存储设备”。仅承载计算机可执行指令而不存储计算机可执行指令的计算机可读介质是“传输介质”。因此，作为示例而非限制，当前实施例可以包括至少两种截然不同的计算机可读介质：计算机存储介质和传输介质。
78.计算机存储介质(也称为“硬件存储设备”)是计算机可读硬件存储设备，例如ram、rom、eeprom、cd-rom、基于ram、闪存、相变存储器(“pcm”)或其他类型的存储器的固态驱动器(“ssd”)、或其他光盘存储、磁盘存储或其他磁存储设备、或可用于在硬件中存储计算机可执行指令、数据或数据结构的形式的期望的程序代码装置并且可以由通用或专用计算机访问的任何其他介质。
[0079]“网络”被定义为能够在计算机系统和/或模块和/或其他电子设备之间运送电子数据的一个或多个数据链路。当信息通过网络或另一通信连接(硬连线、无线、或者硬连线或无线的组合)传送或提供到计算机系统时，计算机系统正确地将连接视为传输介质。传输
介质可以包括网络和/或数据链路，其可以用于承载计算机可执行指令或数据结构形式的程序代码，并且可以由通用或专用计算机访问。上述的组合也包括在计算机可读介质的范围内。
[0080]
此外，在到达各种计算机系统组件时，计算机可执行指令或数据结构形式的程序代码装置可以自动地从传输计算机可读介质传送到物理计算机可读存储介质(或反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以缓冲在网络接口模块(例如，“nic”)内的ram中，然后最终传送到计算机系统ram和/或计算机系统中的较不易失性计算机可读物理存储介质。因此，计算机可读物理存储介质可以被包括在也(或者甚至主要)利用传输介质的计算机系统组件中。
[0081]
计算机可执行指令包括例如使得通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。计算机可执行指令可以是例如二进制、诸如汇编语言的中间格式指令、或者甚至是源代码。尽管已经以特定于结构特征和/或方法动作的语言描述了本主题，但是应当理解，所附权利要求中定义的主题不一定限于上述所描述的特征或动作。相反，所描述的特征和动作被公开为实现权利要求的示例形式。
[0082]
所公开的实施例可以包括或利用云计算。云模型可以由各种特征(例如，按需自助服务、广泛的网络访问、资源池、快速弹性、可测量服务等)、服务模型(例如，软件即服务(“saas”)、平台即服务(“paas”)、基础设施即服务(“iaas”)和部署模型(例如私有云、社区云、公共云、混合云等)构成。
[0083]
本领域技术人员将理解，本发明可以在具有许多类型的计算机系统配置的网络计算环境中实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程的消费电子产品、网络pc、小型计算机、大型计算机、移动电话、pda、寻呼机、路由器、交换机、可穿戴设备等。本发明还可以在分布式系统环境中实践，其中通过网络(或者通过硬连线数据链路、无线数据链路或者通过硬连线数据链路和无线数据链路的组合)链接的多个计算机系统(例如，本地和远程系统)执行任务。在分布式系统环境中，程序模块可以位于本地和/或远程存储器存储设备中。
[0084]
替代地或附加地，本文描述的功能可以至少部分地由一个或多个硬件逻辑组件来执行。例如但不限于，可以使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(fpga)、专用程序集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)、中央处理单元(cpu)、图形处理单元(gpu)和/或其他。
[0085]
如本文所使用的，术语“可执行模块”、“可执行组件”、“组件”、“模块”或“引擎”可以指代硬件处理单元或可以在一个或多个计算机系统上执行的软件对象、例程或方法。本文描述的不同组件、模块、引擎和服务可以被实现为在一个或多个计算机系统上执行的对象或处理器(例如，作为单独的线程)。
[0086]
人们还将意识到本文公开的任何特征或操作可以如何与本文公开的其他特征和操作中的任何一个或组合来组合。另外，任一附图中的内容或特征可以与任何其他附图中使用的任何内容或特征组合或结合使用。就这一点而言，任何一幅附图中公开的内容不是相互排斥的，而是可以与来自任何其他附图的内容组合。
[0087]
在不背离本发明的精神或特征的情况下，本发明可以以其他具体形式来实施。所描述的实施例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由
所附权利要求而不是前述描述来指示。落入权利要求的等同物的含义和范围内的所有改变均被包含在其范围内。