1.本发明涉及距离图像摄像装置及距离图像摄像方法。本技术基于2021年1月21日在日本技术的日本特愿2021－008218号及日本特愿2021－008219号主张优先权，这里引用其全部内容。
背景技术：
2.以往，作为用来计测与物体的距离的技术，有测量光脉冲的飞行时间的技术。这样的技术被称作飞行时间(time of flight，以下称作tof)。在tof中，利用光的速度为已知，向物体照射近红外区域的光脉冲。并且，测量照射了该光脉冲的时刻与接收到所照射的光脉冲由物体反射来的反射光的时刻的时间差。基于该时间差，计算与物体的距离。使用光电二极管(光电变换元件)来检测用于测量距离的光的测距传感器已得到实用化。
3.并且，近年来，如下的测距传感器已得到实用化：不仅能够得到与物体的距离，还能够得到包含物体的二维的图像中的每个像素的进深信息、即对于物体的三维的信息。这样的测距传感器也被称作距离图像摄像装置。在距离图像摄像装置中，在硅基板上以二维的矩阵状配置有多个包括光电二极管的像素，由该像素面将物体所反射的反射光接收。在距离图像摄像装置中，通过将基于各个像素接收到的光量(电荷)的光电变换信号输出1个图像的量，能够得到包含物体的二维的图像和构成该图像的各个像素的每个像素的距离的信息。例如，在专利文献1中，公开了在1个像素中设置3个电荷积蓄部、依次分配电荷来计算距离的技术。
4.现有技术文献
5.专利文献
6.专利文献1：日本特许第4235729号公报
技术实现要素：
7.发明要解决的技术问题
8.在这样的距离图像摄像装置中，像素将由物体反射来的反射光接收，将接收到的反射光的光量光电变换为电荷，使变换后的电荷积蓄在电荷积蓄部中，基于所积蓄的电荷量计算距离的信息。但是，有根据积蓄的电荷量计算的距离相对于实际的距离(实际距离)有误差的情况。
9.本发明是基于上述的技术问题而做出的，目的是提供一种即使在基于积蓄在电荷积蓄部中的电荷量而计算的距离有误差的情况下也能够进行修正以接近于实际的距离的距离图像摄像装置及距离图像摄像方法。即，目的是提供一种即使在基于积蓄在电荷积蓄部中的电荷量而计算的距离与实际的距离之间有误差的情况下也能够将计算的距离修正(运算)以使其接近于实际的距离的距离图像摄像装置及距离图像摄像方法。
10.用来解决技术问题的手段
11.本发明的距离图像摄像装置具备：光源部，向存在被摄体的测量空间照射光脉冲；
接收部，具有像素和像素驱动电路，上述像素具备产生与入射的光对应的电荷的光电变换元件及将上述电荷积蓄的多个电荷积蓄部，上述像素驱动电路以与上述光脉冲的照射同步的规定的定时、对上述像素中的上述电荷积蓄部分别分配并积蓄上述电荷；存储部，存储将到被摄体的对应距离与电荷比建立了对应的表信息；以及距离图像处理部，使用在各个上述电荷积蓄部中积蓄的电荷量和上述表信息，决定到上述被摄体的测量距离。上述距离图像处理部，基于在多个上述电荷积蓄部的各个电荷积蓄部中积蓄的电荷量计算上述电荷比；从上述表信息取得与计算出的上述电荷比对应的上述对应距离；使用所取得的上述对应距离而决定上述测量距离。
12.在本发明的距离图像摄像装置中，上述存储部按基于每单位积蓄次数积蓄的电荷量的第1变量，存储上述表信息，上述表信息表示基于上述电荷比的第2变量与上述对应距离的关系，上述对应距离对应于到上述被摄体的距离。上述第1变量是与每单位积蓄次数在各个上述电荷积蓄部中积蓄的电荷量之和对应的变量。上述第2变量是与使用距离运算用电荷量表示的电荷比对应的变量，上述距离运算用电荷量是通过从在多个上述电荷积蓄部中的两个以上的距离运算用电荷积蓄部的各自中积蓄的电荷量中减去外光成分而得到的，上述两个以上的距离运算用电荷积蓄部是被分配并积蓄与上述光脉冲被上述被摄体反射的反射光对应的电荷量的两个以上的距离运算用电荷积蓄部。上述距离图像处理部，基于在各个上述电荷积蓄部中积蓄的电荷量，计算上述第1变量及上述第2变量；选择与计算出的上述第1变量对应的上述表信息；使用所选择的上述表信息，取得与计算出的上述第2变量对应的上述对应距离；使用所取得的上述对应距离，决定上述测量距离。
13.在本发明的距离图像摄像装置中，上述电荷比是两个以上的上述距离运算用电荷积蓄部的某一个或多个的组合的上述距离运算用电荷量相对于在各个上述距离运算用电荷积蓄部中积蓄的上述距离运算用电荷量的和之比。
14.在本发明的距离图像摄像装置中，上述距离图像处理部，基于在各个上述电荷积蓄部中积蓄的电荷量，计算上述第1变量及上述第2变量；选择与计算出的上述第1变量对应的上述表信息；从所选择的上述表信息中，提取出与比上述第2变量小的电荷比建立了对应的第1距离以及与比上述第2变量大的电荷比建立了对应的第2距离；通过对提取出的上述第1距离和上述第2距离进行线性插补，决定上述测量距离。
15.在本发明的距离图像摄像装置中，上述像素具备三个以上的上述电荷积蓄部；上述距离图像处理部将在三个以上的上述电荷积蓄部的各自中积蓄的电荷量中的最少的电荷量设为相当于外光成分的电荷量。
16.在本发明的距离图像摄像装置中，上述像素具备三个以上的上述电荷积蓄部。上述距离图像处理部，以使得在三个以上的上述电荷积蓄部中的预先决定的外光积蓄用电荷积蓄部中不积蓄与上述反射光对应的电荷的方式，对使上述外光积蓄用电荷积蓄部积蓄电荷的定时进行控制；将积蓄在上述外光积蓄用电荷积蓄部中的电荷量作为相当于外光成分的电荷量。
17.在本发明的距离图像摄像装置中，上述存储部存储第1表信息和第2表信息，上述第1表信息是对应于上述第1变量比阈值小的情况的上述表信息，上述第2表信息是对应于上述第1变量比上述阈值大的情况的上述表信息。上述阈值是根据从上述光电变换元件到上述电荷积蓄部的路径中的电荷的转送效率而决定的值。上述距离图像处理部，基于在各
个上述电荷积蓄部中积蓄的电荷量而计算上述第1变量及上述第2变量；在计算出的上述第1变量比上述阈值小的情况下选择上述第1表信息；在计算出的上述第1变量比上述阈值大的情况下选择上述第2表信息。
18.在本发明的距离图像摄像装置中，上述存储部按两个上述距离运算用电荷积蓄部的每个组合，存储上述表信息。上述距离图像处理部，将在三个以上的上述电荷积蓄部中的、使电荷积蓄的定时为连续的两个上述电荷积蓄部的各自中积蓄的电荷量的和比在其他的两个上述电荷积蓄部的各自中积蓄的电荷量大的组合，决定为上述距离运算用电荷积蓄部的组合，根据所决定的上述距离运算用电荷积蓄部的组合，选择上述表信息。
19.在本发明的距离图像摄像装置中，在上述像素中，设有三个上述电荷积蓄部即第1电荷积蓄部、第2电荷积蓄部及第3电荷积蓄部。上述距离图像处理部，以在与上述光脉冲的照射同步的定时、在上述第1电荷积蓄部、第2电荷积蓄部及第3电荷积蓄部中依次积蓄上述电荷的方式，进行控制；使用积蓄在上述第1电荷积蓄部中的第1电荷量和积蓄在上述第3电荷积蓄部中的第3电荷量，计算作为上述第1电荷量与上述第3电荷量的差的第1计算值；将上述第1计算值作为两个上述距离运算用电荷积蓄部的某一方的上述距离运算用电荷量。
20.在本发明的距离图像摄像装置中，在上述像素中，设有四个上述电荷积蓄部即第1电荷积蓄部、第2电荷积蓄部、第3电荷积蓄部及第4电荷积蓄部。上述距离图像处理部，以在与上述光脉冲的照射同步的定时、在上述第1电荷积蓄部、第2电荷积蓄部、第3电荷积蓄部及第4电荷积蓄部中依次积蓄上述电荷的方式，进行控制；使用积蓄在上述第1电荷积蓄部中的第1电荷量和积蓄在上述第3电荷积蓄部中的第3电荷量，计算作为上述第1电荷量与上述第3电荷量的差的第1计算值；使用积蓄在上述第2电荷积蓄部中的第2电荷量和积蓄在上述第4电荷积蓄部中的第4电荷量，计算作为上述第2电荷量与上述第4电荷量的差的第2计算值；将把上述第1计算值的绝对值与上述第2计算值的绝对值相加得到的相加值作为两个上述距离运算用电荷积蓄部中的上述距离运算用电荷量的和；将上述第1计算值作为两个上述距离运算用电荷积蓄部中的一方的上述距离运算用电荷量；将上述第2计算值作为两个上述距离运算用电荷积蓄部中的另一方的上述距离运算用电荷量。
21.在本发明的距离图像摄像装置中，上述电荷比是使用距离运算用电荷量表示的比率，上述距离运算用电荷量是通过从在多个上述电荷积蓄部中的两个以上的电荷积蓄部的各自中积蓄的电荷量中减去相当于外光成分的电荷量而得到的，上述两个以上的电荷积蓄部是被分配并积蓄与上述光脉冲被上述被摄体反射的反射光对应的电荷的两个以上的电荷积蓄部，上述表信息被以如下的方式制作：关于在将上述表信息中包含的变量分别以升序或降序排列的情况下相当于相邻的上述变量的差的表间隔，使得处于偏倚状态的上述变量的表间隔比不处于上述偏倚状态的上述变量的表间隔小，上述变量是上述电荷比和上述对应距离中的某个，上述偏倚状态是上述电荷比高于规定的上限值的状态或上述电荷比低于规定的下限值的状态。
22.在本发明的距离图像摄像装置中，设多个上述电荷积蓄部中的最先积蓄与上述光脉冲被上述被摄体反射的反射光对应的电荷的电荷积蓄部为第1电荷积蓄部。设接着上述第1电荷积蓄部而积蓄与上述反射光对应的电荷的电荷积蓄部为第2电荷积蓄部。设从积蓄在上述第1电荷积蓄部中的第1电荷量中减去相当于外光成分的电荷量所得的电荷量为第1距离运算用电荷量。设从积蓄在上述第2电荷积蓄部中的第2电荷量中减去相当于外光成分
的电荷量所得的电荷量为第2距离运算用电荷量。上述电荷比是上述第2距离运算用电荷量相对于上述第1距离运算用电荷量及上述第2距离运算用电荷量的和之比。上述偏倚状态是上述电荷比高于规定的上限值或低于规定的下限值的状态。
23.在本发明的距离图像摄像装置中，上述表信息中包含的上述变量分别是在上述电荷比小于第1阈值的第1范围、上述电荷比为第1阈值以上且小于第2阈值的第2范围及上述电荷比为第2阈值以上的第3范围的某个范围中包含的值。上述第3范围中的上述表间隔比上述第2范围中的上述表间隔小。
24.在本发明的距离图像摄像装置中，上述表信息中包含的上述变量分别是在上述电荷比小于第1阈值的第1范围、上述电荷比为第1阈值以上且小于第2阈值的第2范围及上述电荷比为第2阈值以上的第3范围的某个范围中包含的值。上述第1范围中的上述表间隔比上述第2范围中的上述表间隔小。
25.在本发明的距离图像摄像装置中，上述距离图像处理部，计算基于在多个上述电荷积蓄部的各自中积蓄的电荷量的上述电荷比；从上述表信息中提取与比计算出的上述电荷比小的电荷比建立了对应的第1距离以及与比计算出的上述电荷比大的电荷比建立了对应的第2距离；通过对提取出的上述第1距离与上述第2距离进行线性插补，决定上述测量距离。
26.在本发明的距离图像摄像装置中，上述像素具备三个以上的上述电荷积蓄部。上述距离图像处理部将在三个以上的上述电荷积蓄部的各自中积蓄的电荷量中的最少的电荷量作为相当于外光成分的电荷量。
27.在本发明的距离图像摄像装置中，上述像素具备三个以上的上述电荷积蓄部。上述距离图像处理部，以在三个以上的上述电荷积蓄部中的预先决定的外光积蓄用电荷积蓄部中不积蓄与上述反射光对应的电荷的方式，控制使上述外光积蓄用电荷积蓄部积蓄电荷的定时；将积蓄在上述外光积蓄用电荷积蓄部中的电荷量作为相当于外光成分的电荷量。
28.在本发明的距离图像摄像装置中，在上述像素中，设有三个上述电荷积蓄部即第1电荷积蓄部、第2电荷积蓄部及第3电荷积蓄部。上述距离图像处理部，以在与上述光脉冲的照射同步的定时、在上述第1电荷积蓄部、第2电荷积蓄部及第3电荷积蓄部中依次积蓄上述电荷的方式，进行控制；使用积蓄在上述第1电荷积蓄部中的第1电荷量和积蓄在上述第3电荷积蓄部中的第3电荷量，计算作为上述第1电荷量与上述第3电荷量的差的第1计算值；将上述第1计算值作为在三个上述电荷积蓄部中的被分配并积蓄与上述光脉冲被上述被摄体反射的反射光对应的电荷量的两个距离运算用电荷积蓄部的某一方中所积蓄的与上述反射光对应的电荷量。
29.在本发明的距离图像摄像装置中，在上述像素中，设有四个上述电荷积蓄部即第1电荷积蓄部、第2电荷积蓄部、第3电荷积蓄部及第4电荷积蓄部。上述距离图像处理部，以在与上述光脉冲的照射同步的定时、在上述第1电荷积蓄部、第2电荷积蓄部、第3电荷积蓄部及第4电荷积蓄部中依次积蓄上述电荷的方式，进行控制；使用积蓄在上述第1电荷积蓄部中的第1电荷量和积蓄在上述第3电荷积蓄部中的第3电荷量，计算作为上述第1电荷量与上述第3电荷量的差的第1计算值；使用积蓄在上述第2电荷积蓄部中的第2电荷量和积蓄在上述第4电荷积蓄部中的第4电荷量，计算作为上述第2电荷量与上述第4电荷量的差的第2计算值；将把上述第1计算值的绝对值与上述第2计算值的绝对值相加得到的加算值作为距离
运算用电荷量的和，上述距离运算用电荷量是在四个上述电荷积蓄部中的被分配并积蓄与上述光脉冲被上述被摄体反射的反射光对应的电荷量的两个距离运算用电荷积蓄部的各自中所积蓄的与上述反射光对应的电荷量；将上述第1计算值作为两个上述距离运算用电荷积蓄部中的一方的上述距离运算用电荷量；将上述第2计算值作为两个上述距离运算用电荷积蓄部中的另一方的上述距离运算用电荷量。
30.在本发明的距离图像摄像装置中，上述像素具备三个以上的上述电荷积蓄部。设三个以上的上述电荷积蓄部中的最先积蓄与上述光脉冲被上述被摄体反射的反射光对应的电荷的电荷积蓄部为第1电荷积蓄部。设接着上述第1电荷积蓄部而积蓄与上述反射光对应的电荷的电荷积蓄部为第2电荷积蓄部。上述存储部按上述第1电荷积蓄部和上述第2电荷积蓄部的每个组合而存储上述表信息。上述距离图像处理部，将在三个以上的上述电荷积蓄部中的、使电荷积蓄的定时为连续的两个上述电荷积蓄部的各自中积蓄的电荷量的和比在其他的两个上述电荷积蓄部的各自中积蓄的电荷量大的组合，决定为上述第1电荷积蓄部及上述第2电荷积蓄部的组合；根据所决定的上述第1电荷积蓄部及上述第2电荷积蓄部的组合，选择上述表信息。
31.在本发明的距离图像摄像装置中，设多个上述电荷积蓄部中的最先积蓄与上述光脉冲被上述被摄体反射的反射光对应的电荷的电荷积蓄部为第1电荷积蓄部。设接着上述第1电荷积蓄部而积蓄与上述反射光对应的电荷的电荷积蓄部为第2电荷积蓄部。上述存储部存储：近距离用信息，上述近距离用信息是与如下的上述第1电荷积蓄部和上述第2电荷积蓄部的组合对应的上述表信息，上述第1电荷积蓄部和上述第2电荷积蓄部积蓄与被处于近距离的上述被摄体反射的反射光对应的电荷量；以及远距离用信息，上述远距离用信息是与如下的上述第1电荷积蓄部和上述第2电荷积蓄部的组合对应的上述表信息，上述第1电荷积蓄部和上述第2电荷积蓄部积蓄与被处于远距离的上述被摄体反射的反射光对应的电荷量。上述近距离用信息中包含的上述变量分别是在上述电荷比小于第1阈值的第1范围、上述电荷比为第1阈值以上且小于第2阈值的第2范围及上述电荷比为第2阈值以上的第3范围的某个范围中包含的值。上述第3范围中的上述表间隔比上述第2范围中的上述表间隔小。上述远距离用信息中包含的上述变量分别是在上述电荷比小于第4阈值的第4范围、上述电荷比为第4阈值以上且小于第5阈值的第5范围及上述电荷比为第5阈值以上的第6范围的某个范围中包含的值。上述第4范围中的上述表间隔比上述第5范围中的上述表间隔小。
32.本发明的距离图像摄像方法，是由距离图像摄像装置进行的距离图像摄像方法，上述距离图像摄像装置具备：光源部，向存在被摄体的测量空间照射光脉冲；接收部，具有像素和像素驱动电路，上述像素具备产生与入射的光对应的电荷的光电变换元件及将上述电荷积蓄的多个电荷积蓄部，上述像素驱动电路以与上述光脉冲的照射同步的规定的定时、对上述像素中的上述电荷积蓄部分别分配并积蓄上述电荷；存储部，存储将到被摄体的对应距离与电荷比建立了对应的表信息；以及距离图像处理部，使用在各个上述电荷积蓄部中积蓄的电荷量和上述表信息，决定到上述被摄体的测量距离。在上述距离图像摄像方法中，上述距离图像处理部基于在多个上述电荷积蓄部的各个电荷积蓄部中积蓄的电荷量计算上述电荷比；从上述表信息取得与计算出的上述电荷比对应的上述对应距离；使用所取得的上述对应距离而决定上述测量距离。
33.本发明的距离图像摄像方法，是由上述距离图像摄像装置进行的距离图像摄像方法，上述距离图像摄像装置的上述存储部按基于每单位积蓄次数积蓄的电荷量的第1变量，存储表示作为上述电荷比的第2变量与上述对应距离的关系的上述表信息，上述对应距离对应于到上述被摄体的距离。在本发明的距离图像摄像方法中，上述第1变量是与每单位积蓄次数在上述电荷积蓄部的各自中积蓄的电荷量的和对应的变量。上述第2变量是与使用距离运算用电荷量表示的电荷比对应的变量，上述距离运算用电荷量是通过从在三个以上的上述电荷积蓄部中的两个以上的距离运算用电荷积蓄部的各自中积蓄的电荷量中减去外光成分而得到的，上述两个以上的距离运算用电荷积蓄部是被分配并积蓄与上述光脉冲被上述被摄体反射的反射光对应的电荷量的两个以上的距离运算用电荷积蓄部。上述距离图像处理部，基于在上述电荷积蓄部的各自中积蓄的电荷量计算上述第1变量及上述第2变量；选择与计算出的上述第1变量对应的上述表信息；使用所选择的上述表信息，取得与计算出的上述第2变量对应的上述对应距离；使用所取得的上述对应距离，决定上述测量距离。
34.在本发明的距离图像摄像方法中，上述电荷比是使用距离运算用电荷量表示的比率，上述距离运算用电荷量是通过从在多个上述电荷积蓄部中的两个以上的电荷积蓄部的各自中积蓄的电荷量中减去相当于外光成分的电荷量而得到的，上述两个以上的电荷积蓄部是被分配并积蓄与上述光脉冲被上述被摄体反射的反射光对应的电荷的两个以上的电荷积蓄部；上述表信息被以如下的方式制作：关于在将上述表信息中包含的变量分别以升序或降序排列的情况下相当于相邻的上述变量的差的表间隔，使得处于偏倚状态的上述变量的表间隔比不处于上述偏倚状态的上述变量的表间隔小，上述变量是上述电荷比和上述对应距离中的某个，上述偏倚状态是上述电荷比高于规定的上限值的状态或上述电荷比低于规定的下限值的状态。
35.发明效果
36.根据本发明，即使在基于积蓄在电荷积蓄部中的电荷量而计算的距离中有误差的情况下，也能够修正为接近于实际的距离。即，即使在基于积蓄在电荷积蓄部中的电荷量而计算的距离与实际的距离之间有误差的情况下，也能够将计算的距离修正(运算)为接近于实际的距离。
附图说明
37.图1是表示第1实施方式的距离图像摄像装置的概略结构的框图。
38.图2是表示第1实施方式的距离图像传感器的概略结构的框图。
39.图3是表示第1实施方式的像素的结构的一例的电路图。
40.图4是表示对第1实施方式的像素进行驱动的定时的例子的时序图。
41.图5a是表示第1实施方式的表信息的结构的例子的图。
42.图5b是表示第1实施方式的表信息的结构的例子的图。
43.图5c是表示第1实施方式的表信息的结构的例子的图。
44.图5d是表示第1实施方式的表信息的结构的例子的图。
45.图6是说明第1实施方式的表信息的图。
46.图7是说明第1实施方式的距离图像处理部使用表信息进行线性插补的处理的图。
47.图8是说明第1实施方式的距离图像处理部决定外光成分的处理的图。
48.图9是说明第1实施方式的距离图像处理部决定外光成分的处理的图。
49.图10是表示第1实施方式的距离图像处理部进行的处理的流程的流程图。
50.图11是说明第1实施方式的效果的图。
51.图12是表示第1实施方式的变形例1的表信息的结构的例子的图。
52.图13是表示第1实施方式的变形例2的表信息的结构的例子的图。
53.图14是说明第1实施方式的变形例3的两个时间窗的图。
54.图15是表示第1实施方式的变形例3的表信息的结构的例子的图。
55.图16是表示第1实施方式的变形例3的表信息的结构的例子的图。
56.图17是表示第2实施方式的距离图像摄像装置的概略结构的框图。
57.图18是表示第2实施方式的距离图像传感器的概略结构的框图。
58.图19是表示第2实施方式的像素的结构的一例的电路图。
59.图20是表示第2实施方式的对像素进行驱动的定时的例子的时序图。
60.图21是表示第2实施方式的表信息的结构的例子的图。
61.图22是说明第2实施方式的表信息的图。
62.图23是说明第2实施方式的距离图像处理部使用表信息进行线性插补的处理的图。
63.图24是说明第2实施方式的距离图像处理部决定外光成分的处理的图。
64.图25是说明第2实施方式的距离图像处理部4决定外光成分的处理的图。
65.图26是表示第2实施方式的距离图像处理部进行的处理的流程的流程图。
66.图27是说明第2实施方式的效果的图。
67.图28是说明第2实施方式的变形例的两个时间窗的图。
68.图29是表示第2实施方式的变形例的表信息的结构的例子的图。
69.图30是表示第2实施方式的变形例的表信息的结构的例子的图。
70.图31是说明第2实施方式的变形例的表信息的图。
71.图32是表示第2实施方式的变形例的表信息的结构的例子的图。
72.图33是说明第2实施方式的变形例的表信息的图。
具体实施方式
73.(第1实施方式)
74.以下，一边参照附图一边说明第1实施方式的距离图像摄像装置。
75.首先，对第1实施方式进行说明。图1是表示本发明的第1实施方式的距离图像摄像装置1的概略结构的框图。图1所示的结构的距离图像摄像装置1具备光源部2、接收部3和距离图像处理部4。在图1中，还与距离图像摄像装置1一起表示了在距离图像摄像装置1中测量距离的对象物即被摄体ob。
76.光源部2按照来自距离图像处理部4的控制，向在距离图像摄像装置1中测量距离的对象的被摄体ob所存在的摄影对象的空间照射光脉冲po。光源部2例如是垂直共振器面发光激光器(vcsel：vertical cavity surface emitting laser)等的面发光型的半导体激光器模组。光源部2具备光源装置21和扩散板22。
erasable programmable read only memory)、ram(random access read/write memory)、rom(read only memory)或这些存储介质的任意的组合构成。存储部44例如存储表信息440。关于表信息440，在后面详细地进行说明。
89.通过这样的结构，在距离图像摄像装置1中，接收部3对光源部2照射在被摄体ob上的近红外的波段的光脉冲po由被摄体ob反射的反射光rl进行接收，距离图像处理部4输出测量了与被摄体ob的距离而得到的距离信息。
90.另外，在图1中，表示了在内部具备距离图像处理部4的结构的距离图像摄像装置1，但距离图像处理部4也可以是在距离图像摄像装置1的外部具备的构成要素。
91.接着，对在距离图像摄像装置1中作为摄像元件使用的距离图像传感器32的结构进行说明。图2是表示在实施方式的距离图像摄像装置1中使用的摄像元件(距离图像传感器32)的概略结构的框图。
92.如图2所示，距离图像传感器32例如具备配置有多个像素321的接收区域320、控制电路322、具有分配动作的垂直扫描电路323、水平扫描电路324和像素信号处理电路325。
93.接收区域320是配置有多个像素321的区域，在图2中表示了以8行8列配置为二维的矩阵状的例子。像素321积蓄与所接收的光量相当的电荷。控制电路322总括地控制距离图像传感器32。控制电路322例如根据来自距离图像处理部4的定时控制部41的指示，对距离图像传感器32的构成要素的动作进行控制。另外，也可以是定时控制部41直接进行距离图像传感器32中具备的构成要素的控制的结构。在此情况下，也可以将控制电路322省略。
94.垂直扫描电路323是根据来自控制电路322的控制而将配置在接收区域320中的像素321按每行进行控制的电路。垂直扫描电路323使与积蓄在像素321的各个电荷积蓄部cs中的电荷量对应的电压信号向像素信号处理电路325输出。在此情况下，垂直扫描电路323将由光电变换元件变换后的电荷向像素321的电荷积蓄部分别分配。即，垂直扫描电路323是“像素驱动电路”的一例。
95.像素信号处理电路325是根据来自控制电路322的控制而对于从各个列的像素321输出到对应的垂直信号线中的电压信号进行预先设定的信号处理(例如，噪声抑压处理、a/d变换处理等)的电路。
96.水平扫描电路324是根据来自控制电路322的控制而使从像素信号处理电路325输出的信号向水平信号线依次输出的电路。由此，将相当于积蓄了1帧的电荷量的像素信号经由水平信号线向距离图像处理部4依次输出。
97.以下，假设像素信号处理电路325进行a/d变换处理、像素信号是数字信号而进行说明。
98.这里，对在距离图像传感器32所具备的接收区域320内配置的像素321的结构进行说明。图3是表示在实施方式的距离图像传感器32的接收区域320内配置的像素321的结构的一例的电路图。在图3中，表示了配置在接收区域320内的多个像素321中的1个像素321的结构的一例。像素321是具备3个像素信号读出部的结构的一例。
99.如图3所示，像素321具备1个光电变换元件pd、漏极栅极晶体管gd、从对应的输出端子o输出电压信号的3个像素信号读出部ru。像素信号读出部ru分别具备读出栅极晶体管g、浮置扩散部fd、电荷积蓄电容c、复位栅极晶体管rt、源极跟随栅极晶体管sf和选择栅极晶体管sl。在各个像素信号读出部ru中，由浮置扩散部fd和电荷积蓄电容c构成电荷积蓄部
cs。
100.另外，在图3中，通过在3个像素信号读出部ru的标号“ru”之后赋予“1”“2”或“3”的数字，将各个像素信号读出部ru区别。此外，与3个像素信号读出部ru同样，对于3个像素信号读出部ru所具备的各个构成要素，也通过将表示各个像素信号读出部ru的数字表示在表示各个构成要素的标号之后来区别表示。
101.在图3所示的像素321中，从输出端子o1输出电压信号的像素信号读出部ru1具备读出栅极晶体管g1、浮置扩散部fd1、电荷积蓄电容c1、复位栅极晶体管rt1、源极跟随栅极晶体管sf1和选择栅极晶体管sl1。在像素信号读出部ru1中，由浮置扩散部fd1和电荷积蓄电容c1构成电荷积蓄部cs1。像素信号读出部ru2及像素信号读出部ru3也是与像素信号读出部ru1同样的结构。
102.光电变换元件pd是对入射的光进行光电变换而产生电荷、将所产生的电荷积蓄的埋入型的光电二极管。光电变换元件pd的构造可以是任意的。光电变换元件pd例如既可以是将p型半导体与n型半导体接合的构造的pn光电二极管，也可以是在p型半导体与n型半导体之间夹着i型半导体的构造的pin光电二极管。此外，光电变换元件pd并不限定于光电二极管，例如也可以是光电门方式的光电变换元件。
103.在像素321中，光电变换元件pd将对入射的光进行光电变换而产生的电荷向3个电荷积蓄部cs分别分配，将与被分配的电荷的电荷量对应的各个电压信号向像素信号处理电路325输出。
104.配置在距离图像传感器32中的像素的结构并不限定于图3所示那样的具备3个像素信号读出部ru的结构，只要是具备多个像素信号读出部ru的结构的像素即可。即，配置在距离图像传感器32中的像素所具备的像素信号读出部ru(电荷积蓄部cs)的数量也可以是两个，也可以是4个以上。
105.此外，在图3所示的结构的像素321中，表示了电荷积蓄部cs由浮置扩散部fd和电荷积蓄电容c构成的一例。但是，电荷积蓄部cs只要至少由浮置扩散部fd构成即可，像素321也可以是不具备电荷积蓄电容c的结构。
106.此外，在图3所示的结构的像素321中，表示了具备漏极栅极晶体管gd的结构的一例，但并不限定于此。例如，在不需要将没有被积蓄到电荷积蓄部cs中而残留在光电变换元件pd中的电荷丢弃的情况下，也可以是不具备漏极栅极晶体管gd的结构。
107.接着，使用图4对像素321的驱动定时进行说明。图4是表示第1实施方式的将像素321驱动的定时的时序图。
108.在图4中，分别将照射光脉冲po的定时用“l”、将反射光被接收的定时用“r”、将驱动信号tx1的定时用“g1”、将驱动信号tx2的定时用“g2”、将驱动信号tx3的定时用“g3”、将驱动信号rstd的定时用“gd”这样的项目名表示。另外，驱动信号tx1是使读出栅极晶体管g1驱动的信号。关于驱动信号tx2、tx3也与驱动信号tx1是同样的。
109.如图4所示，将光脉冲po以照射时间to照射，滞后延迟时间td后，反射光rl被距离图像传感器32接收。垂直扫描电路323与光脉冲po的照射同步地使电荷依次积蓄到电荷积蓄部cs1、cs2及cs3中。在图4中，将在1次的分配处理中照射光脉冲po而到使电荷依次积蓄到电荷积蓄部cs1、cs2及cs3中为止的时间表示为“单位积蓄期间”。将在“单位积蓄期间”中进行的分配处理以相当于1帧的积蓄次数反复进行后，进行将在该期间中积蓄的电荷量读
出的处理。将进行将该积蓄的电荷量读出的处理的时间表示为“读出期间”。
110.首先，使用图4对将来自处于近距离的物体的反射光rl接收的情况进行说明。垂直扫描电路323与使光脉冲po照射的定时同步，将漏极栅极晶体管gd设为断开状态，并将读出栅极晶体管g1设为导通状态。垂直扫描电路323在从将读出栅极晶体管g1设为导通状态起经过积蓄时间ta后，将读出栅极晶体管g1设为断开状态。由此，在读出栅极晶体管g1被控制为导通状态的期间中由光电变换元件pd进行光电变换后的电荷经由读出栅极晶体管g1被积蓄到电荷积蓄部cs1中。
111.接着，垂直扫描电路323在将读出栅极晶体管g1设为断开状态的定时，将读出栅极晶体管g2在积蓄时间ta中设为导通状态。由此，在读出栅极晶体管g2被控制为导通状态的期间中由光电变换元件pd进行光电变换后的电荷经由读出栅极晶体管g2被积蓄到电荷积蓄部cs2中。
112.接着，垂直扫描电路323在使向电荷积蓄部cs2的电荷的积蓄结束的定时，将读出栅极晶体管g3设为导通状态，在经过积蓄时间ta之后，将读出栅极晶体管g3设为断开状态。由此，在读出栅极晶体管g3被控制为导通状态的期间中由光电变换元件pd进行光电变换后的电荷经由读出栅极晶体管g3被积蓄到电荷积蓄部cs3中。
113.接着，垂直扫描电路323在使向电荷积蓄部cs3的电荷的积蓄结束的定时，将漏极栅极晶体管gd设为导通状态而进行电荷的排出。由此，由光电变换元件pd光电变换后的电荷经由漏极栅极晶体管gd被丢弃。
114.垂直扫描电路323将上述那样的驱动在1帧中反复进行规定的分配次数。然后，垂直扫描电路323输出与分配给各个电荷积蓄部cs的电荷量对应的电压信号。具体而言，垂直扫描电路323通过将选择栅极晶体管sl1在规定时间内设为导通状态，使与经由像素信号读出部ru1积蓄在电荷积蓄部cs1中的电荷量对应的电压信号从输出端子o1输出。同样，垂直扫描电路323通过依次将选择栅极晶体管sl2、sl3设为导通状态，使与积蓄在电荷积蓄部cs2、cs3中的电荷量对应的电压信号从输出端子o2、o3输出。接着，经由像素信号处理电路325及水平扫描电路324，将分别积蓄在电荷积蓄部cs1～cs3中的相当于1帧的电荷量的电信号向距离运算部42输出。
115.另外，在上述中，以光源部2在读出栅极晶体管g1成为导通状态的定时照射光脉冲po的情况为例进行了说明。但是，并不限定于此。光源部2只要至少在来自处于近距离的物体的反射光rl跨电荷积蓄部cs1、cs2被接收那样的定时照射光脉冲po即可。例如，光源部2也可以在读出栅极晶体管g1成为导通状态跟前的定时照射光脉冲po。此外，在上述中，以照射光脉冲po的照射时间to是与积蓄时间ta相同长度的情况为例进行了说明。但是，并不限定于此。照射时间to和积蓄时间ta也可以是不同的时间间隔。
116.在图4所示那样的近距离接收像素中，根据照射光脉冲po的定时与使电荷积蓄到电荷积蓄部cs1～cs3的各自中的定时之间的关系，向电荷积蓄部cs1及cs2分配相当于反射光rl及外光成分的电荷量并保持。此外，在电荷积蓄部cs3中，保持相当于背景光等的外光成分的电荷量。在此情况下，电荷积蓄部cs1及cs2是“距离运算用电荷积蓄部”的一例。在此情况下，积蓄在电荷积蓄部cs1及cs2中的相当于反射光rl的电荷量是“距离运算用电荷量”的一例。
117.对电荷积蓄部cs1及cs2分配的电荷量的配比(分配比率)，为与到光脉冲po由被摄
体ob反射而入射到距离图像摄像装置1中为止的延迟时间td对应的比率。
118.距离运算部42利用该原理，在以往的近距离接收像素中，通过以下的(1)式计算延迟时间td。
119.td＝to
×
(q2－q3)/(q1 q2－2
×
q3)
…
(1)
120.这里，to表示光脉冲po被照射的期间，q1表示积蓄在电荷积蓄部cs1中的电荷量，q2表示积蓄在电荷积蓄部cs2中的电荷量，q3表示积蓄在电荷积蓄部cs3中的电荷量。另外，在(1)式中，以积蓄在电荷积蓄部cs1及cs2中的电荷量中的相当于外光成分的电荷量与积蓄在电荷积蓄部cs3中的电荷量是同量为前提。
121.距离运算部42在近距离接收像素中，通过对由(1)式求出的延迟时间td乘以光速(速度)，计算出到被摄体ob为止的往复的距离。接着，距离运算部42通过将在上述中计算出的往复的距离设为1/2，求出到被摄体ob的距离。
122.这里，对在以往的距离图像摄像装置1中在根据积蓄的电荷量计算的距离(测量距离)中发生误差的原因进行说明。
123.作为发生误差的一个原因，可以想到，通过距离图像摄像装置1的电路内的信号延迟，在矩形的上升或下降中发生延迟，在波形中发生钝化。即，这样的光脉冲及栅极脉冲的钝化及电荷转送的延迟成为在测量的距离中发生误差的原因。作为其对策，例如采用使用将距离d与电荷比r建立了对应的对应表(“表信息”的一例)来修正误差的方法。这里的距离是到被摄体ob的距离。
124.这里的电荷比r，是在反射光rl被分配而积蓄的两个电荷积蓄部cs(图4中的电荷积蓄部cs1及cs2)的各自中积蓄的电荷量的比率。在此情况下，电荷比r例如由以下的(2)式或(3)式表示。
125.r＝q1#/(q1# q2#)
…
(2)
126.r＝q2#/(q1# q2#)
…
(3)
127.其中，
128.q1#＝q1－qb
129.q2#＝q2－qb
130.q1是积蓄在电荷积蓄部cs1中的电荷量
131.q2是积蓄在电荷积蓄部cs2中的电荷量
132.qb是积蓄在电荷积蓄部cs中的相当于外光成分的电荷量
133.通过使用将距离d与电荷比r建立了对应的对应表，即使在由(1)式计算出的距离中发生了误差的情况下，也能够将距离修正以使误差变少。另外，关于计算相当于外光成分的电荷量qb的方法，在后面详细地进行说明。
134.此外，作为发生误差的另一原因，可以想到，根据在1次的光电变换中产生的电荷的绝对量，将电荷转送的效率(转送效率)不同。这里的转送，是从光电变换元件pd将电荷积蓄到电荷积蓄部cs的各自中。
135.例如，在入射到光电变换元件pd中的光的强度(光量)较小的情况下，与入射到光电变换元件pd中的光的强度较大的情况相比，转送效率下降。考虑这是因为，在转送路径中形成有电势的凹部(孔)的情况下等，为了将该凹部填埋而使用与转送中的电荷有关的电子。
136.例如，在向光电变换元件pd入射的光的强度较大的情况下，由光电变换元件pd产生的电荷量较多。因此，即使为了将凹部填埋而使用电子，整体的电荷量也几乎没有变化，转送效率不怎么下降。
137.另一方面，在向光电变换元件pd入射的光的强度较小的情况下，由光电变换元件pd产生的电荷量较少。因此，在为了将凹部填埋而使用电子的情况下，整体的电荷量较大地减少，转送效率下降。
138.在使用将距离d与电荷比r建立了对应的对应表的情况下，不能考虑这样的转送效率的好坏。其理由是因为，电荷比r是以每1帧积蓄的电荷量q1或q2为对象而计算的值，不知道在1次的积蓄次数中积蓄的电荷量。结果，测量距离与实际的距离不同，不能考虑转送效率的好坏成为发生距离偏差的原因。
139.作为其对策，在本实施方式中，按单位积蓄电荷量qint，制作表信息440。单位积蓄电荷量qint是每单位积蓄次数(例如1次的积蓄次数)中在电荷积蓄部cs1～cs3的各自中积蓄的电荷量的总和。例如，单位积蓄电荷量qint由以下的(4)式表示。
140.qint＝qsum/int
…
(4)
141.其中，
142.qsum＝q1 q2 q3
143.q1是积蓄在电荷积蓄部cs1中的电荷量
144.q2是积蓄在电荷积蓄部cs2中的电荷量
145.q3是积蓄在电荷积蓄部cs3中的电荷量
146.int是每1帧的积蓄次数
147.或者，也可以代替单位积蓄电荷量qint，按单位积蓄电子数nint来制作表信息440。单位积蓄电子数nint是每单位积蓄次数(例如1次的积蓄次数)中在电荷积蓄部cs1～cs3的各自中积蓄的电子数的总和。例如，单位积蓄电子数nint由以下的(5)式表示。
148.nint＝nsum/int
…
(5)
149.其中，
150.nsum＝q1/cg1 q2/cg2 q3/cg3
151.nsum是积蓄在电荷积蓄部cs1～cs3中的电子数的总和[e
－
]
[0152]
int是每1帧的积蓄次数
[0153]
q1是积蓄在电荷积蓄部cs1的电荷量[v]
[0154]
q2是积蓄在电荷积蓄部cs2的电荷量[v]
[0155]
q3是积蓄在电荷积蓄部cs3的电荷量[v]
[0156]
cg1是积蓄在电荷积蓄部cs1的电荷量的变换增益[v/e
－
]
[0157]
cg2是积蓄在电荷积蓄部cs2的电荷量的变换增益[v/e
－
]
[0158]
cg3是积蓄在电荷积蓄部cs3的电荷量的变换增益[v/e
－
]
[0159]
变换增益cg1～cg3是将电荷换算(变换)为电子数的系数，例如是考虑布局等而预先决定的值。变换增益cg1～cg3既可以是相互不同的值，也可以是变换增益cg1～cg3的全部或一部分是相同的值。
[0160]
这样，通过按单位积蓄电荷量qint(或单位积蓄电子数nint)制作表信息440的结构，能够根据单位积蓄电荷量qint(或单位积蓄电子数nint)选择适当的表信息440。
[0161]
例如，在单位积蓄电荷量qint较多、转送效率没有下降的情况下，使用通常的表信息440将距离修正。另一方面，在单位积蓄电荷量qint较少、转送效率下降了的情况下，使用与转送效率较低的情况对应的表信息440将距离修正。由此，即使在电荷的转送效率不同的情况下，也能够将距离精度良好地修正。这里，单位积蓄电荷量qint是“第1变量”的一例。电荷比r是“第2变量”的一例。
[0162]
这里，使用图5a～图5d对表信息440进行说明。图5a～图5d是表示第1实施方式的表信息440的结构的例子的图。在图5a中表示了单位积蓄电荷量qint是qint1的情况下的将距离与电荷比r建立了对应的表信息440。在图5b中表示了单位积蓄电荷量qint为qint2的情况下的将距离与电荷比r建立了对应的表信息440。在图5c中表示了单位积蓄电荷量qint为qint3的情况下的将距离与电荷比r建立了对应的表信息440。在图5d中表示了单位积蓄电荷量qint为qint4的情况下的将距离与电荷比r建立了对应的表信息440。
[0163]
在该例中，尽管是电荷的比率为相同的电荷比r1的情况，但如果单位积蓄电荷量qint是qint1，则为距离d11。另一方面，如果单位积蓄电荷量qint是qint3，则为距离d31。这样，即使电荷比r是相同的值，也能够根据每1次积蓄处理所积蓄的电荷量将运算后的距离设为不同的值。
[0164]
图6是说明第1实施方式的表信息440的图。在图6中表示了某个单位积蓄电荷量qint下的电荷比r与距离(在图6中记作实际距离d)的关系。如图6所示，电荷比r与距离d的关系并不限于为比例关系，也有为非线性的情况。在这样的情况下，可以想到，如果要将电荷比r与距离d的关系用函数表示则成为复杂的多维的关系式。在这样的情况下，每当将距离修正就必须运算复杂的多维的关系式，耗费处理负荷。通过将电荷比r与距离d的关系设为图5a～图5d的表信息440所示那样的对应表，即使在电荷比r与距离d的关系为非线性的情况下，也能够不使处理负荷增大而执行与修正有关的处理。
[0165]
图7是说明第1实施方式的距离图像处理部4使用表信息440进行线性插补的处理的图。在图7中表示了图6的特性的一部分(电荷比r1～r2的范围)。在该图7的例子中，例示了基于积蓄在光电变换元件pd中的电荷量计算出的电荷比是相当于电荷比r1与电荷比r2的中间的值的电荷比r的情况。在此情况下，距离运算部42也可以通过对对应于电荷比r1的距离d11和对应于电荷比r2的距离d12进行线性插补，来计算对应于电荷比r的距离。通过进行线性插补，能够精度更好地计算距离。
[0166]
此外，在对两个距离d间进行线性插补的情况下，也可以设定表信息440中的多个电荷比r的间隔，以使插补后的距离的精度成为规定的范围内。在此情况下，表信息440中的多个电荷比r的间隔例如设定在可看作线性的范围内。
[0167]
这里，使用图8、图9对计算相当于外光成分的电荷量qb的方法进行说明。图8、图9是说明第1实施方式的距离图像处理部4决定外光成分的处理的图。
[0168]
(计算相当于外光成分的电荷量qb的方法1)
[0169]
在图8中表示接收了来自与图4相比处于远距离的物体的反射光rl的情况下的时序图。在图8中，垂直扫描电路323使光脉冲po照射的定时、将读出栅极晶体管g1～g3及漏极栅极晶体管gd设为导通状态的定时等与图4是同样的，所以省略其说明。
[0170]
如图8所示，在与图4的时序图相比延迟时间td较大的情况下，在以与图4相同的定时使电荷积蓄到电荷积蓄部cs1～cs3的各自中的情况下，在电荷积蓄部cs1中积蓄相当于
外光成分的电荷量qb，在电荷积蓄部cs2及cs3中被分配并积蓄相当于反射光rl及外光成分的电荷量qb。在此情况下，电荷积蓄部cs2及cs3是“距离运算用电荷积蓄部”的一例。
[0171]
即，在延迟时间td不大的情况下(图4的情况下)，在电荷积蓄部cs3中积蓄相当于外光成分的电荷量qb，在延迟时间td较大的情况下(图8的情况下)，在电荷积蓄部cs1中积蓄相当于外光成分的电荷量qb。不论是图4及图8的哪种情况，在电荷积蓄部cs1～cs3的各自中都积蓄相当于相同量的外光成分的电荷量qb。因而，被分配并积蓄反射光rl的电荷积蓄部cs与仅积蓄有其他的外光成分的电荷积蓄部cs相比积蓄了更多的电荷量。
[0172]
利用该性质，距离运算部42将积蓄在电荷积蓄部cs1～cs3中的电荷量中的最少的电荷量决定为相当于外光成分的电荷量qb。
[0173]
另外，这里的电荷比r，是被分配并积蓄反射光rl的两个电荷积蓄部cs(图8中的电荷积蓄部cs2及cs3)各自中积蓄的电荷量的比率。在此情况下，电荷比r例如由以下的(6)式或(7)式表示。
[0174]
r＝q2#/(q2# q3#)
…
(6)
[0175]
r＝q3#/(q2# q3#)
…
(7)
[0176]
其中，
[0177]
q2#＝q2－qb
[0178]
q3#＝q3－qb
[0179]
q2是积蓄在电荷积蓄部cs2中的电荷量
[0180]
q3是积蓄在电荷积蓄部cs3中的电荷量
[0181]
qb是积蓄在电荷积蓄部cs中的相当于外光成分的电荷量
[0182]
(计算相当于外光成分的电荷量qb的方法2)
[0183]
距离图像摄像装置1也可以对定时进行控制，以使得在预先决定的特定的电荷积蓄部cs中仅积蓄相当于外光成分的电荷量qb。在此情况下，距离运算部42不论延迟时间td的大小如何，都能够将在该特定的电荷积蓄部cs中积蓄的电荷量决定为相当于外光成分的电荷量qb。
[0184]
在图9中表示进行控制以使得在电荷积蓄部cs1中仅积蓄相当于外光成分的电荷量qb的情况下的时序图。在图9中，垂直扫描电路323使光脉冲po照射的定时、将读出栅极晶体管g1～g3及漏极栅极晶体管gd设为导通状态的定时等与图4是同样的，所以省略其说明。
[0185]
如图9的例子所示，在照射光脉冲po之前，通过使电荷积蓄部cs1积蓄电荷，能够使得在电荷积蓄部cs1中仅积蓄相当于外光成分的电荷量qb。在此情况下，距离运算部42将积蓄在电荷积蓄部cs1中的电荷量决定为相当于外光成分的电荷量qb。在此情况下，电荷积蓄部cs1是“预先决定的外光积蓄用电荷积蓄部”的一例。
[0186]
图10是表示第1实施方式的距离图像处理部4进行的处理的流程的流程图。距离运算部42取得积蓄在电荷积蓄部cs1～cs3的各自中的电荷量q1～q3(步骤s10)。距离运算部42使用所取得的电荷量q1～q3，计算相当于外光成分的电荷量qb(步骤s11)。距离运算部42既可以将电荷量q1～q3中的最少的电荷量作为电荷量qb，也可以将积蓄在预先决定的特定的电荷积蓄部cs(例如，图9中的电荷积蓄部cs1)中的电荷量作为电荷量qb。
[0187]
距离运算部42使用电荷量q1～q3及电荷量qb，计算电荷比r(步骤s12)。距离运算部42例如通过对(2)式或(3)式代入电荷量q1～q3及电荷量qb来计算电荷比r。在此情况下，
距离运算部42以与表信息440所表示的电荷比r的结构匹配的方式选择(2)式或(3)式的某个，使用所选择的式子计算电荷比r。
[0188]
距离运算部42使用电荷量q1～q3及积蓄次数int，计算单位积蓄电荷量qint(步骤s13)。积蓄次数int是预先决定的值，例如存储在存储部44中。在此情况下，距离运算部42通过从存储部44将积蓄次数int读出并将电荷量q1～q3及所读出的积蓄次数int代入到(4)式中，从而计算单位积蓄电荷量qint。
[0189]
距离运算部42使用在步骤s13中计算出的单位积蓄电荷量qint，选择与单位积蓄电荷量qint对应的表信息440(步骤s14)。距离运算部42使用所选择的表信息440，选择与在步骤s12中计算出的电荷比r对应的距离。在此情况下，距离运算部42既可以选择与用于线性插补的两个电荷比r分别建立了对应的两个距离，也可以选择与在步骤s12中计算出的电荷比r最接近的电荷比r所对应的一个距离。
[0190]
距离运算部42在选择了两个距离的情况下(步骤s16的“是”)，通过线性插补决定距离(测量距离)(步骤s17)。另一方面，距离运算部42在选择了一个距离的情况下(步骤s16的“否”)，将所选择的距离决定为修正后的距离(测量距离)(步骤s18)。
[0191]
另外，在上述中，以距离图像摄像装置1的像素321具备三个电荷积蓄部cs1～cs3的情况为例进行了说明。但是，并不限定于此。也可以是距离图像摄像装置1的像素321具备四个以上(例如，n个(n≥4))电荷积蓄部cs的结构。
[0192]
此外，在图10所示的流程中，也可以判断运算的有效或无效。例如，距离运算部42在由步骤s12求出的电荷比r高于规定的上限阈值(例如0.98等)的情况下，将运算判断为无效。此外，距离运算部42在由步骤s12求出的电荷比r低于规定的下限阈值(例如0.12等)的情况下，将运算判断为无效。
[0193]
在距离图像摄像装置1的像素321具备n个(n≥4)电荷积蓄部cs的情况下，在步骤s10中，距离运算部42取得在电荷积蓄部cs1～csn的各自中积蓄的电荷量q1～qn。在步骤s11中，距离运算部42使用所取得的电荷量q1～q3，计算相当于外光成分的电荷量qb。距离运算部42计算电荷量qb的方法与距离图像摄像装置1的像素321具备三个电荷积蓄部cs1～cs3的情况是同样的。
[0194]
在步骤s12中，距离运算部42从电荷积蓄部cs1～csn中选择被分配并积蓄与反射光rl对应的电荷的两个电荷积蓄部cs(距离测量用电荷积蓄部)。距离运算部42选择两个电荷积蓄部cs的方法例如是：将在连续积蓄电荷的两个电荷积蓄部cs的组合中、积蓄在电荷积蓄部cs的各自中的电荷量的和最大的两个电荷积蓄部cs，设为被分配并积蓄与反射光rl对应的电荷的两个电荷积蓄部cs(距离测量用电荷积蓄部)。距离运算部42使用被分配并积蓄与反射光rl对应的电荷的两个电荷积蓄部cs的各自中积蓄的电荷量、及相当于外光成分的电荷量qb，计算电荷比r。步骤s13～s18的处理与距离图像摄像装置1的像素321具备三个电荷积蓄部cs1～cs3的情况是同样的。
[0195]
或者，也可以是距离图像摄像装置1的像素321具备两个电荷积蓄部cs的结构。在此情况下，距离图像摄像装置1在每1次的测量中，进行仅积蓄相当于外光成分的电荷的处理(称作第1处理)和积蓄包含反射光rl的电荷的处理(称作第2处理)这两个与电荷积蓄有关的处理。例如，距离图像摄像装置1在最先的帧中进行第1处理，在下个帧中进行第2处理。在进行第1处理的情况下，距离图像摄像装置1不照射光脉冲po而使电荷积蓄部cs1、cs2分
别积蓄电荷。在进行第2处理的情况下，距离图像摄像装置1照射光脉冲po而使电荷积蓄部cs1、cs2分别积蓄电荷。
[0196]
在此情况下，在步骤s10中，距离运算部42取得在第1处理中分别积蓄在电荷积蓄部cs1、cs2中的电荷量q1f、q2f。此外，距离运算部42取得在第2处理中分别积蓄在电荷积蓄部cs1、cs2中的电荷量q1s、q2s。在步骤s11中，距离运算部42将所取得的电荷量q1f及q2f的某个设为相当于外光成分的电荷量qb。在步骤s12中，距离运算部42使用所取得的电荷量q1s、q2s及电荷量qb，计算电荷比r。距离运算部42计算电荷比r的方法与距离图像摄像装置1的像素321具备三个电荷积蓄部cs1～cs3的情况是同样的。
[0197]
如以上说明的那样，实施方式的距离图像摄像装置1具备光源部2、接收部3和距离图像处理部4。光源部2向存在被摄体ob的测量空间照射光脉冲po。接收部3具备像素321和垂直扫描电路323(驱动电路的一例)。像素321具备光电变换元件pd和多个电荷积蓄部cs。垂直扫描电路323在与光脉冲po的照射同步的规定的定时，对像素321的电荷积蓄部cs分别分配并积蓄电荷。距离图像处理部4具备存储部44。存储部44存储表信息440。表信息440是按单位积蓄电荷量qint(第1变量的一例)表示电荷比r(第2变量的一例)与距离d(对应距离的一例)的关系的信息。单位积蓄电荷量qint是由(4)式或(5)式表示的变量。单位积蓄电荷量qint是与每单位积蓄次数在电荷积蓄部cs1～cs3的各自中积蓄的电荷量的和对应的变量。电荷比r是由(2)式或(3)式表示的变量。电荷比r是使用从两个以上的距离运算用电荷积蓄部(例如，图4的电荷积蓄部cs1及cs2)的各自中积蓄的电荷量(例如，图4的电荷量q1及q2)减去外光成分(电荷量qb)所得的电荷量而表示的比率。电荷比r是基于两个以上的距离运算用电荷积蓄部的某一个或多个的组合的、距离运算用电荷量的比。例如，电荷比r是某一方的电荷量(q1#或q2#)相对于与反射光rl对应的电荷量(q1# q2#)的比，即由(2)式或(3)式表示的变量。距离图像处理部4基于在电荷积蓄部cs的各自中积蓄的电荷量来计算单位积蓄电荷量qint及电荷比r。距离图像处理部4选择与计算出的单位积蓄电荷量qint对应的表信息440。距离运算部42使用所选择的表信息440，取得与计算出的电荷比r对应的距离(对应距离)。距离运算部42使用所取得的距离(对应距离)，决定修正后的距离(测量距离)。
[0198]
由此，第1实施方式的距离图像摄像装置1能够使用表信息440而取得与电荷比r对应的距离。因而，在基于积蓄在电荷积蓄部cs1～cs3中的电荷量q1～q3计算的距离有误差的情况下，也能够进行修正以接近于实际的距离d。即，能够将基于积蓄在电荷积蓄部cs1～cs3中的电荷量q1～q3计算出的距离修正为接近于实际的距离d。并且，在本实施方式中，表信息440也按单位积蓄电荷量qint来制作。因此，能够根据单位积蓄电荷量qint来选择适当的表信息440。因而，即使在根据每1次的积蓄处理中积蓄的电荷量qint的绝对值而转送效率较大地不同的情况下，也能够精度良好地将距离修正。
[0199]
此外，在第1实施方式的距离图像摄像装置1中，距离图像处理部4通过进行线性插补来决定修正后的距离。距离图像处理部4使用表信息440，提取出与比计算出的电荷比r小的电荷比(例如电荷比r1)建立了对应的第1距离(例如距离d11)以及与比电荷比r大的电荷比(例如电荷比r2)建立了对应的第2距离(例如距离d12)。距离图像处理部4对提取出的第1距离(例如距离d11)和第2距离(例如距离d12)进行线性插补，将由此得到的距离决定为修正后的距离(测量距离)。由此，在第1实施方式的距离图像摄像装置1中，能够精度更好地将距离修正。
[0200]
此外，第1实施方式的像素321具备三个以上的电荷积蓄部cs1～cs3。距离图像处理部4将在电荷积蓄部cs1～cs3的各自中积蓄的电荷量q1～q3中的最少的电荷量设为与外光成分对应的电荷量qb。由此，在第1实施方式的距离图像摄像装置1中，能够通过比较积蓄在电荷积蓄部cs1～cs3的各自中的电荷量q1～q3这样的容易的处理，来计算与外光成分对应的电荷量qb。
[0201]
此外，第1实施方式的像素321具备三个以上的电荷积蓄部cs1～cs3。距离图像处理部4对积蓄定时进行控制，以在电荷积蓄部cs1～cs3中的特定的电荷积蓄部cs中仅积蓄相当于外光成分的光量。距离运算部42将积蓄在该特定的电荷积蓄部cs中的电荷量q设为与外光成分对应的电荷量qb。由此，在第1实施方式的距离图像摄像装置1中，能够计算积蓄在特定的电荷积蓄部cs中的电荷量q作为与外光成分对应的电荷量qb。由此，能够容易地决定与外光成分对应的电荷量qb。
[0202]
(第1实施方式的效果)
[0203]
这里，使用图11说明第1实施方式的距离图像摄像装置1的效果。图11是说明第1实施方式的效果的图。在图11中表示实际的距离(实际距离)与测量距离的关系。图11的横轴表示实际距离，纵轴表示测量距离。这里的距离是到被摄体ob的距离。在图11中，由黑圆表示的不使用表信息440(不使用表信息)的情况下的测量距离例如是通过向(1)式代入电荷量q1～q3而计算出的距离。由黑三角表示的使用表信息440的情况下(使用表信息的情况下)的测量距离是使用表信息440而计算出的距离。如该图11所示，使用表信息的情况下的测量距离与实际距离一致。另一方面，不使用表信息的情况下的测量距离与实际距离不一致，为包含误差的值。即，在本第1实施方式的距离图像摄像装置1中，通过使用表信息440决定测量距离，能够计算更接近于实际距离的值。
[0204]
(第1实施方式的变形例1)
[0205]
这里，对第1实施方式的变形例1进行说明。在本变形例1中，在存储部44存储以阈值th划分的两个表信息440(440a)这一点上与上述的第1实施方式不同。
[0206]
图12是表示第1实施方式的变形例1的表信息440a的结构的例子的图。如图12所示，在表信息440a的上段，表示了单位积蓄电荷量qint小于阈值th的情况下的电荷比r与距离d的关系。在表信息440a的下段表示了单位积蓄电荷量qint为阈值th以上的情况下的电荷比r与距离d的关系。如该图12的例子所示，表信息440(440a)也可以是以单位积蓄电荷量qint和电荷比r为变量的二维的对应表。
[0207]
如已经说明那样，转送效率的好坏取决于由1次的积蓄处理转送的电荷的绝对量。因此可以想到，在转送小于某个阈值th的电荷量的情况下转送效率下降，在转送该阈值以上的电荷量的情况下转送效率不下降。在本变形例1中，预先制作以这样的阈值th划分的两个表信息440(表信息440a中的上段和下段)，存储到存储部44中。距离运算部42将计算出的单位积蓄电荷量qint与阈值th进行比较，根据比较结果选择两个表信息440a的上段和下段的某个。具体而言，距离运算部42在单位积蓄电荷量qint小于阈值th的情况下，选择表信息440a的上段的对应表。距离运算部42在单位积蓄电荷量qint为阈值th以上的情况下，选择表信息440a的下段的对应表。距离运算部42使用所选择的对应表来决定距离。
[0208]
如上述那样，在有关第1实施方式的变形例1的距离图像摄像装置1中，存储部44存储与表信息440a的上段对应的信息(“第1表信息”的一例)以及与表信息440a的下段对应的
信息(“第2表信息”的一例)的两个信息。与表信息440a的上段对应的信息，是与单位积蓄电荷量qint比阈值th小的情况对应的信息。与表信息440a的下段对应的信息，是与单位积蓄电荷量qint比阈值th大的情况对应的信息。阈值th是根据从光电变换元件pd到电荷积蓄部cs的路径中的电荷的转送效率而决定的值。距离图像处理部4基于积蓄在电荷积蓄部cs1～cs3的各自中的电荷量，计算单位积蓄电荷量qint及电荷比r。距离图像处理部4在计算出的单位积蓄电荷量qint比阈值th小的情况下选择与表信息440a的上段对应的信息。距离图像处理部4在计算出的单位积蓄电荷量qint比阈值th大的情况下选择与表信息440a的下段对应的信息。
[0209]
由此，在有关第1实施方式的变形例1的距离图像摄像装置1中，能够选择与电荷的转送效率的好坏对应的两个表信息440的某个，即使在存储在存储部44中的表信息440的数量较少的情况下，也能够精度良好地决定距离。
[0210]
(第1实施方式的变形例2)
[0211]
这里，对第1实施方式的变形例2进行说明。在本变形例2中，在存储部44存储与单位积蓄电荷量qint的范围对应的表信息440(440b)这一点上与上述的第1实施方式不同。
[0212]
图13是表示第1实施方式的变形例2的表信息440b的结构的例子的图。在表信息440b的上段，表示单位积蓄电荷量qint为阈值th1以上且小于阈值th2的情况下的电荷比r与距离d的关系。在表信息440b的下段，表示单位积蓄电荷量qint为阈值th2以上且小于阈值th3的情况下的电荷比r与距离d的关系。
[0213]
在本变形例2中，表信息440b中的单位积蓄电荷量qint的范围例如对应于转送效率的趋势近似的范围。距离运算部42判定计算出的单位积蓄电荷量qint是否对应于多个表信息440b中的某个单位积蓄电荷量qint的范围，并根据判定结果选择多个表信息440b中的某个。距离运算部42使用所选择的对应表来决定距离。由此，能够根据电荷的转送效率的趋势来选择多个表信息440b中的某个，能够精度良好地决定距离。
[0214]
(第1实施方式的变形例3)
[0215]
这里，对第1实施方式的变形例3进行说明。在本变形例3中，在存储部44按多个时间窗的每个时间窗而存储表信息440这一点上与上述的第1实施方式不同。这里的时间窗对应于距离测量用电荷积蓄部的组合。
[0216]
例如，在图4中，距离测量用电荷积蓄部的组合是电荷积蓄部cs1及cs2。该组合相当于第一个时间窗。根据以该第一个时间窗分配并积蓄的电荷的电荷比r来决定距离。
[0217]
此外，在图8中，距离测量用电荷积蓄部的组合是电荷积蓄部cs2及cs3。该组合相当于第二个时间窗。根据以该第二个时间窗分配并积蓄的电荷的电荷比r来决定距离。
[0218]
图14是说明第1实施方式的变形例3的两个时间窗的特性的图。这里的特性是表示实际距离与测量距离的对应关系的特性。图14的横轴表示实际距离，纵轴表示测量距离。特性l0表示实际距离与测量距离的理想的关系。特性l1表示第一个时间窗中的实际距离与测量距离的关系。特性l2表示第二个时间窗中的实际距离与测量距离的关系。如该图14的例子所示，在某个时间窗和其他的时间窗中，实际距离与测量距离的对应关系相互不同的情况较多。因此，在使用在某个时间窗能够精度良好地进行修正的表信息440来对其他时间窗的距离进行修正的情况下，并不一定能够精度良好地修正。
[0219]
作为其对策，在本变形例3中，在存储部44中预先制作按每个时间窗的表信息440，
存储在存储部44中。
[0220]
图15及图16是表示第1实施方式的变形例3的表信息440c的结构的例子的图。在图15中表示在相当于某个时间窗的距离测量用电荷积蓄部的组合(例如，电荷积蓄部cs1及cs2)中使用的表信息440c。在图16中表示在相当于另一时间窗的距离测量用电荷积蓄部的组合(例如，电荷积蓄部cs2及cs3)中使用的表信息440d。如图15及图16所示，在表信息440c(400d)中，即使单位积蓄电荷量qint和电荷比r是相同的值，在时间窗不同的情况下也与不同的距离d建立了对应。即，即使表信息440c的单位积蓄电荷量qint和电荷比r的值与表信息440d的单位积蓄电荷量qint和电荷比r的值相同，与表信息440c的单位积蓄电荷量qint及电荷比r的值建立了对应的距离d的值和与表信息440d的单位积蓄电荷量qint及电荷比r的值建立了对应的距离d的值也不同。这样，通过制作按每个时间窗的表信息440，能够进行与各个时间窗对应的修正。
[0221]
如以上说明的那样，在有关第1实施方式的变形例3的距离图像摄像装置1中，存储部44按每个时间窗(两个距离运算用电荷积蓄部的组合)存储表信息440c、400d。距离图像处理部4基于积蓄在电荷积蓄部cs1～cs3的各自中的电荷量，决定两个距离运算用电荷积蓄部的组合。距离图像处理部4将电荷积蓄部cs1～cs3中的积蓄电荷的定时连续的两个电荷积蓄部cs(例如，电荷积蓄部cs1及cs2)的各自中积蓄的电荷量的和(q1 q2)比在另两个电荷积蓄部cs的各自中积蓄的电荷量大的组合，决定为距离运算用电荷积蓄部的组合。距离图像处理部4根据所决定的距离运算用电荷积蓄部的组合，选择表信息440c及表信息400d中的某个。
[0222]
由此，在有关第1实施方式的变形例3的距离图像摄像装置1中，能够根据时间窗选择表信息440。由此，即使在按每个时间窗而实际距离与测量距离的对应关系为不同的趋势的情况下，也能够选择适合于各个时间窗的表信息440，能够精度良好地决定距离。
[0223]
(第1实施方式的变形例4)
[0224]
这里，对第1实施方式的变形例4进行说明。在本变形例1中，在不会确定仅积蓄外光的电荷积蓄部cs或被分配并积蓄反射光rl的两个电荷积蓄部cs(距离运算用电荷积蓄部)而计算电荷比r这一点上与上述的第1实施方式不同。
[0225]
在本变形例4中，距离运算部42利用专利文献wo2019/031510所记载的方法。在专利文献wo2019/031510中，记载有根据指标值是否超过规定的阈值来选择在距离运算中使用的运算式的技术。这里的指标值是专利文献wo2019/031510中的“距离数据有效性判定信号”。此外，这里的运算式是专利文献wo2019/031510中的“距离参照值”，相当于本实施方式的“电荷比r”。以下，分为像素321具备三个电荷积蓄部cs的情况和像素321具备四个电荷积蓄部cs的情况，来说明具体的电荷比r的计算方法。
[0226]
(像素321具备三个电荷积蓄部cs的情况)
[0227]
在本变形例4中，距离运算部42使用以下的(8)式或(9)式来计算电荷比r。这里，假设按照图4及图8所示的时序图，在电荷积蓄部cs1、cs2、cs3中依次积蓄电荷。即，距离运算部42进行控制，以使得在与光脉冲po的照射同步的定时，在电荷积蓄部cs1、cs2及cs3中依次积蓄电荷。在此情况下，电荷积蓄部cs1是“第1电荷积蓄部”的一例。电荷积蓄部cs2是“第2电荷积蓄部”的一例。电荷积蓄部cs3是“第3电荷积蓄部”的一例。此外，积蓄在电荷积蓄部cs1中的电荷量是“第1电荷量”的一例。积蓄在电荷积蓄部cs2中的电荷量是“第2电荷量”的
一例。积蓄在电荷积蓄部cs3中的电荷量是“第3电荷量”的一例。
[0228]
r＝1－(q1－q3)/sa
…
(8)
[0229]
r＝(q1－q3)/sa
…
(9)
[0230]
其中，
[0231]
sa＝|q1－q3| q2－0.5
×
sb
[0232]
sb＝|q1 q3|－|q1－q3|
[0233]
q1是积蓄在电荷积蓄部cs1中的电荷量
[0234]
q2是积蓄在电荷积蓄部cs2中的电荷量
[0235]
q3是积蓄在电荷积蓄部cs3中的电荷量
[0236]
在存储部44中，按每个单位积蓄电荷量qint存储有将距离与电荷比r建立了对应的表信息440。距离运算部42计算单位积蓄电荷量qint，使用与计算出的单位积蓄电荷量qint对应的表信息440，将与电荷比r建立了对应的距离设为测量距离。
[0237]
(像素321具备四个电荷积蓄部cs的情况)
[0238]
首先，对像素321具备四个电荷积蓄部cs的情况下的像素321的驱动定时进行说明。在此情况下，例如对图4及图8再追加读出栅极晶体管g4的项目，在电荷积蓄部cs1、cs2、cs3、cs4中依次积蓄电荷。在此情况下，电荷积蓄部cs1是“第1电荷积蓄部”的一例。电荷积蓄部cs2是“第2电荷积蓄部”的一例。电荷积蓄部cs3是“第3电荷积蓄部”的一例。电荷积蓄部cs4是“第4电荷积蓄部”的一例。此外，积蓄在电荷积蓄部cs1中的电荷量是“第1电荷量”的一例。积蓄在电荷积蓄部cs2中的电荷量是“第2电荷量”的一例。积蓄在电荷积蓄部cs3中的电荷量是“第3电荷量”的一例。积蓄在电荷积蓄部cs4中的电荷量是“第4电荷量”的一例。
[0239]
具体而言，在图4及图8所示的定时下，进行光脉冲po的照射、将漏极栅极晶体管gd设为断开状态的控制、将读出栅极晶体管g1～g3设为导通状态的控制。接着，垂直扫描电路323在结束了电荷向电荷积蓄部cs3的积蓄的定时，将读出栅极晶体管g4设为导通状态，在经过积蓄时间ta之后，将读出栅极晶体管g4设为断开状态。由此，在读出栅极晶体管g4被控制为导通状态的期间中，由光电变换元件pd光电变换后的电荷经由读出栅极晶体管g4被积蓄到电荷积蓄部cs4中。接着，垂直扫描电路323在结束了电荷向电荷积蓄部cs4的积蓄的定时，将漏极栅极晶体管gd设为导通状态，进行电荷的排出。由此，由光电变换元件pd光电变换后的电荷经由漏极栅极晶体管gd被丢弃。
[0240]
基于在上述那样的定时被控制的电荷积蓄部cs1～cs4的各自中积蓄的电荷量，距离运算部42使用以下的(10)式或(11)式，计算电荷比xr。
[0241]
xr＝1－(q1－q3)/sa
…
(10)
[0242]
xr＝(q1－q3)/sa
…
(11)
[0243]
其中，
[0244]
sa＝|q1－q3| |q2－q4|
[0245]
q1是积蓄在电荷积蓄部cs1中的电荷量
[0246]
q2是积蓄在电荷积蓄部cs2中的电荷量
[0247]
q3是积蓄在电荷积蓄部cs3中的电荷量
[0248]
q4是积蓄在电荷积蓄部cs4中的电荷量
[0249]
此外，距离运算部42使用以下的(12)式或(13)式，计算电荷比yr。
[0250]
yr＝2－(q2－q4)/sa
…
(12)
[0251]
yr＝1 (q2－q4)/sa
…
(13)
[0252]
其中，
[0253]
sa＝|q1－q3| |q2－q4|
[0254]
q1是积蓄在电荷积蓄部cs1中的电荷量
[0255]
q2是积蓄在电荷积蓄部cs2中的电荷量
[0256]
q3是积蓄在电荷积蓄部cs3中的电荷量
[0257]
q4是积蓄在电荷积蓄部cs4中的电荷量
[0258]
距离运算部42将电荷比xr与阈值thr比较。阈值thr被设定为相当于时间窗的切换附近的电荷比xr的值的附近。距离运算部42在电荷比xr为阈值thr以下的情况下，选择电荷比xr作为电荷比r。另一方面，距离运算部42在电荷比xr超过了阈值thr的情况下，选择电荷比yr作为电荷比r。
[0259]
在存储部44中，按单位积蓄电荷量qint存储有将距离与电荷比r建立了对应的表信息440。距离运算部42计算单位积蓄电荷量qint，使用与计算出的单位积蓄电荷量qint对应的表信息440，将与电荷比r建立了对应的距离作为测量距离。
[0260]
如以上说明的那样，在有关第1实施方式的变形例4的距离图像摄像装置1中，像素321具备三个电荷积蓄部cs1～cs3。距离图像处理部4进行控制，以在与光脉冲po的照射同步的定时，在电荷积蓄部cs1、cs2、cs3中依次积蓄电荷。距离运算部42如(8)式或(9)式那样，将(q1－q3)设为积蓄在两个距离运算用电荷积蓄部的某一方的电荷积蓄部cs中的对应于反射光rl的电荷量(距离运算用电荷量)。q1是积蓄在电荷积蓄部cs1中的电荷量。q3是积蓄在电荷积蓄部cs3中的电荷量。
[0261]
由此，在有关第1实施方式的变形例4的距离图像摄像装置1中，能够不确定两个距离运算用电荷积蓄部而计算积蓄在两个距离运算用电荷积蓄部的某一方中的距离运算用电荷量。因此，如(8)式或(9)式的sa所示，通过计算在两个距离运算用电荷积蓄部的各自中积蓄的距离运算用电荷量的和，能够计算电荷比r。因而，在有关第1实施方式的变形例4的距离图像摄像装置1中，能够不根据延迟时间td的长度进行应用(2)式还是(3)式的情况区分和应用(6)式还是(7)式的情况区分，此外不确定仅积蓄有外光的电荷积蓄部cs而计算相当于外光成分的电荷量qb，能够容易地计算电荷比r。进而，在两个时间窗的边界也能够应用相同的运算式((8)式或(9)式)。因此，能够改善时间窗的边界处的不连续性。
[0262]
此外，在有关第1实施方式的变形例4的距离图像摄像装置1中，像素321具备四个电荷积蓄部cs1～cs4。距离图像处理部4进行控制，以在与光脉冲po的照射同步的定时，在电荷积蓄部cs1、cs2、cs3、cs4中依次积蓄电荷。距离运算部42将(q1－q3)设为根据在两个距离运算用电荷积蓄部的一方的电荷积蓄部cs中积蓄的电荷量而计算的信号量。距离运算部42将(q2－q4)设为根据在两个距离运算用电荷积蓄部的另一方的电荷积蓄部cs中积蓄的电荷量而计算的信号量。距离运算部42将|q1－q3| |q2－q4|设为根据在两个距离运算用电荷积蓄部各自的电荷积蓄部cs中积蓄的电荷量而计算的信号量的和。
[0263]
由此，在有关第1实施方式的变形例4的距离图像摄像装置1中，能够计算在两个距离运算用电荷积蓄部的各自中积蓄的距离运算用电荷量的和、积蓄在两个距离运算用电荷积蓄部的某一方中的距离运算用电荷量及积蓄在另一方中的距离运算用电荷量。因此，能
够不确定两个距离运算用电荷积蓄部而计算电荷比r。
[0264]
进而，在此情况下，在时间窗的边界，(10)式中的电荷比xr和(12)式中的电荷比yr为相同的值。因此，能够改善时间窗的边界处的不连续性。
[0265]
另外，在上述的至少一个实施方式中，以电荷比r是两个距离运算用电荷积蓄部的某一方的距离运算用电荷量相对于在两个距离运算用电荷积蓄部的各自中积蓄的距离运算用电荷量的和之比的情况为例进行了说明。但是，并不限定于此。电荷比r只要是使用在至少两个距离运算用电荷积蓄部的各自中积蓄的距离运算用电荷量而被表示的比率即可。例如，电荷比r也可以是在两个距离运算用电荷积蓄部中另一方的距离运算用电荷量相对于某一方的距离运算用电荷量之比。
[0266]
此外，在图9中，以进行控制以通过在照射光脉冲po之前使电荷积蓄部cs1积蓄电荷而使得在电荷积蓄部cs1中仅积蓄相当于外光成分的电荷量qb的情况为例进行了说明。但是，并不限定于此。也可以以照射光脉冲po并在接收反射光rl后使电荷积蓄部cs3积蓄电荷的方式，进行控制。在此情况下，在电荷积蓄部cs3中仅积蓄相当于外光成分的电荷量qb。在此情况下，电荷积蓄部cs3是“预先决定的外光积蓄用电荷积蓄部”的一例。
[0267]
此外，在将仅积蓄相当于外光成分的电荷量qb的电荷积蓄部cs固定的情况下，也可以如图8所示那样将电荷积蓄部cs1～cs3连续地设为导通状态。
[0268]
此外，在将电荷积蓄部cs1～cs3连续地设为导通状态的情况下，也可以对驱动进行控制，以在切换各个导通状态的定时中插入间隔gap(间隙)。这里的间隔gap，是用来抑制电荷积蓄部cs彼此同时成为导通状态的重叠的驱动，将电荷积蓄部cs的全部控制为断开状态。例如，在设照射光脉冲po的照射时间to为10[clk]的情况下，将使电荷积蓄部cs积蓄电荷的积蓄时间ta设为9[clk]，将间隔gap设为1[clk]。并且，对驱动进行控制，以在将电荷积蓄部cs从断开状态切换为导通状态的定时或将电荷积蓄部cs从导通状态切换为断开状态的定时，设置间隔gap。
[0269]
也可以将上述的实施方式的距离图像摄像装置1、距离图像处理部4的全部或一部分用计算机实现。在此情况下，也可以将用来实现该功能的程序记录在计算机可读取的记录介质中，通过使计算机系统将记录在该记录介质中的程序读入并执行来实现。另外，这里所述的“计算机系统”包括os及周边设备等的硬件。此外，“计算机可读取的记录介质”是指软盘、光磁盘、rom、cd－rom等的可移动介质，内置在计算机系统中的硬盘等的存储装置。进而，“计算机可读取的记录介质”也可以还包括如经由因特网等的网络或电话线路等的通信线路发送程序的情况下的通信线那样、在短时间的期间中动态地保持程序的介质，也可以还包括如该情况下的作为服务器或客户端的计算机系统内部的易失性存储器那样在一定时间中保持程序的装置。此外，上述程序也可以是用来实现上述的功能的一部分者，还可以是能够通过与已经记录在计算机系统中的程序的组合来实现上述功能者，还可以是使用fpga等的可编程逻辑器件而被实现者。
[0270]
以上，参照附图对本发明的第1实施方式详细地进行了叙述，但具体的结构并不限于该实施方式，也包含不脱离本发明的主旨的范围的设计等。
[0271]
(第2实施方式)
[0272]
以下，一边参照附图一边说明第2实施方式的距离图像摄像装置。
[0273]
首先，对实施方式进行说明。图17是表示本发明的第2实施方式的距离图像摄像装
置的概略结构的框图。图17所示的结构的距离图像摄像装置101具备光源部102、接收部103和距离图像处理部104。在图17中，也与距离图像摄像装置101一起表示了作为在距离图像摄像装置101中测量距离的对象物的被摄体ob。
[0274]
光源部102按照来自距离图像处理部104的控制，向在距离图像摄像装置101中测量距离的对象的被摄体ob所存在的摄影对象的空间照射光脉冲po。光源部2例如是垂直共振器面发光激光器(vcsel：vertical cavity surface emitting laser)等的面发光型的半导体激光器模组。光源部102具备光源装置121和扩散板122。
[0275]
光源装置121是发出作为向被摄体ob照射的光脉冲po的近红外的波段(例如，波长为850nm～940nm的波段)的激光的光源。光源装置121例如是半导体激光器发光元件。光源装置121根据来自定时控制部141的控制，发出脉冲状的激光。
[0276]
扩散板122是将光源装置121发出的近红外的波段的激光扩散为照射在被摄体ob上的面的大小的光学零件。扩散板122扩散后的脉冲状的激光被作为光脉冲po射出，向被摄体ob照射。
[0277]
接收部103将由在距离图像摄像装置101中测量距离的对象的被摄体ob反射而得到的光脉冲po的反射光rl接收，输出与所接收的反射光rl对应的像素信号。接收部103具备透镜131和距离图像传感器132。
[0278]
透镜131是将入射的反射光rl向距离图像传感器132引导的光学透镜。透镜131将入射的反射光rl向距离图像传感器132侧射出，使距离图像传感器132的接收区域中具备的像素接收(入射)。
[0279]
距离图像传感器132是在距离图像摄像装置101中使用的摄像元件。距离图像传感器132在二维的接收区域中具备多个像素。在距离图像传感器132的各个像素之中，设有1个光电变换元件、与该1个光电变换元件对应的多个电荷积蓄部以及向各个电荷积蓄部分配电荷的构成要素。即，像素是向多个电荷积蓄部分配并积蓄电荷的分配结构的摄像元件。
[0280]
距离图像传感器132根据来自定时控制部141的控制，将光电变换元件产生的电荷向各个电荷积蓄部分配。此外，距离图像传感器132输出与分配给电荷积蓄部的电荷量对应的像素信号。在距离图像传感器132中，多个像素以二维的矩阵状被配置，输出各个像素的对应的1帧的像素信号。
[0281]
距离图像处理部104对距离图像摄像装置101进行控制，运算到被摄体ob为止的距离。距离图像处理部104具备定时控制部141、距离运算部142、测量控制部143和存储部144。
[0282]
定时控制部141根据测量控制部143的控制，控制将测量所需要的各种各样的控制信号输出的定时。这里的各种各样的控制信号，例如是对光脉冲po的照射进行控制的信号、将反射光rl向多个电荷积蓄部分配并积蓄的信号、对每1帧的分配次数(积蓄次数)进行控制的信号等。分配次数是反复进行向电荷积蓄部cs(参照图19)分配电荷的处理的次数。该电分配次数与每1次分配电荷的处理中使各电荷积蓄部积蓄电荷的时间(后述的积蓄时间ta)的乘积，为曝光时间。
[0283]
距离运算部142基于从距离图像传感器132输出的像素信号，计算到被摄体ob为止的距离，将计算出的距离信息输出。距离运算部142基于积蓄在多个电荷积蓄部中的电荷量，运算到被摄体ob为止的距离。
[0284]
在本第2实施方式中，距离运算部142使用后述的表信息540，决定到被摄体ob为止
的距离。关于表信息540在后面详细地进行说明。此外，关于距离运算部142使用表信息540决定到被摄体ob为止的距离的方法，在后面详细地进行说明。
[0285]
测量控制部143对定时控制部141进行控制。例如，测量控制部143设定1帧的分配次数及积蓄时间ta等，对定时控制部141进行控制，以使其以所设定的内容进行摄像。
[0286]
存储部144由存储介质，例如hdd(hard disk drive)、闪存、eeprom(electrically erasable programmable read only memory)、ram(random access read/write memory)、rom(read only memory)或这些存储介质的任意的组合构成。存储部144例如存储表信息540。关于表信息540，在后面详细地进行说明。
[0287]
通过这样的结构，在距离图像摄像装置101中，接收部103将光源部102照射在被摄体ob上的近红外的波段的光脉冲po由被摄体ob反射的反射光rl接收，距离图像处理部104输出测量了与被摄体ob的距离的距离信息。
[0288]
另外，在图17中表示了在内部具备距离图像处理部104的结构的距离图像摄像装置101，但距离图像处理部104也可以是装备在距离图像摄像装置101的外部的构成要素。
[0289]
接着，对在距离图像摄像装置101中被作为摄像元件使用的距离图像传感器32的结构进行说明。图18是表示在实施方式的距离图像摄像装置101中使用的摄像元件(距离图像传感器32)的概略结构的框图。
[0290]
如图18所示，距离图像传感器132例如具备配置有多个像素421的接收区域420、控制电路422、具有分配动作的垂直扫描电路423、水平扫描电路424和像素信号处理电路425。
[0291]
接收区域420是配置有多个像素421的区域，在图18中表示了以8行8列配置为二维的矩阵状的例子。像素421将相当于所接收的光量的电荷积蓄。控制电路422总括地控制距离图像传感器132。控制电路422例如根据来自距离图像处理部104的定时控制部141的指示，对距离图像传感器132的构成要素的动作进行控制。另外，距离图像传感器132中具备的构成要素的控制也可以是由定时控制部141直接进行的结构。在此情况下，也可以将控制电路1322省略。
[0292]
垂直扫描电路423是根据来自控制电路422的控制、对配置在接收区域420中的像素421按每一行进行控制的电路。垂直扫描电路423将与在像素421的电荷积蓄部cs各自中积蓄的电荷量对应的电压信号向像素信号处理电路425输出。在此情况下，垂直扫描电路423将由光电变换元件变换后的电荷向像素421的电荷积蓄部分别分配。即，垂直扫描电路423是“像素驱动电路”的一例。
[0293]
像素信号处理电路425是根据来自控制电路422的控制、对于从各个列的像素421输出给对应的垂直信号线的电压信号进行预先设定的信号处理(例如，噪声抑压处理、a/d变换处理等)的电路。
[0294]
水平扫描电路424是根据来自控制电路422的控制将从像素信号处理电路425输出的信号向水平信号线依次输出的电路。由此，将相当于积蓄了1帧的电荷量的像素信号经由水平信号线向距离图像处理部104依次输出。
[0295]
以下，假设像素信号处理电路425进行a/d变换处理、像素信号是数字信号而进行说明。
[0296]
这里，对在距离图像传感器132所具备的接收区域420内配置的像素421的结构进行说明。图19是表示在实施方式的距离图像传感器132的接收区域420内配置的像素421的
结构的一例的电路图。在图19中表示了配置在接收区域420内的多个像素421中的1个像素421的结构的一例。像素421是具备3个像素信号读出部的结构的一例。
[0297]
如图19所示，像素421具备1个光电变换元件pd、漏极栅极晶体管gd以及从对应的输出端子o输出电压信号的3个像素信号读出部ru。像素信号读出部ru分别具备读出栅极晶体管g、浮置扩散部fd、电荷积蓄电容c、复位栅极晶体管rt、源极跟随栅极晶体管sf和选择栅极晶体管sl。在各个像素信号读出部ru中，由浮置扩散部fd和电荷积蓄电容c构成电荷积蓄部cs。
[0298]
另外，在图19中，通过在3个像素信号读出部ru的标号“ru”之后赋予“1”“2”或“3”的数字，将各个像素信号读出部ru区别。此外，与3个像素信号读出部ru同样，对于3个像素信号读出部ru所具备的各个构成要素，也通过将表示各个像素信号读出部ru的数字表示在表示各个构成要素的标号之后来区别表示。
[0299]
在图19所示的像素421中，从输出端子o1输出电压信号的像素信号读出部ru1具备读出栅极晶体管g1、浮置扩散部fd1、电荷积蓄电容c1、复位栅极晶体管rt1、源极跟随栅极晶体管sf1和选择栅极晶体管sl1。在像素信号读出部ru1中，由浮置扩散部fd1和电荷积蓄电容c1构成电荷积蓄部cs1。像素信号读出部ru2及像素信号读出部ru3也是与像素信号读出部ru1同样的结构。
[0300]
光电变换元件pd是对入射的光进行光电变换而产生电荷、并将所产生的电荷积蓄的埋入型的光电二极管。光电变换元件pd的构造可以是任意的。光电变换元件pd例如既可以是将p型半导体与n型半导体接合的构造的pn光电二极管，也可以是在p型半导体与n型半导体之间夹着i型半导体的构造的pin光电二极管。此外，光电变换元件pd并不限定于光电二极管，例如也可以是光电门方式的光电变换元件。
[0301]
在像素421中，光电变换元件pd将对入射的光进行光电变换而产生的电荷向3个电荷积蓄部cs分别分配，将与被分配的电荷的电荷量对应的电压信号向像素信号处理电路425输出。
[0302]
配置在距离图像传感器132中的像素的结构并不限定于图19所示那样的具备3个像素信号读出部ru的结构，只要是具备多个像素信号读出部ru的结构的像素即可。即，配置在距离图像传感器132中的像素所具备的像素信号读出部ru(电荷积蓄部cs)的数量也可以是两个，也可以是4个以上。
[0303]
此外，在图19所示的结构的像素421中，表示了电荷积蓄部cs由浮置扩散部fd和电荷积蓄电容c构成的一例。但是，电荷积蓄部cs只要至少由浮置扩散部fd构成即可，像素421也可以是不具备电荷积蓄电容c的结构。
[0304]
此外，在图19所示的结构的像素421中，表示了具备漏极栅极晶体管gd的结构的一例，但并不限定于此。例如，在不需要将没有被积蓄到电荷积蓄部cs中而残留在光电变换元件pd中的电荷丢弃的情况下，也可以是不具备漏极栅极晶体管gd的结构。
[0305]
接着，使用图20对像素421的驱动定时进行说明。图20是表示第2实施方式的将像素421驱动的定时的时序图。
[0306]
在图20中，分别将照射光脉冲po的定时用“l”、将反射光被接收的定时用“r”、将驱动信号tx1的定时用“g1”、将驱动信号tx2的定时用“g2”、将驱动信号tx3的定时用“g3”、将驱动信号rstd的定时用“gd”这样的项目名表示。另外，驱动信号tx1是使读出栅极晶体管g1
驱动的信号。关于驱动信号tx2、tx3也与驱动信号tx1是同样的。
[0307]
如图20所示，光脉冲po以照射时间to被照射，滞后延迟时间td后，反射光rl被距离图像传感器312接收。垂直扫描电路423与光脉冲po的照射同步，使电荷依次积蓄到电荷积蓄部cs1、cs2及cs3中。在图20中，将在1次的分配处理中照射光脉冲po而到使电荷依次积蓄到电荷积蓄部cs1、cs2及cs3中为止的时间表示为“单位积蓄期间”。将在“单位积蓄期间”中进行的分配处理以相当于1帧的积蓄次数反复进行后，进行将在该期间中积蓄的电荷量读出的处理。将进行将该积蓄的电荷量读出的处理的时间表示为“读出期间”。
[0308]
首先，使用图20对收到来自处于近距离的物体的反射光rl的情况进行说明。垂直扫描电路423与照射光脉冲po的定时同步地，将漏极栅极晶体管gd设为断开状态，并将读出栅极晶体管g1设为导通状态。垂直扫描电路423在从将读出栅极晶体管g1设为导通状态起经过积蓄时间ta后，将读出栅极晶体管g1设为断开状态。由此，在读出栅极晶体管g1被控制为导通状态的期间中由光电变换元件pd进行光电变换后的电荷经由读出栅极晶体管g1被积蓄到电荷积蓄部cs1中。
[0309]
接着，垂直扫描电路423在将读出栅极晶体管g1设为断开状态的定时，将读出栅极晶体管g2以积蓄时间ta设为导通状态。由此，在读出栅极晶体管g2被控制为导通状态的期间中由光电变换元件pd进行光电变换后的电荷经由读出栅极晶体管g2被积蓄到电荷积蓄部cs2中。
[0310]
接着，垂直扫描电路423在使电荷向电荷积蓄部cs2的积蓄结束的定时，将读出栅极晶体管g3设为导通状态，在经过积蓄时间ta之后，将读出栅极晶体管g3设为断开状态。由此，在读出栅极晶体管g3被控制为导通状态的期间中由光电变换元件pd进行光电变换后的电荷经由读出栅极晶体管g3被积蓄到电荷积蓄部cs3中。
[0311]
接着，垂直扫描电路423在使电荷向电荷积蓄部cs3的积蓄结束的定时，将漏极栅极晶体管gd设为导通状态而进行电荷的排出。由此，由光电变换元件pd光电变换后的电荷经由漏极栅极晶体管gd被丢弃。
[0312]
垂直扫描电路423将上述那样的驱动跨1帧反复进行规定的分配次数。然后，垂直扫描电路423输出与分配给各个电荷积蓄部cs的电荷量对应的电压信号。具体而言，垂直扫描电路423通过将选择栅极晶体管sl1在规定时间设为导通状态，使与经由像素信号读出部ru1积蓄在电荷积蓄部cs1中的电荷量对应的电压信号从输出端子o1输出。同样，垂直扫描电路423通过依次将选择栅极晶体管sl2、sl3设为导通状态，使与积蓄在电荷积蓄部cs2、cs3中的电荷量对应的电压信号从输出端子o2、o3输出。接着，经由像素信号处理电路425及水平扫描电路424，将在电荷积蓄部cs的各自中积蓄的相当于1帧的电荷量的电信号向距离运算部142输出。
[0313]
另外，在上述中，以光源部102在读出栅极晶体管g1成为导通状态的定时照射光脉冲po的情况为例进行了说明。但是，并不限定于此。光源部102只要至少在来自处于近距离的物体的反射光rl跨电荷积蓄部cs1、cs2被接收那样的定时照射光脉冲po即可。例如，光源部102也可以在读出栅极晶体管g1成为导通状态跟前的定时照射光脉冲po。此外，在上述中，以照射光脉冲po的照射时间to是与积蓄时间ta相同长度的情况为例进行了说明。但是，并不限定于此。照射时间to和积蓄时间ta也可以是不同的时间间隔。
[0314]
在图20所示那样的近距离接收像素中，根据照射光脉冲po的定时与使电荷积蓄到
电荷积蓄部cs1～cs3的各自中的定时的关系，向电荷积蓄部cs1及cs2分配相当于反射光rl及外光成分的电荷量并保持。此外，在电荷积蓄部cs3中，保持相当于背景光等的外光成分的电荷量。在此情况下，电荷积蓄部cs1及cs2是“距离运算用电荷积蓄部”的一例。
[0315]
对电荷积蓄部cs1及cs2分配的电荷量的配比(分配比率)，为与延迟时间td对应的比率，延迟时间td是光脉冲po由被摄体ob反射而入射到距离图像摄像装置101中的延迟时间。
[0316]
距离运算部142利用该原理，在以往的近距离接收像素中，通过以下的(1)式计算延迟时间td。
[0317]
td＝to
×
(q2－q3)/(q1 q2－2
×
q3)
…
(14)
[0318]
这里，to表示光脉冲po被照射的期间，q1表示积蓄在电荷积蓄部cs1中的电荷量，q2表示积蓄在电荷积蓄部cs2中的电荷量，q3表示积蓄在电荷积蓄部cs3中的电荷量。另外，在(14)式中，以积蓄在电荷积蓄部cs1及cs2中的电荷量中的相当于外光成分的电荷量与积蓄在电荷积蓄部cs3中的电荷量是同量为前提。
[0319]
距离运算部142在近距离接收像素中，通过对由(14)式求出的延迟时间td乘以光速(速度)，计算出到被摄体ob的往复的距离。接着，距离运算部142通过将在上述中计算出的往复的距离设为1/2，求出到被摄体ob的距离。
[0320]
这里，对在以往的距离图像摄像装置101中在根据积蓄的电荷量计算的距离(测量距离)中发生误差的原因进行说明。
[0321]
作为发生误差的一个原因，可以想到，入射到距离图像摄像装置101中的光在透镜131等的光学系统中漫反射。即，这样的漫反射给像素接收的光量带来影响，成为在测量的距离中发生误差的原因。作为其对策，例如采用使用将距离d与电荷比r建立了对应的对应表(“表信息”的一例)来将误差修正的方法。这里的距离是到被摄体ob的距离。此外，电荷比r是“变量”的一例。距离d是“对应距离”的一例。
[0322]
这里的电荷比r，是在被分配并积蓄反射光rl的两个电荷积蓄部cs(图20中的电荷积蓄部cs1及cs2)的各自中积蓄的电荷量的比率。在此情况下，电荷比r例如由以下的(15)式中的比率h1或(16)式中的比率h2表示。比率h1是“电荷比”的一例。比率h2是“电荷比”的一例。以下，将比率h1、h2单称作电荷比r。
[0323]
h1＝q1#/(q1# q2#)
…
(15)
[0324]
h2＝q2#/(q1# q2#)
…
(16)
[0325]
其中，
[0326]
q1#＝q1－qb
[0327]
q2#＝q2－qb
[0328]
q1是积蓄在电荷积蓄部cs1中的电荷量
[0329]
q2是积蓄在电荷积蓄部cs2中的电荷量
[0330]
qb是积蓄在电荷积蓄部cs中的相当于外光成分的电荷量
[0331]
通过使用将距离d与电荷比r建立了对应的对应表，即使在由(14)式计算出的距离中发生了误差的情况下，也能够将距离修正以使误差变少。另外，关于计算相当于外光成分的电荷量qb的方法，在后面详细地进行说明。
[0332]
此外，作为容易发生误差的情形，可以想到在被分配并积蓄反射光rl的两个电荷
积蓄部cs(图20中的电荷积蓄部cs1及cs2)的各自中积蓄的电荷量的比率偏倚的情况。这里的偏倚，是在两个电荷积蓄部cs的一方中积蓄了起因于反射光rl的电荷的大致全部量、在其余的电荷积蓄部cs中仅积蓄很少的起因于反射光rl的电荷量的情况。即，电荷比r成为接近于0的值或接近于1的值。
[0333]
例如，是相当于反射光rl的90％左右的光量的电荷量被积蓄在电荷积蓄部cs1中、相当于其余10％左右的光量的电荷量被积蓄在电荷积蓄部cs2中那样的情况。在此情况下，基于(15)式的电荷比r是r＝0.9左右，基于(16)式的电荷比r是r＝0.1左右。或者，是相当于反射光rl的10％左右的光量的电荷量被积蓄在电荷积蓄部cs1中、相当于其余90％左右的光量的电荷量被积蓄在电荷积蓄部cs2中那样的情况。在此情况下，基于(15)式的电荷比r是r＝0.1左右，基于(16)式的电荷比r是r＝0.9左右。
[0334]
这里，在电荷积蓄部cs中，还积蓄有作为噪声成分的电荷。这里的噪声成分，是起因于与反射光rl不同的光(例如，光脉冲及栅极脉冲)的钝化及电荷转送的延迟等的电荷量。在被分配并积蓄反射光rl的两个电荷积蓄部cs中，也不论起因于反射光rl的电荷量的大小如何都积蓄有一定量这样的噪声成分。
[0335]
在反射光rl偏倚而被积蓄的情况下，在积蓄了起因于反射光rl的电荷量的大致全部量的电荷积蓄部cs、和仅积蓄了起因于反射光rl的很少电荷量的电荷积蓄部cs中，都积蓄一定量的噪声成分。因此，仅积蓄了起因于反射光rl的很少电荷量的电荷积蓄部cs其sn比下降。这里的s是作为目的的信号成分，是在距离运算中使用的起因于反射光rl的电荷量。此外，这里的n是起因于噪声成分的电荷量。在使用sn比比较低的电荷量而运算了距离的情况下，在运算结果中容易发生误差。在sn比比较低、即电荷比r处于超过规定的阈值(例如0.9等)的“偏倚状态”的情况下，由于自不考虑噪声的理想的计算式偏离，所以测量距离的误差变大。作为对策，可以考虑将表间隔一律地设为较细(较小)。但是，在sn比比较高、即电荷比r不处于“偏倚状态”的情况下，表间隔不必要地变细，使表的存储容量增大。
[0336]
作为其对策，在本第2实施方式中，以在反射光rl被偏倚积蓄的情况和不是那样的情况下为不同的表间隔的方式，制作表信息540。这里的表间隔，是在将表信息540中包含的变量(电荷比r或距离d)分别以升序或降序排列的情况下相当于相邻的变量的差的间隔。
[0337]
以下，以将表信息540中的变量设为电荷比r的情况为例进行说明。但是，并不限定于此。在将表信息540中的变量设为距离d的情况下，也能够以在反射光rl被偏倚积蓄的情况和不是那样的情况下为不同的表间隔的方式制作表信息540。
[0338]
反射光rl被偏倚积蓄的情况，例如是在被分配并积蓄反射光rl的两个电荷积蓄部cs(图20中的电荷积蓄部cs1及cs2)的各自中积蓄的电荷量的比率为规定值以上的情况。这里的规定值可以根据作为目标的测量距离的精度等而任意地设定。这样的反射光rl被偏倚积蓄的状态是“偏倚状态”的一例。
[0339]
例如，关于表信息540中包含的电荷比r中的处于某个范围(反射光rl被偏倚积蓄的情况下的电荷比能够取的范围)中的电荷比r，以成为间隔较小的较细的表间隔的方式制作表信息540。另一方面，关于处于其他范围(反射光rl没有被偏倚积蓄的情况下的电荷比能够取的范围)中的电荷比r，以成为间隔较大的较粗的表间隔的方式制作表信息540(参照图22、图31、图33)。由此，在要根据处于容易发生误差的范围中的电荷比r来决定距离d的情况下，可以从以较细的表间隔制作的电荷比群中选择适当的电荷比。因此，能够使决定的距
离的精度提高。
[0340]
这里，使用图21、图22对表信息540进行说明。图21是表示第2实施方式的表信息540的结构的例子的图。如图21所示，表信息540例如具备电荷比阈值、表间隔、电荷比及距离的各项目。电荷比阈值是表示将表间隔变更的阈值的信息。表间隔是表示表信息540中的电荷比彼此的间隔的信息。电荷比是由(15)式或(16)式表示的比率。距离是与电荷比建立了对应的距离。在该图21、图22的例子中，表示了将小于电荷比阈值r5的电荷比群(电荷比r1～r4)的表间隔设为间隔tk2、将电荷比阈值r5以上的电荷比群(电荷比r5～r9)的表间隔设为间隔tk3的例子。
[0341]
图22是说明实施方式的表信息540的图。图22的横轴表示电荷比r，纵轴表示距离d。在图22中，根据横轴的电荷比r的大小设定了两个范围e2、e3。范围e2是电荷比小于电荷比r5的范围。范围e3是电荷比为电荷比r5以上的范围。这里，范围e2是“第2范围”的一例。范围e3是“第3范围”的一例。
[0342]
在图22中表示了基于图21的表信息540的电荷比r与距离d的关系。在图21的表信息540中，作为电荷比阈值而设定了电荷比r5。在此情况下，范围e2中包含的电荷比r1～r4的表间隔为间隔tk2。此外，范围e3中包含的电荷比r5～r9的表间隔为间隔tk3。间隔tk3比间隔tk2小。
[0343]
另外，在图22中，表示了电荷比r由(16)式表示的情况下的例子。即，在图22中，表示了随着电荷比r增加而距离d增加的右肩上升的特性。在电荷比r由(15)式表示的情况下，为随着电荷比r增加而距离d减小的右肩下降的特性。在此情况下，电荷比阈值被设定为(1.0－电荷比r5)，电荷比阈值以下的电荷比的表间隔被设定得较细，比电荷比阈值大的电荷比的表间隔被设定得较粗。
[0344]
图23是说明第2实施方式的距离图像处理部104使用表信息540进行线性插补的处理的图。在图23中表示了图22的特性的一部分(电荷比r1～r2的范围)。在该图23的例子中，例示了基于积蓄在光电变换元件pd中的电荷量而计算出的电荷比是相当于电荷比r1与电荷比r2的中间的值的电荷比r的情况。在此情况下，距离运算部142也可以通过对与电荷比r1对应的距离d11和与电荷比r2对应的距离d12进行线性插补，来计算与电荷比r对应的距离。通过进行线性插补，能够精度良好地计算距离。
[0345]
此外，也可以设定表信息540中的多个电荷比r的间隔，以使得在对两个距离d进行了线性插补的情况下所插补的距离的精度成为规定的范围内。在此情况下，表信息540中的多个电荷比r的间隔例如被设定为可视作线性的范围内。
[0346]
如上述那样，在反射光rl被偏倚积蓄的情况下，通过光脉冲及栅极脉冲的钝化及电荷转送的延迟等，电荷比r中的sn比下降而电荷比r与距离d的关系处于成为非线性的趋势。在这样的成为非线性的范围中将表间隔设为较小。由此，在进行线性插补而决定距离的情况下，能够使其距离的精度提高。
[0347]
这里，使用图24、图25对计算相当于外光成分的电荷量qb的方法进行说明。图24、图25是说明第2实施方式的距离图像处理部104决定外光成分的处理的图。
[0348]
(计算相当于外光成分的电荷量qb的方法3)
[0349]
在图24中表示将来自与图20相比处于远距离的物体的反射光rl接收的情况下的时序图。在图24中，垂直扫描电路423照射光脉冲po的定时、将读出栅极晶体管g1～g3及漏
极栅极晶体管gd设为导通状态的定时等与图20是同样的，所以省略其说明。
[0350]
如图24所示，在与图20的时序图相比、延迟时间td较大的情况下，在以与图20相同的定时使电荷积蓄到电荷积蓄部cs1～cs3的各自中的情况下，在电荷积蓄部cs1中积蓄相当于外光成分的电荷量qb，在电荷积蓄部cs2及cs3中被分配并积蓄相当于反射光rl及外光成分的电荷量qb。在此情况下，电荷积蓄部cs2及cs3是“距离运算用电荷积蓄部”的一例。
[0351]
即，在延迟时间td不大的情况下(图20的情况下)，在电荷积蓄部cs3中积蓄相当于外光成分的电荷量qb，在延迟时间td较大的情况下(图24的情况下)，在电荷积蓄部cs1中积蓄相当于外光成分的电荷量qb。不论是图20、图24的哪种情况，在电荷积蓄部cs1～cs3的各自中都积蓄相当于相同量的外光成分的电荷量qb。因而，被分配并积蓄反射光rl的电荷积蓄部cs与其他的仅积蓄了外光成分的电荷积蓄部cs相比积蓄更多的电荷量。
[0352]
利用该性质，距离运算部142将积蓄在电荷积蓄部cs1～cs3中的电荷量中的最少的电荷量决定为相当于外光成分的电荷量qb。
[0353]
(计算相当于外光成分的电荷量qb的方法3)
[0354]
距离图像摄像装置101也可以对定时进行控制，以在预先决定的特定的电荷积蓄部cs中仅积蓄相当于外光成分的电荷量qb。在此情况下，距离运算部142不论延迟时间td的大小如何，都能够将积蓄在该特定的电荷积蓄部cs中的电荷量决定为相当于外光成分的电荷量qb。
[0355]
在图25中表示了进行控制以在电荷积蓄部cs1中仅积蓄相当于外光成分的电荷量qb的情况下的时序图。在图25中，垂直扫描电路423使光脉冲po照射的定时、将读出栅极晶体管g1～g3及漏极栅极晶体管gd设为导通状态的定时等与图20是同样的，所以省略其说明。
[0356]
如图25的例子所示，在照射光脉冲po之前，通过使电荷积蓄到电荷积蓄部cs1中，能够使得在电荷积蓄部cs1中仅积蓄相当于外光成分的电荷量qb。在此情况下，距离运算部142将积蓄在电荷积蓄部cs1中的电荷量决定为相当于外光成分的电荷量qb。在此情况下，电荷积蓄部cs1是预先决定的“外光积蓄用电荷积蓄部”的一例。
[0357]
图26是表示第2实施方式的距离图像处理部104进行的处理的流程的流程图。距离运算部142取得积蓄在电荷积蓄部cs1～cs3的各自中的电荷量q1～q3(步骤s110)。距离运算部142使用所取得的电荷量q1～q3，计算相当于外光成分的电荷量qb(步骤s111)。距离运算部142既可以计算电荷量q1～q3中的最少的电荷量作为电荷量qb，也可以将积蓄在预先决定的特定的电荷积蓄部cs(例如，图25中的电荷积蓄部cs1)中的电荷量作为电荷量qb。
[0358]
距离运算部142使用电荷量q1～q3及电荷量qb，计算电荷比r(步骤s112)。距离运算部142例如通过对(2)式或(3)式代入电荷量q1～q3及电荷量qb来计算电荷比r。在此情况下，距离运算部142以与表信息540所表示的电荷比r的结构匹配的方式选择(15)式或(16)式的某个，使用所选择的式子计算电荷比r。
[0359]
距离运算部142使用表信息540，选择与在步骤s112中计算出的电荷比r对应的距离(步骤s113)。在此情况下，距离运算部142既可以选择与用于线性插补的两个电荷比的各自建立了对应的两个距离，也可以选择与最接近于在步骤s112中计算出的电荷比r的电荷比对应的一个距离。
[0360]
距离运算部142在选择了两个距离的情况下(步骤s114的“是”)，通过线性插补决
定距离(测量距离)(步骤s115)。另一方面，距离运算部142在选择了一个距离的情况下(步骤s114的“否”)，将所选择的距离决定为修正后的距离(测量距离)(步骤s116)。
[0361]
另外，在上述中，以距离图像摄像装置101的像素421具备三个电荷积蓄部cs1～cs3的情况为例进行了说明。但是，并不限定于此。也可以是距离图像摄像装置101的像素421具备四个以上(例如，n个(n≥4))电荷积蓄部cs的结构。
[0362]
在距离图像摄像装置101的像素421具备n个(n≥4)电荷积蓄部cs的情况下，在步骤s110中，距离运算部142取得在电荷积蓄部cs1～csn的各自中积蓄的电荷量q1～qn。在步骤s111中，距离运算部142使用所取得的电荷量q1～q3，计算相当于外光成分的电荷量qb。距离运算部142计算电荷量qb的方法与距离图像摄像装置101的像素421具备三个电荷积蓄部cs1～cs3的情况是同样的。
[0363]
在步骤s112中，距离运算部142从电荷积蓄部cs1～csn中选择被分配并积蓄与反射光rl对应的电荷的两个电荷积蓄部cs(距离测量用电荷积蓄部)。距离运算部142选择两个电荷积蓄部cs的方法，例如将在连续积蓄电荷的两个电荷积蓄部cs的组合中的电荷积蓄部cs的各自中积蓄的电荷量之和最大的两个电荷积蓄部cs，设为被分配并积蓄与反射光rl对应的电荷的两个电荷积蓄部cs(距离测量用电荷积蓄部)。距离运算部142使用被分配并积蓄与反射光rl对应的电荷的两个电荷积蓄部cs的各自中积蓄的电荷量及相当于外光成分的电荷量qb，计算电荷比r。步骤s13～s16的处理与距离图像摄像装置101的像素421具备三个电荷积蓄部cs1～cs3的情况是同样的。
[0364]
或者，也可以是距离图像摄像装置1的像素421具备两个电荷积蓄部cs的结构。在此情况下，距离图像摄像装置1在每1次的测量中，进行仅积蓄相当于外光成分的电荷的处理(称作第1处理)和积蓄包含反射光rl的电荷的处理(称作第2处理)这两个与电荷积蓄有关的处理。例如，距离图像摄像装置1在最先的帧中进行第1处理，在下个帧中进行第2处理。在进行第1处理的情况下，距离图像摄像装置101不照射光脉冲po，使电荷积蓄部cs1、cs2分别积蓄电荷。在进行第2处理情况下，距离图像摄像装置101照射光脉冲po，使电荷积蓄部cs1、cs2分别积蓄电荷。
[0365]
在此情况下，在步骤s110中，距离运算部142取得在第1处理中分别积蓄在电荷积蓄部cs1、cs2中的电荷量q1f、q2f。此外，距离运算部142取得在第2处理中分别积蓄在电荷积蓄部cs1、cs2中的电荷量q1s、q2s。在步骤s111中，距离运算部142将所取得的电荷量q1f及q2f的某个或两者设为相当于外光成分的电荷量qb。在步骤s112中，距离运算部142使用所取得的电荷量q1s、q2s及电荷量qb，计算电荷比r。距离运算部142计算电荷比r的方法与距离图像摄像装置101的像素421具备三个电荷积蓄部cs1～cs3的情况是同样的。
[0366]
如以上说明的那样，第2实施方式的距离图像摄像装置101具备光源部102、接收部103、存储部144和距离图像处理部104。光源部102向被摄体ob存在的测量空间照射光脉冲po。接收部103具备像素421和垂直扫描电路423(驱动电路的一例)。像素421具备光电变换元件pd和三个以上的电荷积蓄部cs。垂直扫描电路423以与光脉冲po的照射同步的规定的定时对像素421中的各个电荷积蓄部cs分配并积蓄电荷。存储部144存储表信息540。表信息540是将到被摄体ob的距离(对应距离)与电荷比r建立了对应的信息。距离图像处理部104使用在电荷积蓄部cs的各自中积蓄的电荷量和表信息540，决定到被摄体ob的测量距离。电荷比r是使用从在三个以上的电荷积蓄部cs中被分配并积蓄与反射光rl对应的电荷的两个
以上的电荷积蓄部cs的各自中积蓄的电荷量减去相当于外光成分的电荷量后的电荷量(距离运算用电荷量)而被表示的比率。具体而言，电荷比r是使用电荷量q1#和q2#而被表示的比，例如是电荷量q2#相对于电荷量q1#与q2#的和的比。电荷量q1#是从图20中的积蓄在电荷积蓄部cs1中的电荷量q1(第1电荷量)减去相当于外光成分的电荷量qb后得到的电荷量(第1距离运算用电荷量)。电荷积蓄部cs1是多个电荷积蓄部cs中的、与光脉冲po由被摄体ob反射后的反射光rl对应的电荷量最先被积蓄到的电荷积蓄部cs，是“第1电荷积蓄部”的一例。电荷量q2#是从图20中的积蓄在电荷积蓄部cs2中的电荷量q2(第2电荷量)减去相当于外光成分的电荷量qb后得到的电荷量(第2距离运算用电荷量)。电荷积蓄部cs2是多个电荷积蓄部cs中的、与光脉冲po由被摄体ob反射后的反射光rl对应的电荷量在电荷积蓄部cs1的下个被积蓄到的电荷积蓄部cs，是“第2电荷积蓄部”的一例。表信息540中，处于偏倚状态的变量的表间隔比不处于偏倚状态的变量的表间隔小。处于偏倚状态是电荷量q1#和电荷量q2#处于极端地偏倚的状态，是电荷量q1#与电荷量q2#的比率(电荷比r)比规定的阈值大的状态。偏倚状态例如是电荷比r高于规定的上限值或低于规定的下限值的状态。变量是表信息540中的电荷比r或距离d的某个。表间隔是将表信息540中的变量分别以升顺排列的情况下相邻的变量的差。距离图像处理部104基于在多个电荷积蓄部cs的各自中积蓄的电荷量计算电荷比r，从表信息540取得与计算出的电荷比r对应的对应距离，使用所取得的对应距离决定测量距离。
[0367]
由此，第2实施方式的距离图像摄像装置101能够使用表信息540而取得与电荷比r对应的距离d。因而，即使在基于积蓄在电荷积蓄部cs1～cs3中的电荷量q1～q3而计算的距离中有误差的情况下，也能够进行修正以接近于实际的距离。即，能够将基于积蓄在电荷积蓄部cs1～cs3中的电荷量q1～q3而计算的距离修正，以使其接近于实际的距离d。并且，在本第2实施方式中，以使得在电荷量q1#、q2#在偏倚的状态下被积蓄的情况下、与电荷量q1#、q2#在没有偏倚的状态下被积蓄的情况相比、表间隔变小的方式，制作表信息540。因此，即使处于电荷量q1#、q2#在偏倚的状态下被积蓄而容易发生误差的状态，也能够精度良好地将距离修正。此外，因此，与将表信息540中的表间隔一律地设为较小的情况相比能够抑制存储器增大。因而，通过将表间隔设为非线性，能够在抑制存储器增大的同时精度良好地运算距离偏差区域。距离偏差区域是处于sn比比较低即电荷比r超过规定的阈值的“偏倚状态”的区域。
[0368]
此外，在第2实施方式的距离图像摄像装置101中，表信息540中包含的电荷比r(变量)分别是在图22中的范围e2、e3的某个范围中包含的值。范围e2是电荷比r小于电荷比阈值r5(第2阈值)的范围，是“第2范围”的一例。范围e3是电荷比r为电荷比阈值r5以上的范围，是“第3范围”的一例。范围e3中的表间隔比范围e2中的表间隔小。由此，即使与电荷量q1#相比q2#在被更多的积蓄的偏倚的状态下被积蓄，处于容易发生误差的状态，也能够精度良好地将距离修正。
[0369]
此外，在第2实施方式的距离图像摄像装置101中，距离图像处理部104通过进行线性插补来决定修正后的距离。距离图像处理部104使用表信息540，提取与比计算出的电荷比r小的电荷比(例如电荷比r1)建立了对应的第1距离(例如距离d11)以及与比电荷比r大的电荷比(例如电荷比r2)建立了对应的第2距离(例如距离d12)。距离图像处理部104将通过对提取出的第1距离(例如距离d11)和第2距离(例如距离d12)间进行线性插补而得到的
距离决定为修正后的距离(测量距离)。在本第2实施方式中，由于以使得在电荷量q1#、q2#以偏倚的状态被积蓄的情况下、与没有偏倚的状态相比、表间隔变小的方式，制作表信息540，所以在进行线性插补的情况下能够精度更好地将距离修正。
[0370]
此外，第2实施方式的距离图像处理部104将在电荷积蓄部cs1～cs3的各自中积蓄的电荷量中的最少的电荷量设为与外光成分对应的电荷量qb。由此，在第2实施方式的距离图像摄像装置101中，能够通过对在电荷积蓄部cs1～cs3的各自中积蓄的电荷量进行比较这样的容易的处理，计算与外光成分对应的电荷量qb。
[0371]
此外，第2实施方式的距离图像处理部104对积蓄定时进行控制，以使得在电荷积蓄部cs1～cs3中的特定的电荷积蓄部cs中仅积蓄相当于外光成分的光量。距离运算部142将积蓄在该特定的电荷积蓄部cs中的电荷量设为与外光成分对应的电荷量qb。由此，在第2实施方式的距离图像摄像装置101中，能够计算出积蓄在特定的电荷积蓄部cs中的电荷量，作为与外光成分对应的电荷量qb，能够容易地决定与外光成分对应的电荷量qb。
[0372]
(第2实施方式的效果)
[0373]
这里，使用图27说明第2实施方式的距离图像摄像装置101的效果。图27是说明第1实施方式的效果的图，并且也是说明第2实施方式的效果的图。在图27中表示了实际的距离(实际距离)与测量距离的关系。图27的横轴表示实际距离，纵轴表示测量距离。这里的距离是到被摄体ob的距离。在图27中，由黑圆表示的不使用表信息540(不使用表信息)的情况下的测量距离，例如是通过向(14)式代入电荷量q1～q3而计算的距离。由黑三角表示的使用表信息540(使用表信息)的情况下的测量距离是使用表信息540计算出的距离。如该图27所示，使用表信息的情况下的测量距离与实际距离一致。另一方面，不使用表信息的情况下的测量距离与实际距离不一致，为包含误差的值。即，在本第2实施方式的距离图像摄像装置101中，通过使用表信息540而决定测量距离，能够计算更接近于实际距离的值。
[0374]
(第2实施方式的变形例1)
[0375]
这里，对第2实施方式的变形例1进行说明。在第1变形例中，在存储部144按多个时间窗的每个时间窗而存储表信息540这一点上与上述的第2实施方式不同。这里的时间窗对应于距离测量用电荷积蓄部的组合。距离测量用电荷积蓄部是被分配并积蓄与反射光rl对应的电荷的两个电荷积蓄部cs。
[0376]
例如，在图20中，距离测量用电荷积蓄部的组合是电荷积蓄部cs1及cs2。该组合相当于第一个时间窗。根据以该第一个时间窗分配并积蓄的电荷的电荷比r来决定距离d。
[0377]
此外，在图24中，距离测量用电荷积蓄部的组合是电荷积蓄部cs2及cs3。该组合相当于第二个时间窗。根据以该第二个时间窗分配并积蓄的电荷的电荷比r来决定距离d。
[0378]
图28是说明第2实施方式的变形例1的两个时间窗的特性的图。这里的特性是表示实际距离与测量距离的对应关系的特性。图28的横轴表示实际距离，纵轴表示测量距离。特性l0表示理想的实际距离与测量距离的关系。特性l1表示第一个时间窗中的实际距离与测量距离的关系。特性l2表示第二个时间窗中的实际距离与测量距离的关系。如该图28的例子所示，在时间窗和其他的时间窗中，表示出实际距离与测量距离的对应关系相互不同的特性的情况较多。因此，在使用在某个时间窗能够精度良好地进行修正的表信息540将其他时间窗的距离修正的情况下，并不一定能够精度良好地修正。此外，如上述那样，在将与反射光rl对应的电荷以偏倚的状态积蓄的情况下容易发生误差。因此，在时间窗的连接部ts，
距离的误差变大。
[0379]
这里，在第一个时间窗中，与第二个时间窗相比将来自处于近距离的被摄体ob的反射光rl接收。在此情况下，与第一个时间窗对应的表信息540是“近距离用信息”的一例。另一方面，在第二个时间窗中，与第一个时间窗相比将来自处于远距离的被摄体ob的反射光rl接收。在此情况下，与第二个时间窗对应的表信息540是“远距离用信息”的一例。
[0380]
作为其对策，在本第2实施方式的变形例1中，在存储部144中预先制作按每个时间窗的表信息540，存储在存储部144中。
[0381]
图29及图30是表示第2实施方式的变形例1的表信息540a、540b的结构的例子的图。在图29中表示出在相当于某个时间窗的距离测量用电荷积蓄部的组合(例如，电荷积蓄部cs1及cs2)中使用的表信息540a。在图30中表示出在相当于另一时间窗的距离测量用电荷积蓄部的组合(例如，电荷积蓄部cs2及cs3)中使用的表信息540b。这样，通过制作按每个时间窗的表信息540a、540b，能够进行与各个时间窗对应的修正。
[0382]
如图29所示，表信息540a例如具备时间窗、电荷比阈值、表间隔、电荷比及距离的各项目。时间窗是表示距离测量用电荷积蓄部的组合的信息。在该图29的例子中，在时间窗中表示(q1q2)，示出了距离测量用电荷积蓄部的组合是电荷积蓄部cs1、cs2。关于电荷比阈值、表间隔、电荷比及距离，与图21是同样的，所以省略其说明。
[0383]
如图30所示，表信息540b例如具备时间窗、电荷比阈值、表间隔、电荷比及距离的各项目。时间窗与图29是同样的，关于电荷比阈值、表间隔、电荷比及距离，与图21是同样的，所以省略其说明。在该图30的例子中，在时间窗中表示(q2q3)，示出了距离测量用电荷积蓄部的组合是电荷积蓄部cs2、cs3。此外，表示了将小于电荷比阈值r15的电荷比群(电荷比r11～r14)的表间隔设为间隔tk4、将电荷比阈值r15以上的电荷比群(电荷比r15～r19)的表间隔设为间隔tk5的例子。
[0384]
图31是说明第2实施方式的变形例的表信息540b的图。图31的横轴表示电荷比r，纵轴表示距离d。在图31中，对应于横轴的电荷比r的大小而设定了两个范围e11、e12。范围e11是电荷比小于电荷比r15的范围。范围e12是电荷比为电荷比r15以上的范围。这里，范围e11是“第1范围”的一例。范围e12是“第2范围”的一例。此外，范围e11是“第4范围”的一例。范围e12是“第5范围”的一例。
[0385]
在图31中表示了基于图30的表信息540b的电荷比r与距离d的关系。在表信息540b中，作为电荷比阈值而设定了电荷比r15。在此情况下，范围e11中包含的电荷比r11～r14的表间隔为间隔tk4。此外，范围e12中包含的电荷比r15～r19的表间隔为间隔tk5。间隔tk4比间隔tk5小。
[0386]
另外，在图31中，表示了电荷比r由(16)式表示的情况下的例子。即，在图31中，示出了随着电荷比r增加而距离d增加的右肩上升的特性。在电荷比r由(15)式表示的情况下，为随着电荷比r增加而距离d减小的右肩下降的特性。在此情况下，电荷比阈值被设定为(1.0－电荷比r15)，电荷比阈值以下的电荷比的表间隔被设定得较粗(即较宽)，比电荷比阈值大的电荷比的表间隔被设定得较细(即较窄)。
[0387]
这样，在本第2实施方式的变形例1中，按每个时间窗制作表信息540，在时间窗的连接部ts，与不是连接部ts的部分相比使得表间隔变得小而细。由此，能够按每个时间窗选择适当的表信息540，并且在容易发生距离的误差的连接部ts也能够精度更好地决定距离。
[0388]
或者，也可以将表信息540制作为，不仅是时间窗的连接部ts、在第二个时间窗的两端部，表间隔也变得小而细。由此，在容易发生距离的误差的时间窗的端部能够精度更好地决定距离。
[0389]
图32是表示第2实施方式的变形例1的表信息540c的结构的例子的图。如图32所示，表信息540c例如具备时间窗、电荷比阈值、表间隔、电荷比及距离的各项目。时间窗与图29是同样的，关于表间隔、电荷比及距离，与图21是同样的，所以省略其说明。
[0390]
这里，将电荷比阈值设定了上限和下限这两个。在该图32的例子中，表示了上限的电荷比阈值设定为电荷比r20、下限的电荷比阈值设定为电荷比r15。并且，表示了将小于下限的电荷比阈值r15的电荷比群(电荷比r11～r14)的表间隔设为间隔tk4，将下限的电荷比阈值r15以上且小于上限的电荷比阈值r20的电荷比群(电荷比r15～r19)的表间隔设为间隔tk5，将上限的电荷比阈值r20以上的电荷比群(电荷比r20～r24)的表间隔设为间隔tk6。
[0391]
图33是说明第2实施方式的变形例1的表信息540c的图。图33的横轴表示电荷比r，纵轴表示距离d。在图33中，对应于横轴的电荷比r的大小而设定了3个范围e11～e13。范围e11是电荷比小于电荷比r15的范围。范围e12是电荷比为电荷比r15以上且小于电荷比r20的范围。范围e13是电荷比为电荷比r20以上的范围。这里，范围e11是“第1范围”的一例。范围e12是“第2范围”的一例。范围e13是“第3范围”的一例。此外，范围e11是“第4范围”的一例。范围e12是“第5范围”的一例。范围e13是“第6范围”的一例。
[0392]
在图33中表示基于图32的表信息540c的电荷比r与距离d的关系。在表信息540c中，分别作为上限的电荷比阈值而设定了电荷比r20，作为下限的电荷比阈值而设定了电荷比r15。在此情况下，包含在范围e11中的电荷比r11～r14的表间隔为间隔tk4。此外，包含在范围e12中的电荷比r15～r19的表间隔为间隔tk5。此外，包含在范围e13中的电荷比r20～r24的表间隔为间隔tk6。间隔tk4比间隔tk5小。间隔tk6比间隔tk5小。
[0393]
另外，在图32中表示了电荷比r由(16)式表示的情况下的例子。即，在图32中，示出了随着电荷比r增加而距离d增加的右肩上升的特性。在电荷比r由(15)式表示的情况下，为随着电荷比r增加而距离d减小的右肩下降的特性。在此情况下，电荷比阈值被设定为(1.0－电荷比r15)及(1.0－电荷比r20)。电荷比阈值(1.0－电荷比r20)以上且小于(1.0－电荷比r15)的表间隔被设定得较粗(即较宽)。小于电荷比阈值(1.0－电荷比r20)的表间隔被设定得较细(即较窄)。此外，电荷比阈值(1.0－电荷比r15)以上的表间隔被设定得较细(即较窄)。
[0394]
这样，在本第2实施方式的变形例1中，按每个时间窗制作表信息540，在第二个时间窗的两端使得表间隔小而细。由此，能够按每个时间窗选择适当的表信息540，并且在容易发生距离的误差的时间窗的端部中也能够精度更好地决定距离。
[0395]
另外，在上述中，例示以在第二个时间窗的两端处表间隔变得小而细的方式制作表信息540c的情况进行了说明。但是，并不限定于此。也可以以在第一个时间窗的两端处表间隔变得小而细的方式制作表信息540a。此外，也可以在距离图像摄像装置101是不具备多个时间窗的结构的情况下，以在一个时间窗的两端处表间隔变得小而细的方式制作表信息540。
[0396]
如以上说明的那样，在有关实施方式的变形例1的距离图像摄像装置101中，包含在表信息540中的电荷比r(变量)分别是包含在图31中的范围e11、e12的某个范围中的值。
范围e11是电荷比r小于电荷比阈值r15的范围，是“第1范围”的一例。范围e12是电荷比r为电荷比阈值r15以上的范围，是“第2范围”的一例。范围e11中的表间隔比范围e12中的表间隔小。由此，即使在与电荷量q1#相比q2#以仅稍稍被积蓄的偏倚的状态被积蓄而处于容易发生误差的状态，也能够精度良好地将距离修正。
[0397]
此外，在有关第2实施方式的变形例1的距离图像摄像装置101中，像素421具备三个以上的电荷积蓄部cs。存储部144按三个以上的电荷积蓄部cs中的第1电荷积蓄部和上述第2电荷积蓄部的组合存储表信息540。距离图像处理部4基于积蓄在三个以上的电荷积蓄部cs中的电荷量，决定第1电荷积蓄部及第2电荷积蓄部的组合。距离图像处理部104将在三个以上的电荷积蓄部cs中的积蓄电荷的定时连续的两个上述电荷积蓄部的各自中积蓄的电荷量的和比在其他的两个上述电荷积蓄部的各自中积蓄的电荷量大的组合决定为第1电荷积蓄部及第2电荷积蓄部的组合。距离图像处理部104根据所决定的第1电荷积蓄部及第2电荷积蓄部的组合来选择表信息540。由此，在第2实施方式的变形例1中，能够按每个时间窗来选择适当的表信息540，在按每个时间窗而特性不同的情况下也能够精度良好地决定距离。
[0398]
此外，在有关第2实施方式的变形例1的距离图像摄像装置101中，存储部144存储表信息540a和表信息540b。表信息540a是与第一个时间窗对应的表信息540，是“近距离用信息”的一例。表信息540b是与第二个时间窗对应的表信息540，是“远距离用信息”的一例。在表信息540a中包含的电荷比r(变量)分别是在图22中的范围e2、e3的某个范围中包含的值。范围e3中的表间隔比范围e2中的表间隔小。表信息540b中包含的电荷比r(变量)分别是包含在图31的范围e11、e12的某个范围中的值。范围e11中的表间隔比范围e12中的表间隔小。由此，在有关第2实施方式的变形例1的距离图像摄像装置101中，能够按每个时间窗选择适当的表信息540，并且在容易发生距离的误差的时间窗的连接部ts能够选择更适当的距离。因而，能够精度良好地决定距离。
[0399]
(第2实施方式的变形例2)
[0400]
这里，对第2实施方式的变形例2进行说明。在本变形例2中，在不确定仅积蓄外光的电荷积蓄部cs或被分配并积蓄反射光rl的两个电荷积蓄部cs(距离运算用电荷积蓄部)而计算电荷比r这一点上与上述的第2实施方式不同。
[0401]
在本变形例2中，距离运算部142利用专利文献wo2019/031510所记载的方法。在专利文献wo2019/031510中，记载有根据指标值是否超过规定的阈值来选择在距离运算中使用的运算式的技术。这里的指标值是专利文献wo2019/031510中的“距离数据有效性判定信号”。此外，这里的运算式是专利文献wo2019/031510中的“距离参照值”，相当于本实施方式的“电荷比r”。以下，分为像素421具备三个电荷积蓄部cs的情况和像素421具备四个电荷积蓄部cs的情况，说明具体的电荷比r的计算方法。
[0402]
(像素421具备三个电荷积蓄部cs的情况)
[0403]
在本变形例2中，距离运算部142使用以下的(17)式或(18)式来计算电荷比r。这里，假设按照图20及图24所示的时序图，在电荷积蓄部cs1、cs2、cs3中依次积蓄电荷。即，距离运算部42进行控制，以使得在与光脉冲po的照射同步的定时、在电荷积蓄部cs1、cs2及cs3中依次积蓄电荷。在此情况下，电荷积蓄部cs1是“第1电荷积蓄部”的一例。电荷积蓄部cs2是“第2电荷积蓄部”的一例。电荷积蓄部cs3是“第3电荷积蓄部”的一例。此外，积蓄在电
荷积蓄部cs1中的电荷量是“第1电荷量”的一例。积蓄在电荷积蓄部cs2中的电荷量是“第2电荷量”的一例。积蓄在电荷积蓄部cs3中的电荷量是“第3电荷量”的一例。
[0404]
r＝1－(q1－q3)/sa
…
(17)
[0405]
r＝(q1－q3)/sa
…
(18)
[0406]
其中，
[0407]
sa＝|q1－q3| q2－0.5
×
sb
[0408]
sb＝|q1 q3|－|q1－q3|
[0409]
q1是积蓄在电荷积蓄部cs1中的电荷量
[0410]
q2是积蓄在电荷积蓄部cs2中的电荷量
[0411]
q3是积蓄在电荷积蓄部cs3中的电荷量
[0412]
在存储部144中，按每个单位积蓄电荷量qint存储有将距离与电荷比r建立了对应的表信息540。距离运算部142计算单位积蓄电荷量qint，使用与计算出的单位积蓄电荷量qint对应的表信息540，将与电荷比r建立了对应的距离设为测量距离。
[0413]
(像素421具备四个电荷积蓄部cs的情况)
[0414]
首先，对像素421具备四个电荷积蓄部cs的情况下的像素421的驱动定时进行说明。在此情况下，例如对图20及图24再追加读出栅极晶体管g4的项目，在电荷积蓄部cs1、cs2、cs3、cs4中依次积蓄电荷。在此情况下，电荷积蓄部cs1是“第1电荷积蓄部”的一例。电荷积蓄部cs2是“第2电荷积蓄部”的一例。电荷积蓄部cs3是“第3电荷积蓄部”的一例。电荷积蓄部cs4是“第4电荷积蓄部”的一例。此外，积蓄在电荷积蓄部cs1中的电荷量是“第1电荷量”的一例。积蓄在电荷积蓄部cs2中的电荷量是“第2电荷量”的一例。积蓄在电荷积蓄部cs3中的电荷量是“第3电荷量”的一例。积蓄在电荷积蓄部cs4中的电荷量是“第4电荷量”的一例。
[0415]
具体而言，在图20及图24所示的定时，进行光脉冲po的照射、将漏极栅极晶体管gd设为断开状态的控制、将读出栅极晶体管g1～g3设为导通状态的控制。接着，垂直扫描电路1323在结束了电荷向电荷积蓄部cs3的积蓄的定时，将读出栅极晶体管g4设为导通状态，在经过积蓄时间ta之后，将读出栅极晶体管g4设为断开状态。由此，在读出栅极晶体管g4被控制为导通状态的期间由光电变换元件pd光电变换后的电荷经由读出栅极晶体管g4被积蓄到电荷积蓄部cs4中。接着，垂直扫描电路423在结束了电荷向电荷积蓄部cs4的积蓄的定时，将漏极栅极晶体管gd设为导通状态，进行电荷的排出。由此，由光电变换元件pd光电变换后的电荷经由漏极栅极晶体管gd被丢弃。
[0416]
基于在上述那样的定时被控制的电荷积蓄部cs的各自中积蓄的电荷量，距离运算部142使用以下的(19)式或(20)式，计算电荷比xr。
[0417]
xr＝1－(q1－q3)/sa
…
(19)
[0418]
xr＝(q1－q3)/sa
…
(20)
[0419]
其中，
[0420]
sa＝|q1－q3| |q2－q4|
[0421]
q1是积蓄在电荷积蓄部cs1中的电荷量
[0422]
q2是积蓄在电荷积蓄部cs2中的电荷量
[0423]
q3是积蓄在电荷积蓄部cs3中的电荷量
[0424]
q4是积蓄在电荷积蓄部cs4中的电荷量
[0425]
此外，距离运算部142使用以下的(21)式或(22)式，计算电荷比yr。
[0426]
yr＝2－(q2－q4)/sa
…
(21)
[0427]
yr＝1 (q2－q4)/sa
…
(22)
[0428]
其中，
[0429]
sa＝|q1－q3| |q2－q4|
[0430]
q1是积蓄在电荷积蓄部cs1中的电荷量
[0431]
q2是积蓄在电荷积蓄部cs2中的电荷量
[0432]
q3是积蓄在电荷积蓄部cs3中的电荷量
[0433]
q4是积蓄在电荷积蓄部cs4中的电荷量
[0434]
距离运算部142将电荷比xr与阈值thr比较。阈值thr被设定为相当于时间窗的切换附近的电荷比xr的值的附近。距离运算部142在电荷比xr为阈值thr以下的情况下，选择电荷比xr作为电荷比r。另一方面，距离运算部142在电荷比xr超过了阈值thr的情况下，选择电荷比yr作为电荷比r。
[0435]
在存储部144中，按单位积蓄电荷量qint存储有将距离与电荷比r建立了对应的表信息540。距离运算部142计算单位积蓄电荷量qint，使用与计算出的单位积蓄电荷量qint对应的表信息540，将与电荷比r建立了对应的距离作为测量距离。
[0436]
如以上说明的那样，在有关第2实施方式的变形例2的距离图像摄像装置101中，像素421具备三个电荷积蓄部cs1～cs3。距离图像处理部104以在与光脉冲po的照射同步的定时、在电荷积蓄部cs1、cs2、cs3中依次积蓄电荷的方式进行控制。距离运算部142如(17)式或(18)式那样，将(q1－q3)设为积蓄在两个距离运算用电荷积蓄部的某一方的电荷积蓄部cs中的对应于反射光rl的电荷量(距离运算用电荷量)。q1是积蓄在电荷积蓄部cs1中的电荷量。q3是积蓄在电荷积蓄部cs3中的电荷量。
[0437]
由此，在有关第2实施方式的变形例2的距离图像摄像装置101中，能够不确定两个距离运算用电荷积蓄部而计算积蓄在两个距离运算用电荷积蓄部的某一方中的距离运算用电荷量。因此，如(17)式或(18)式的sa所示，通过计算在两个距离运算用电荷积蓄部的各自中积蓄的距离运算用电荷量的和，能够计算电荷比r。因而，在有关第2实施方式的变形例2的距离图像摄像装置101中，能够根据延迟时间td的长度，确定仅积蓄有外光的电荷积蓄部cs，不计算相当于外光成分的电荷量qb而容易地计算电荷比r。进而，在两个时间窗的边界也能够应用相同的运算式((17)式或(18)式)，所以能够改善时间窗的边界处的不连续性。
[0438]
此外，在有关第2实施方式的变形例2的距离图像摄像装置101中，像素421具备四个电荷积蓄部cs1～cs4。距离图像处理部104以在与光脉冲po的照射同步的定时、在电荷积蓄部cs1、cs2、cs3、cs4中依次积蓄电荷的方式进行控制。距离运算部142将(q1－q3)设为根据在两个距离运算用电荷积蓄部的一方的电荷积蓄部cs中积蓄的电荷量而计算的信号量。距离运算部142将(q2－q4)设为根据在两个距离运算用电荷积蓄部的另一方的电荷积蓄部cs中积蓄的电荷量而计算的信号量。距离运算部142将|q1－q3| |q2－q4|设为根据在两个距离运算用电荷积蓄部各自的电荷积蓄部cs中积蓄的电荷量而计算的信号量的和。
[0439]
由此，在有关第2实施方式的变形例2的距离图像摄像装置101中，能够计算在两个
距离运算用电荷积蓄部的各自中积蓄的距离运算用电荷量的和、积蓄在两个距离运算用电荷积蓄部的某一方中的距离运算用电荷量及积蓄在另一方中的距离运算用电荷量。因此，能够不确定两个距离运算用电荷积蓄部而计算电荷比r。
[0440]
进而，在此情况下，在时间窗的边界，(19)式中的电荷比xr和(21)式中的电荷比yr为相同的值。因此，能够改善时间窗的边界处的不连续性。
[0441]
另外，在上述的第2实施方式中，例示并说明了距离图像处理部104具备存储部144的结构，但并不限定于此。存储部144只要至少设在距离图像摄像装置101中即可，也可以设在与距离图像处理部104不同的功能部中。
[0442]
此外，在上述的第2实施方式中，以将表间隔设为电荷比r的差的情况为例进行了说明，但并不限定于此。表间隔也可以是距离d的差。在制作表信息540的情况下，将在测量空间中测量距离为均匀的物体(例如墙壁等)设置为被摄体ob，一边使从距离图像摄像装置101到被摄体ob的距离变化一边进行反射光rl电荷的积蓄，取得电荷比r与距离d的关系。在此情况下，在测量范围的最小值及最大值的附近，与反射光rl对应的电荷量偏倚而被积蓄，容易在距离中发生误差。
[0443]
例如，可以考虑是如下结构的情况：具备3个时间窗，能够用一个时间窗测量的范围是1.8m左右。在此情况下，在相当于各个时间窗的端部的距离的范围中容易发生误差。所谓相当于时间窗的端部的距离，例如是相当于第一个时间窗的端部的、距离1.6m～1.8m左右的范围。此外，是相当于第二个时间窗的两端部的、距离1.8m～2.0m及3.4m～3.6m左右的范围。此外，是相当于第三个时间窗的两端部的、距离3.6m～3.8m及5.2m～5.4m左右的范围。以在这些距离的范围中表间隔较小较细的方式制作表信息540。具体而言，一边使从距离图像摄像装置101到被摄体ob(例如墙壁)的距离较细地(例如以0.05m刻度)变化一边进行反射光rl电荷的积蓄，制作表信息540。另一方面，以在不相当于时间窗的端部的距离的范围中表间隔较大较粗的方式制作表信息540。具体而言，一边使从距离图像摄像装置101到被摄体ob(例如墙壁)的距离较粗地(例如以0.5m刻度)变化一边进行反射光rl电荷的积蓄，制作表信息540。
[0444]
另外，在上述的至少一个实施方式中，以电荷比r是两个距离运算用电荷积蓄部的某一方的距离运算用电荷量相对于在两个距离运算用电荷积蓄部的各自中积蓄的距离运算用电荷量的和之比的情况为例进行了说明。但是，并不限定于此。电荷比r只要是使用在至少两个距离运算用电荷积蓄部的各自中积蓄的距离运算用电荷量而被表示的比率即可。例如，电荷比r也可以是两个距离运算用电荷积蓄部中另一方距离运算用电荷积蓄部的距离运算用电荷量相对于某一方距离运算用电荷积蓄部的距离运算用电荷量的比。
[0445]
此外，在图25中，以进行控制以通过在照射光脉冲po之前使电荷积蓄部cs1积蓄电荷而使得在电荷积蓄部cs1中仅积蓄相当于外光成分的电荷量qb的情况为例进行了说明。但是，并不限定于此。也可以以照射光脉冲po、在将反射光rl接收后使电荷积蓄部cs3积蓄电荷的方式进行控制。在此情况下，在电荷积蓄部cs3中仅积蓄相当于外光成分的电荷量qb。在此情况下，电荷积蓄部cs3是“预先决定的外光积蓄用电荷积蓄部”的一例。
[0446]
此外，作为相当于外光成分的电荷量qb，也可以使用在其他帧中取得的相当于外光成分的电荷量、或通过在距离图像摄像装置101中设置特定的外光测量用的像素421而取得的相当于外光成分的电荷量。使用上述方法，例如在像素421仅具备两个电荷积蓄部cs的
情况下，也能够从在两个电荷积蓄部cs的各自中积蓄的电荷量减去相当于外光成分的电荷量。因而，即使在像素421仅具备两个电荷积蓄部cs的情况下也能够计算电荷比r。
[0447]
也可以将上述的实施方式的距离图像摄像装置101、距离图像处理部104的全部或一部分用计算机实现。在此情况下，也可以将用来实现该功能的程序记录在计算机可读取的记录介质中，通过使计算机系统将记录在该记录介质中的程序读入并执行来实现。另外，这里所述的“计算机系统”包括os及周边设备等的硬件。此外，“计算机可读取的记录介质”是指软盘、光磁盘、rom、cd－rom等的可移动介质，内置在计算机系统中的硬盘等的存储装置。进而，“计算机可读取的记录介质”也可以还包括如经由因特网等的网络或电话线路等的通信线路发送程序的情况下的通信线那样、在短时间的期间中动态地保持程序的介质，也可以还包括如该情况下的作为服务器或客户端的计算机系统内部的易失性存储器那样在一定时间中保持程序的装置。此外，上述程序也可以是用来实现上述的功能的一部分者，还可以是能够通过与已经记录在计算机系统中的程序的组合来实现上述功能者，还可以是使用fpga等的可编程逻辑器件而实现者。
[0448]
以上，参照附图对本发明的第2实施方式详细地进行了叙述，但具体的结构并不限于第2实施方式，也包含不脱离本发明的主旨的范围的设计等。
[0449]
工业实用性
[0450]
根据本发明，即使在基于积蓄在电荷积蓄部中的电荷量而计算的距离中有误差的情况下，也能够进行修正以接近于实际的距离。即，即使在基于积蓄在电荷积蓄部中的电荷量而计算的距离与实际的距离之间有误差的情况下，也能够将计算的距离修正(运算)为接近于实际的距离。
[0451]
标号说明
[0452]
1、101
…
距离图像摄像装置
[0453]
2、102
…
光源部
[0454]
3、103
…
接收部
[0455]
32、132
…
距离图像传感器
[0456]
321、421
…
像素
[0457]
323、423
…
垂直扫描电路
[0458]
4、104
…
距离图像处理部
[0459]
41、141
…
定时控制部
[0460]
42、142
…
距离运算部
[0461]
43、143
…
测量控制部
[0462]
44、144
…
存储部
[0463]
440、540
…
表信息
[0464]
cs
…
电荷积蓄部
[0465]
po
…
光脉冲