1.本技术涉及信息处理装置，并且更具体地，涉及能够通过使用事件数据更容易地确定维护时间的信息处理装置。
背景技术：
2.专利文献1公开了一种维护支持装置，该维护支持装置通过使用学习数据集执行机器学习来生成学习模型，并且在学习数据集中，由外部测量装置测量的实际表面粗糙度是目标变量，由内部测量装置测量的测量数据是说明变量，并且基于由内部测量装置(诸如非接触位移传感器)获得的测量数据执行支持机器工具的维护的处理。
3.引用列表
4.专利文献
5.专利文献1：日本专利申请特开第2020-114615号
技术实现要素：
6.本发明要解决的问题
7.希望能够更容易地确定机器工具的维护时间。
8.本技术鉴于这种情况做出，并且使得可以通过使用事件数据更容易地确定维护时间。
9.解决问题的方案
10.根据本技术的方面的信息处理装置包括状态估计单元，该状态估计单元通过使用从事件传感器提供的事件数据来估计磨石的状态，并且输出估计的结果，事件传感器输出通过光电转换光信号而获得的电信号的时间变化作为事件数据。
11.根据本技术的方面，通过光电转换光信号而获得的电信号的时间变化被输出作为事件数据，通过使用事件数据来估计磨石的状态，并且输出估计的结果。
12.信息处理装置可以是独立设备或者可以是结合在另一设备中的模块。
附图说明
13.图1是示出应用本技术的信息处理系统的第一实施方式的配置实例的框图。
14.图2是示出了事件数据的实例的示图。
15.图3是用于说明从事件数据生成帧数据的方法的实例的示图。
16.图4是用于说明捕获下落的火花的事件图像的示图。
17.图5是示出信息处理装置的详细配置实例的框图。
18.图6是用于说明测量参数与物理量之间的关系的示图。
19.图7是示出测量参数与物理量之间的相关性的表。
20.图8是用于说明由信息处理系统执行的维护时间确定处理的流程图。
21.图9是用于说明阈值更新处理的流程图。
22.图10是示出应用本技术的信息处理系统的第二实施例的evs相机的配置实例的框图。
23.图11是示出成像元件的详细配置实例的框图。
24.图12是示出地址事件检测电路的配置实例的框图。
25.图13是示出电流-电压转换电路、减法器和量化器的详细配置的电路。
26.图14是示出地址事件检测电路的更详细配置实例的示图。
27.图15是示出量化器的另一配置实例的电路图。
28.图16是示出在采用图15的量化器的情况下的地址事件检测电路的更详细的电路配置实例的示图。
29.图17是示出计算机的硬件的配置实例的框图。
具体实施方式
30.在下文中，将参考附图描述用于实现本技术的实施例(在下文中，称之为实施方式)。注意，在描述和附图中，具有基本上相同的功能和配置的部件由相同的附图标记表示，并且省略多余的描述。将按照以下顺序进行描述。
31.1.信息处理系统的第一实施例
32.2.事件数据的实例
33.3.信息处理装置的配置实例
34.4.测量参数与物理量之间的关系
35.5.维护时间确定处理的流程图
36.6.阈值更新处理的流程图
37.7.信息处理系统的第二实施例
38.8.结论
39.9.计算机配置实例
40.《1.信息处理系统的第一实施例》
41.图1示出了应用本技术的信息处理系统的第一实施例的配置实例。
42.图1的信息处理系统1是包括evs相机11、信息处理装置12和显示器13；估计机器工具21的磨石22的状态并告知维护时间的系统。
43.机器工具21是对工件w执行诸如圆柱形研削、内表面研削和平面研削等研削加工的机器工具，并且是所谓的研削机。机器工具21使磨石22以高速旋转以磨削工件w。冷却剂液体23从上喷嘴提供至磨石22与工件w之间的接触部分。在通过磨石22磨削工件w的过程中，从磨石22与工件w之间的接触部分产生火花24。除了火花24之外，冷却剂液体23也滴落
44.evs相机11是包括事件传感器的相机，该事件传感器输出通过光电转换光信号而获得的电信号的时间变化作为事件数据。这种事件传感器也被称为基于事件的视觉传感器(evs)。当包括普通图像传感器的相机与垂直同步信号同步地捕获图像并且以垂直同步信号的周期输出作为一个帧(画面)的图像数据的帧数据时，evs相机11仅在事件发生的定时输出事件数据。因此，可以说evs相机11是异步或地址控制相机。
45.evs相机11被安装成使得其成像范围包括在磨削过程期间的工件w和磨石22，检测由磨削期间产生的火花24和滴落的冷却剂液体23引起的光(亮度)的变化作为事件，并且将
事件数据输出到信息处理装置12。
46.信息处理装置12基于从evs相机11输出的事件数据来估计磨石22的状态。例如，信息处理装置12通过处理事件数据来确定磨石22是否被堵塞。在信息处理装置12确定磨石22堵塞的情况下，信息处理装置12输出发生磨石22堵塞的警报。对于警报，可以选择诸如输出声音，诸如蜂鸣器、打开信号灯或显示警报消息的任何方法。在本实施例中，信息处理装置12使显示器13显示诸如“已经发生堵塞，需要维护”等消息(文本)。此外，信息处理装置12使用从evs相机11输出的事件数据来生成显示图像，并且使显示器13显示该显示图像。
47.《2.事件数据的实例》
48.图2示出了由evs相机11输出的事件数据的实例。
49.例如，如图2所示，evs相机11输出事件数据作为事件，该事件数据包括事件发生的时间ti、表示事件发生的像素的位置的坐标(xi，yi)以及亮度变化的极性pi。
50.事件的时间ti是指示事件发生的时间的时间戳，并且由例如基于传感器中的预定时钟信号的计数器的计数值来表示。可以说，对应于事件发生的时间的时间戳是表示事件发生的(相对)时间的时间信息，只要原样保持事件发生时事件之间的间隔即可。
51.极性pi表示在超过预定阈值(在下文中，称为事件阈值)的亮度变化(光量变化)作为事件发生的情况下的亮度变化的方向，并且表示亮度变化是在正方向上的变化(在下文中，也称为正)还是在负方向上的变化(在下文中，也称为负)。例如，事件的极性pi在正的情况下被表示为“1”，并且在负的情况下被表示为“0”。
52.在图2的事件数据中，在某个事件的时间ti和与该事件邻近的事件的时间t
i 1
之间的间隔不一定是恒定的。也就是说，事件的时间ti和时间t
i 1
可以是相同的时间或者不同的时间。然而，假设对于事件的时间t
i 1
和时间t
i 1
，存在由表达式ti＜＝t
i 1
表示的关系。
53.evs相机11仅输出其中检测到亮度变化的像素的位置坐标、极性和时间信息。因为evs相机11仅生成和输出位置坐标、极性和时间信息的净变化(差)，所以数据的信息量没有冗余，并且具有μs量级的高时间分辨率。因此，可精确地捕获瞬间产生的火花24、冷却剂液体23等。
54.与在与垂直同步信号同步的帧周期中输出的帧格式的图像数据(帧数据)不同，每当事件发生时输出事件数据。因此，事件数据原样不能被显示为显示器13图像，并且不能被输入到标识符(分类器)用于图像处理，其中显示器13显示对应于帧数据的图像。为了在显示器13上显示事件数据，需要将事件数据转换成帧数据。
55.图3是用于说明从事件数据生成帧数据的方法的实例的示图。
56.在图3中，在包括x轴、y轴以及时间轴t的三维(时间)空间中，在事件数据中包括的事件的时间t以及作为事件的像素的坐标(x，y)绘制作为事件数据的点。
57.即，假设将由包括在事件数据中的事件的时间t和事件的像素(x，y)表示的三维空间中的位置(x，y，t)称为事件的时空位置，在图3中将事件数据绘制为事件(x，y，t)的时空位置处的点。
58.通过使用从evs相机11输出的事件数据作为像素值，对于每预定帧间隔，可以使用从预定帧间隔开始起的预定帧宽度内的事件数据来生成事件图像。
59.帧宽度和帧间隔可由时间指定或由事件数据的条数指定。帧宽度和帧间隔中的一个可由时间指定，并且另一个可由事件数据的条数指定。
60.这里，在通过时间指定帧宽度和帧间隔并且帧宽度和帧间隔相同的情况下，帧体积处于彼此接触而没有间隙的状态。此外，在帧间隔大于帧宽的情况下，帧体积处于布置有间隙的状态。在帧宽度大于帧间隔的情况下，帧体积在以部分重叠的方式被布置的状态下。
61.例如，通过将帧中的事件的位置(x，y)处的像素(的像素值)设置为白色并且将帧中的其他位置处的像素设置为诸如灰色的预定颜色，可以执行事件图像的生成。
62.此外，在针对事件数据区分光量改变的极性作为事件的情况下，帧数据的生成可以通过例如在极性为正的情况下将像素设置为白色、在极性为负的情况下将像素设置为黑色、以及将帧的其他位置处的像素设置为诸如灰色的预定颜色来执行。
63.图4示出捕获一个下落的火花24的事件图像的实例。
64.火花24具有比周围背景更亮的光量。因此，在evs相机11拍摄到一个火花24从由虚线表示的位置下落到由实线表示的位置的情况下，如图4所示，在火花24朝向其行进的下部区域中发生从暗到亮的亮度变化(光量变化)，并且发生正事件。另一方面，在与火花24朝向其行进的区域相对的上部区域中，发生从亮到暗的亮度变化(光量变化)，并且发生负事件。
65.当生成具有正极性的像素设置为白色、具有负极性的像素设置为黑色、并且在帧的其他位置的像素设置为灰色的图像作为要在显示器13上显示的显示图像时，获得在图4中最右侧的图像。
66.《3.信息处理装置的配置实例》
67.图5是示出信息处理装置12的详细配置实例的框图。
68.要注意的是，除了evs相机11和显示器13以外，在图5中还示出了可选的外部传感器14。
69.信息处理装置12包括数据获取单元50、事件数据处理单元51、事件数据存储单元52、图像生成单元53、图像存储单元54和图像数据处理单元55。此外，信息处理装置12包括磨石状态估计单元56、相机设置改变单元57、特征量存储单元58和输出单元59。
70.数据获取单元50在任何时间获取从evs相机11输出的事件数据，并且将事件数据提供到事件数据处理单元51和事件数据存储单元52。
71.事件数据处理单元51使用从数据获取单元50提供的事件数据执行预定的事件数据处理，并将处理后的数据提供给磨石状态估计单元56。例如，事件数据处理单元51计算作为事件数据的发生频率的事件率并且将该事件率提供给磨石状态估计单元56。
72.事件数据存储单元52在其中存储在特定时间段从数据获取单元50提供的事件数据，并且将事件数据提供给图像生成单元53。图像生成单元53使用存储在事件数据存储单元52中的事件数据生成事件图像。具体而言，图像生成单元53使用存储在事件数据存储单元52中的事件数据中的从预定的帧间隔的开始起的预定的帧宽度内的事件数据来生成事件图像。将每隔预定帧间隔生成的事件图像提供给图像存储单元54。图像存储单元54在其中存储从图像生成单元53提供的事件图像。
73.图像数据处理单元55使用存储在图像存储单元54中的事件图像来执行预定的图像数据处理。例如，图像数据处理单元55计算事件图像内的火花24的数量、火花24的大小、火花24的速度、火花24的飞行距离和火花24的飞行角，并将计算结果提供给磨石状态估计单元56。火花24的数量例如是在事件图像内检测出的火花24的数量。火花24的大小例如是在事件图像内检测到的火花24的外部大小(垂直尺寸和水平尺寸)。火花24的速度是从在多
个事件图像中检测到的同一火花24的位置计算的移动速度。火花24的飞行距离是从首先检测到火花24的位置到刚好在火花24消失之前的位置的距离。火花24的飞行角是在首先检测到火花24的位置处开始并且在火花24即将消失之前的位置处结束的方向与竖直向下方向之间的角度。
74.信息处理装置12不仅可以检测火花24而且可以检测冷却剂液体23作为事件，这取决于事件阈值的设定值。在设定阈值以使得冷却剂液体23也被检测为事件数据的情况下，图像数据处理单元55还基于事件图像计算冷却剂液体23的液滴数量、冷却剂液体23的液滴大小和冷却剂液体23的液滴速度，并且将计算结果提供给磨石状态估计单元56。
75.在下文中，火花24的数量、火花24的大小和火花24的速度可被称为火花的数量、火花大小和火花速度，冷却剂液体23的液滴的数量、冷却剂液体23的液滴大小和冷却剂液体23的液滴速度可被称为液滴的数量、液滴大小和液滴速度以彼此区分。
76.磨石状态估计单元56通过使用从事件数据处理单元51或者图像数据处理单元55提供的事件处理数据来估计磨石22的状态。具体地，磨石状态估计单元56通过使用事件率、火花数量、火花大小和火花速度中的至少一个特征量来确定磨石22是否堵塞。
77.例如，磨石状态估计单元56确定火花大小是否等于或小于预定的第一状态确定阈值vs1，并且在确定为火花大小等于或小于第一状态确定阈值vs1的情况下，确定磨石22堵塞。
78.此外，例如，磨石状态估计单元56将火花数量和火花大小与预定状态确定阈值进行比较。具体地，磨石状态估计单元56确定火花数量是否等于或小于第一状态确定阈值vs2并且火花大小是否等于或小于第二状态确定阈值vs3。在确定火花的数量等于或小于第一状态确定阈值vs2且火花的大小等于或小于第二状态确定阈值vs3的情况下，磨石状态估计单元56确定磨石22堵塞。
79.在确定磨石22堵塞的情况下，磨石状态估计单元56生成“已经发生堵塞，需要维护”等警报图像。并且经由输出单元59向显示器13输出警报图像。此外，在确定磨石22处于正常状态的情况下，磨石状态估计单元56可以以预定帧速率生成显示图像并且经由输出单元59将显示图像输出到显示器13。
80.此外，磨石状态估计单元56还具有基于从事件数据处理单元51或图像数据处理单元55提供的事件处理数据来调节evs相机11的事件阈值的功能。例如，磨石状态估计单元56基于从事件数据处理单元51提供的事件率指示相机设置改变单元57增大或减小事件阈值。相机设置改变单元57基于来自磨石状态估计单元56的增大或减小事件阈值的指令来改变evs相机11的事件阈值。
81.特征量存储单元58是存储由磨石状态估计单元56从事件数据处理单元51或图像数据处理单元55获取的特征量的存储单元。
82.输出单元59将从磨石状态估计单元56提供的警报图像输出到显示器13。此外，输出单元59也可以向显示器13输出事件图像和显示图像。
83.信息处理装置12如上所述配置，并且能够基于从evs相机11输出的事件数据来估计磨石22的状态，并且检测例如磨石22的堵塞的发生。信息处理装置12能够通过在显示器13上显示警报图像来提示操作者进行维护。
84.此外，信息处理装置12可以连接到外部传感器14，并且还通过使用从evs相机11输
出的事件数据以及由外部传感器14获得的传感器数据来估计磨石22的状态。作为外部传感器14，例如，可以采用在研削期间检测声音的麦克风、测量温度的远红外传感器等。毋庸置疑，外部传感器14可以是不同于麦克风和远红外传感器的传感器。
85.在外部传感器14连接至信息处理装置12的情况下，将由外部传感器14生成的传感器数据提供至磨石状态估计单元56。磨石状态估计单元56通过使用从外部传感器14提供的传感器数据和从事件数据处理单元51或图像数据处理单元55提供的事件处理数据来估计磨石22的状态。
86.《4.测量参数与物理量之间的关系》
87.图6是示出了可由evs相机11(事件传感器)测量的参数(测量参数)和与机器工具21的磨削加工相关的物理量之间的关系的示图。
88.在图6中，evs相机11可测量的项目由粗线包围。
89.用于确定机器工具21的维护的必要性的测量装置的实例包括在图6的最右栏中描述的表面粗糙度计、rgb相机、热电偶以及热成像。在本实施例中，采用evs相机11(事件传感器)代替这些测量装置。
90.evs相机11可以生成并输出事件数据。事件数据包括火花24的事件数据和冷却剂液体23的事件数据。有时检测由环境光或装置的振动引起的事件。因为由环境光或装置的振动引起的事件对应于噪声，所以可以通过适当地设置事件阈值来排除这样的事件。
91.在火花24的事件数据中，可测量火花的数量、火花大小、火花速度和火花破裂模式作为测量参数。火花破裂模式是指示火花24的破裂(破裂方式)特征的分类。火花破裂模式根据工件w的材料而变化。工件w的材料可通过检测火花破裂模式来指定。
92.火花的数量与磨粒脱落频率、作为加工条件的研削周速度和进给速度相关。火花大小与磨石22的磨粒的粒径以及作为加工条件的进给速度和切削量相关。火花速度与磨削周速度相关。磨粒脱落频率与磨石22的粘结剂的粘结度和气孔的气孔率有关，磨削周速度与作为加工条件的工件w的周速度和磨石22的周速度有关。
93.在冷却剂液体23的事件数据中，可测量液滴的数量、液滴大小和液滴速度作为测量参数。液滴的数量、液滴大小和液滴速度与冷却剂液体23的流速相关。
94.对于机器工具21的磨石22的维护，尤其是磨石22的堵塞与可以通过火花24的事件数据测量的火花大小极大地相关。火花的大小与在物理量方面的磨料颗粒的粒径极大地相关。
95.图7是示出基于事件数据可测量的测量参数与在图6中由粗线框表示的与测量参数的物理量之间的相关性的表。
96.在图7中，在表的左侧示出的物理量的值与表的上侧示出的测量参数之间存在正相关的情况由“ ”表示，存在负相关的情况由
“‑”
表示，并且存在除了正相关和负相关之外的相关的情况由圆圈表示。
97.例如，磨石22的磨粒的粒径和火花大小以如下方式相关：随着磨粒变大，火花大小变大。粘结剂的粘结度和火花的数量的相关为火花的数量随着粘结度的增加而增加。气孔的气孔率与火花的数量和火花大小以如下方式相关：随着气孔率增加，火花的数量和火花大小减小。
98.例如，冷却剂液体23的流速与液滴数量和液滴速度以如下方式相关：液滴数量和
液滴速度也随着流速增加而增加。
99.根据如图7中所示的在事件数据中可测量的测量参数与物理量之间的相关性，磨石状态估计单元56可以根据事件数据的数据处理结果估计物理量，并且确定维护时间。
100.《5.维护时间确定处理的流程图》
101.接下来，将参考图8的流程图描述由信息处理系统1执行的维护时间确定处理。例如，当激活(通电)evs相机11和信息处理装置12时，该处理开始。
102.首先，在步骤s11中，数据获取单元50获取在任何时间从evs相机11输出的事件数据，并且将事件数据提供给事件数据处理单元51和事件数据存储单元52。
103.在步骤s12中，事件数据处理单元51使用从数据获取单元50提供的事件数据执行预定事件数据处理，并将处理后的数据提供给磨石状态估计单元56。例如，事件数据处理单元51计算作为事件数据的发生频率的事件率并且将该事件率提供给磨石状态估计单元56。
104.在步骤s13中，事件数据存储单元52在其中存储在特定时间段从数据获取单元50提供的事件数据，并且将事件数据提供给图像生成单元53。图像生成单元53通过使用存储在事件数据存储单元52中的事件数据生成事件图像并将事件图像提供至图像存储单元54。
105.在步骤s14中，图像数据处理单元55使用存储在图像存储单元54中的事件图像执行预定的图像数据处理。例如，图像数据处理单元55计算事件图像内的火花24的数量、火花24的大小、火花24的速度、火花24的飞行距离和火花24的飞行角，并将计算结果提供给磨石状态估计单元56。
106.在步骤s15中，磨石状态估计单元56执行通过使用从事件数据处理单元51或者图像数据处理单元55提供的事件处理数据来估计磨石22的状态的磨石状态估计处理。例如，作为磨石状态估计处理，磨石状态估计单元56确定火花大小是否等于或小于第一状态确定阈值vs1。可选地，作为磨石状态估计处理，磨石状态估计单元56确定火花数量是否等于或小于第一状态确定阈值vs2并且火花大小是否等于或小于第二状态确定阈值vs3。
107.在步骤s16中，磨石状态估计单元56基于磨石状态估计处理的结果来确定磨石22是否堵塞。
108.在步骤s16中确定磨石22没有堵塞的情况下，处理返回至步骤s11，并且再次执行上述步骤s11至s16中的处理。应注意，在磨石22处于正常状态，即，没有堵塞的情况下，基于事件数据产生的显示图像、由图像生成单元53产生的事件图像等可通过输出单元59提供给显示器13并显示。
109.另一方面，在步骤s16中确定磨石22堵塞的情况下，处理进行到步骤s17，并且磨石状态估计单元56提供磨石22堵塞的警报。例如，磨石状态估计单元56生成诸如“已经发生堵塞，需要维护”的警报图像。并且经由输出单元59向显示器13输出警报图像。显示器13显示从信息处理装置12提供的警报图像。
110.如上所述，执行信息处理系统1的维护时间确定处理。通过上述处理，确认了显示在显示器13上的警报图像的操作者掌握了维护时间已经到来，并且执行例如磨石22的修整。
111.《使用学习模型的磨石状态估计处理》
112.在上述磨石状态估计处理中，使用火花24的数量、火花24的大小、火花24的速度、火花24的飞行距离、火花24的飞行角、冷却剂液体23的液滴数量、冷却剂液体23的液滴大小
或冷却剂液体23的液滴速度中的至少一个作为特征量，并且通过将特征量与预先确定的预定阈值进行比较的阈值确定处理来估计磨石22的状态。
113.可选地，作为估计磨石22的状态的磨石状态估计处理，可以估计磨石22的状态，并且可以通过使用通过执行机器学习生成的学习模型来确定维护时间。例如，磨石状态估计单元56通过使用在使用例如被堵塞并且需要维护的磨石22的研削期间获得的事件数据和在使用处于正常状态(不需要维护的状态)的磨石22的研削期间获得的事件数据，使用维护的必要性作为训练数据，通过机器学习生成学习模型。磨石状态估计单元56基于所输入的事件数据通过使用所生成的学习模型来估计维护磨石22的必要性。或者，代替事件数据本身，可以将诸如火花24的数量、火花24的大小、火花24的速度、火花24的飞行距离和火花24的飞行角等特征量用作用于生成学习模型的训练数据。学习模型可以被训练成不仅能够确定维护的必要性，而且还能够确定诸如堵塞、变钝或脱落等磨石22的状态。
114.《使用外部传感器数据的磨石状态估计处理》
115.此外，在外部传感器14连接至信息处理装置12的情况下，除了事件数据的数据处理结果之外，还可以通过使用由外部传感器14获得的传感器数据来估计磨石22的状态。使用事件数据的数据处理结果和传感器数据的磨石状态估计处理可以是阈值确定处理或者可以是使用学习模型的确定处理。
116.《6.阈值更新处理的流程图》
117.接下来，将参考图9的流程图描述用于动态地改变事件阈值的阈值更新处理。例如，该处理与参照图8描述的维护时间确定处理一起开始，并且与维护时间确定处理并行执行。
118.首先，在步骤s31中，磨石状态估计单元56获取事件数据或事件图像的数据处理结果。步骤s31中的处理包括在并行执行的图8的维护时间确定处理中，并且因此可基本上省去。此外，磨石状态估计单元56还可以经由事件数据处理单元51获取从evs相机11输出的事件数据本身。
119.在步骤s32中，磨石状态估计单元56通过使用所获取的数据处理结果来计算冷却剂液体23的影响程度。例如，在使用从事件数据处理单元51提供的事件率的情况下，磨石状态估计单元56可以根据没有发出火花24的状态下的事件率计算冷却剂液体23的影响程度。此外，例如，在使用事件图像的数据处理结果的情况下，磨石状态估计单元56可基于火花的数量与液滴的数量的比率来计算冷却剂液体23的影响程度。火花24和冷却剂液体23可例如通过大小(size，尺寸)来区分。
120.在步骤s33中，磨石状态估计单元56确定是否改变事件阈值。例如，在从当前将火花24和冷却剂液体23两者检测为事件的状态期望仅检测火花24的情况下，磨石状态估计单元56确定改变事件阈值。在这种情况下，事件阈值被调整到大于当前值的值。可替代地，在从当前仅检测火花24的状态期望检测火花24和冷却剂液体23两者的情况下，确定事件阈值改变。在这种情况下，事件阈值被调整到小于当前值的值。
121.在步骤s33中确定事件阈值没有改变的情况下，处理返回至步骤s31，并且再次执行上述步骤s31至s33的处理。
122.另一方面，在步骤s33中确定事件阈值改变的情况下，处理进行至步骤s34，并且磨石状态估计单元56指示相机设置改变单元57增大或减小事件阈值。相机设置改变单元57通
过将新的事件阈值提供给evs相机11来设置新的事件阈值。新的事件阈值例如是按照所指示的增减方向将事件阈值改变预定的改变宽度而得到的值。
123.根据上述阈值更新处理，可以与磨石状态估计处理并行地基于事件检测状态来调整事件阈值。在信息处理装置12中，例如，通过设定操作模式可预先指定将火花24和冷却剂液体23两者检测为事件或者仅将火花24检测为事件。
124.《7.信息处理系统的第二实施例》
125.接下来，描述应用本技术的第二实施例。
126.在图1所示的信息处理系统的第一实施例中，evs相机11检测火花24的亮度变化等作为事件并将事件数据输出到信息处理装置12，并且信息处理装置12执行通过使用事件数据估计磨石22的状态的处理。
127.另一方面，在下面描述的第二实施例的信息处理系统1中，还在evs相机中执行通过使用事件数据来估计磨石22的状态的处理。换言之，在第一实施例中的evs相机11和信息处理装置12用图10中示出的一个evs相机300替换。
128.《evs相机的配置实例》
129.在图10中示出的evs相机300是包括事件传感器和执行第一实施例的信息处理装置12的功能的处理单元的成像装置。evs相机300被安装在与图1中的evs相机11相同的位置，检测火花24或冷却剂液体23的亮度变化作为事件，并且生成事件数据。此外，evs相机300执行基于事件数据估计磨石22的状态的磨石状态估计处理，并且基于磨石状态估计处理的结果输出维护警报。例如，在确定需要维护的情况下，evs相机300使显示器13显示诸如“已经发生堵塞，需要维护”的警报图像。此外，evs相机300可以基于事件数据生成将由操作者监视的显示图像，并且使显示器13显示该显示图像。
130.evs相机300包括光学单元311、成像元件312、控制单元313和数据处理单元314。
131.光学单元311收集来自对象的光并且使光进入成像元件312。成像元件312对经由光学单元311入射的入射光进行光电转换以生成事件数据，并且将事件数据提供至数据处理单元314。成像元件312是输出指示具有像素中的亮度变化的事件发生的事件数据作为事件的光接收元件。
132.控制单元313控制成像元件312。例如，控制单元313指示成像元件312开始和结束成像。
133.数据处理单元314例如包括现场可编程门阵列(fpga)、数字信号处理器(dsp)、微处理器等，并且执行第一实施例中的信息处理装置12所执行的处理。数据处理单元314包括事件数据处理单元321和记录单元322。例如，事件数据处理单元321执行使用从成像元件312提供的事件数据的事件数据处理、使用事件图像的图像数据处理、估计磨石22的状态的磨石状态估计处理等。记录单元322相当于第一实施例中的事件数据存储单元52、图像存储单元54、特征量存储单元58，根据需要在预定的记录介质中记录并累积预定的数据。
134.《成像元件的配置实例》
135.图11是示出成像元件312的示意性配置实例的框图。
136.成像元件312包括像素阵列单元341、驱动单元342、y仲裁器343、x仲裁器344和输出单元345。
137.在像素阵列单元341中，多个像素361以二维格子方式排列。每个像素361包括作为
光电转换元件的光电二极管371和地址事件检测电路372。在作为通过光电二极管371的光电转换生成的电信号的光电流中发生超过预定阈值的改变的情况下，地址事件检测电路372将光电流的改变检测为事件。在检测到事件的情况下，地址事件检测电路372将请求输出指示事件的发生的事件数据的请求输出到y仲裁器343和x仲裁器344。
138.驱动单元342通过向像素阵列单元341的每个像素361提供控制信号来驱动像素阵列单元341。
139.y仲裁器343仲裁来自像素阵列单元341中的同一行中的像素361的请求，并将指示事件数据的输出的许可或不许可的响应返回到已经发送该请求的像素361。x仲裁器344仲裁来自像素阵列单元341中的同一列中的像素361的请求，并向已经发送该请求的像素361返回指示事件数据的输出的许可或不许可的响应。已从y仲裁器343和x仲裁器344两者返回了许可响应的像素361可将事件数据输出到输出单元345。
140.注意，成像元件312可以仅包括y仲裁器343和x仲裁器344中的一个。例如，在仅包括x仲裁器344的情况下，包括发送请求的像素361的同一列中的所有像素361的数据被传送到输出单元345。然后，在后续阶段的输出单元345或数据处理单元314(图10)中，仅选择事件已经实际发生的像素361的事件数据。在仅包括y仲裁器343的情况下，以行为单位将像素数据传送到输出单元345，并且在后续阶段仅选择必要像素361的事件数据。
141.输出单元345对从构成像素阵列单元341的每个像素361输出的事件数据执行必要的处理，并且将处理后的事件数据提供到数据处理单元314(图10)。
142.《地址事件检测电路的配置实例》
143.图12是示出地址事件检测电路372的配置实例的框图。
144.地址事件检测电路372包括电流电压转换电路381、缓冲器382、减法器383、量化器384和传送电路385。
145.电流电压转换电路381将来自对应的光电二极管371的光电流转换为电压信号。电流电压转换电路381生成与光电流的对数值对应的电压信号，并将该电压信号输出到缓冲器382。
146.缓冲器382缓冲来自电流电压转换电路381的电压信号，并将该电压信号输出至减法器383。该缓冲器382使得可以确保对伴随后级中的开关操作产生的噪声的隔离，并且可以提高用于驱动后级的驱动力。注意，可以省略缓冲器382。
147.减法器383根据来自驱动单元342的控制信号，降低来自缓冲器382的电压信号的电平。减法器383将降低的电压信号输出至量化器384。
148.量化器384将来自减法器383的电压信号量化成数字信号，并将该数字信号作为事件数据提供给传送电路385。传送电路385将事件数据传送(输出)到输出单元345。即，传送电路385向y仲裁器343和x仲裁器344提供请求输出事件数据的请求。然后，在响应于该请求从y仲裁器343和x仲裁器344接收到指示允许输出事件数据的响应的情况下，传送电路385向输出单元345传送事件数据。
149.《地址事件检测电路的详细配置实例》
150.图13是示出电流电压转换电路381、减法器383和量化器384的详细配置的电路。在图13中，还示出连接到电流电压转换电路381的光电二极管371。
151.电流电压转换电路381包括fet 411至413。作为fet 411和fet 413，例如，可以采
用n型金属氧化物半导体(nmos)fet，并且作为fet 412，例如，可以采用p型金属氧化物半导体(pmos)fet。
152.光电二极管371接收入射光，执行光电转换，并产生和允许作为电信号的光电流的流动。电流电压转换电路381将来自光电二极管371的光电流转换为与光电流的对数对应的电压(以下，也称为光电压)vlog，并将该电压vlog输出到缓冲器382。
153.fet 411的源极与fet 413的栅极连接，并且来自光电二极管371的光电流流过fet 411的源极和fet 413的栅极之间的连接点。fet 411的漏极连接至电源vdd，并且其栅极连接至fet 413的漏极。
154.fet 412的源极连接到电源vdd，其漏极连接到fet 411的栅极和fet 413的漏极之间的连接点。对fet 412的栅极施加预定的偏置电压vbias。fet 413的源极接地。
155.fet 411的漏极连接至电源vdd侧，并且是源极跟随器。光电二极管371与作为源极跟随器的fet 411的源极连接，该连接允许通过由光电二极管371的光电转换生成的电荷而使光电流流过fet 411(的漏极至源极)。fet 411在亚阈值区域中操作，并且与流过fet 411的光电流的对数相对应的光电压vlog出现在fet 411的栅极处。如上所述，在光电二极管371中，来自光电二极管371的光电流通过fet 411被转换为与光电流的对数相对应的光电压vlog。
156.光电压vlog从fet 411的栅极和fet 413的漏极之间的连接点经由缓冲器382输出到减法器383。
157.对于来自电流电压转换电路381的光电压vlog，减法器383计算当前时间的光电压和与当前时间相差微小时间的定时的光电压之间的差值，并输出对应于该差值的差分信号vdiff。
158.减法器383包括电容器431、运算放大器432、电容器433和开关434。量化器384包括比较器451和452。
159.电容器431的一端连接至缓冲器382的输出，并且另一端连接至运算放大器432的输入端。因此，光电压vlog经由电容器431输入至运算放大器432的(反相)输入端。
160.运算放大器432的输出端连接到量化器384的比较器451和452的非反相输入端( )。
161.电容器433的一端连接至运算放大器432的输入端，并且另一端连接至运算放大器432的输出端。
162.开关434连接到电容器433以接通/断开电容器433的两端之间的连接。开关434通过根据驱动单元342的控制信号接通/断开而接通/断开电容器433的两端之间的连接。
163.电容器433和开关434构成开关电容器。当已经断开的开关434暂时导通并且再次关断时，电容器433被重置为电荷被放电并且电荷可被重新累积的状态。
164.当开关434接通时光电二极管371侧的电容器431的光电压vlog用vinit表示，并且电容器431的电容(静电电容)用c1表示。运算放大器432的输入端虚拟接地，并且在开关434被接通的情况下，在电容器431中积累的电荷qinit由公式(1)表示。
165.qinit＝c1
×
vinit
ꢀꢀꢀꢀ
(1)
166.此外，在开关434接通的情况下，电容器433的两端短路，使得在电容器433中积累的电荷变为0。
167.此后，当在开关434断开的情况下在光电二极管371侧的电容器431的光电压vlog被表示为vafter时，当开关434断开时积累在电容器431中的电荷qafter由公式(2)表示。
168.qafter＝c1
×
vafter
ꢀꢀꢀ
(2)
169.当电容器433的电容被表示为c2时，则通过使用作为运算放大器432的输出电压的差分信号vdiff，电容器433中积累的电荷q2由公式(3)表示。
170.q2＝-c2
×
vdiff
ꢀꢀꢀꢀꢀ
(3)
171.在开关434断开之前和之后，电容器431的电荷和电容器433的电荷的总电荷量不改变，从而建立公式(4)。
172.qinit＝qafter q2
ꢀꢀꢀ
(4)
173.当公式(1)至公式(3)代入公式(4)时，获得公式(5)。
174.vdiff＝-(c1/c2)
×
(vafter-vinit)
ꢀꢀꢀꢀ
(5)
175.根据公式(5)，减法器383减去光电压vafter、vinit，即计算出与光电压vafter和vinit之间的差值(vafter-vinit)对应的差分信号vdiff。根据公式(5)，减法器383的减法增益是c1/c2。因此，减法器383将通过将电容器433的重置之后的光电压vlog的变化乘以c1/c2而获得的电压输出作为差分信号vdiff。
176.减法器383通过使用从驱动单元342输出的控制信号接通和断开开关434来输出差分信号vdiff。
177.从减法器383输出的差分信号vdiff被提供给量化器384的比较器451和452的非反相输入端( )。
178.比较器451将来自减法器383的差分信号vdiff与输入到反相输入端(-)的正侧阈值vrefp进行比较。比较器451将指示差分信号vdiff是否已经超过正侧阈值vrefp的高(h)电平或低(l)电平的检测信号det( )作为差分信号vdiff的量化值输出至传送电路385。
179.比较器452将来自减法器383的差分信号vdiff与输入到反相输入端(-)的负侧阈值vrefn进行比较。比较器452将指示差分信号vdiff是否已经超过负侧阈值vrefn的高(h)电平或低(l)电平的检测信号det(-)作为差分信号vdiff的量化值输出至传送电路385。
180.图14示出了图13中所示的电流-电压转换电路381、缓冲器382、减法器383和量化器384的更详细的电路配置实例。
181.图15是示出量化器384的另一配置实例的电路图。
182.在图14中示出的量化器384将来自减法器383的差分信号vdiff与正侧阈值(电压)vrefp和负侧阈值(电压)vrefn恒定进行比较，并且输出比较结果。
183.另一方面，图15中的量化器384包括一个比较器453和开关454，并输出与由开关454切换的两个阈值(电压)vthon和vthoff中的任何一个进行比较的比较结果。
184.开关454连接至比较器453的反相输入端(-)，并且根据来自驱动单元342的控制信号选择端子a或b。作为阈值的电压vthon提供给端子a，作为阈值的电压vthoff(＜vthon)提供给端子b。因此，电压vthon或vthoff被提供给比较器453的反相输入端。
185.比较器453将来自减法器383的差分信号vdiff与电压vthon或vthoff进行比较，并将指示比较结果的h电平或l电平的检测信号det作为差分信号vdiff的量化值输出至传送电路385。
186.图16示出在采用图15中示出的量化器384的情况下的电流-电压转换电路381、缓
冲器382、减法器383和量化器384的更详细的电路配置实例。
187.在图16的电路配置中，除了电压vthon和电压vthoff之外，还添加用于初始化的端子vaz(自动归零，autozero)作为开关454的端子。在将h(高)电平初始化信号az提供给减法器383中作为n型mos(nmos)fet的fet 471的栅极的定时，量化器384的开关454选择端子vaz并且执行初始化操作。此后，开关454基于来自驱动单元342的控制信号选择电压vthon的端子或电压vthoff的端子，并且将指示与所选择的阈值的比较结果的检测信号det从量化器384输出到传送电路385。
188.第二实施例中的维护时间确定处理和阈值更新处理与上述第一实施例中的类似，除了维护时间确定处理和阈值更新处理不是由信息处理装置12执行，而是由evs相机300本身执行之外。因此，可以检测在研削期间产生的火花24和冷却剂液体23作为事件并且精确地告知维护时间。
189.《8.结论》
190.根据上述信息处理系统1的实施例，可以通过使用事件传感器(evs相机11或evs相机300)更容易地确定维护时间，事件传感器检测火花24等的亮度变化作为事件并且异步输出所述事件。此外，事件阈值可以根据事件检测状态而动态地改变。
191.虽然在上述实施例中已经描述了其中机器工具21是研削机的示例，但是机器工具21可以是执行任何处理，诸如切割、研削、切割、锻造或弯曲的机器。
192.《9.计算机配置实例》
193.通过上述信息处理装置12执行的一系列处理可以通过硬件或软件执行。在一系列处理由软件执行的情况下，在计算机中安装构成软件的程序。这里，计算机的实例包括例如内置于专用硬件中的微型计算机、能够通过安装有各种程序来执行各种功能的通用个人计算机等。
194.图17是示出作为通过程序执行上述一系列处理的信息处理装置的计算机的硬件的配置实例的框图。
195.在计算机中，中央处理单元(cpu)501、只读存储器(rom)502和随机存取存储器(ram)503通过总线504相互连接。
196.输入/输出接口505进一步连接至总线504。输入单元506、输出单元507、存储单元508、通信单元509和驱动器510连接至输入/输出接口505。
197.输入单元506包括键盘、鼠标、麦克风、触摸面板、输入端等。输出单元507包括显示器、扬声器、输出端等。存储单元508包括硬盘、ram盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质511。
198.在如上所述配置的计算机中，例如，cpu 501经由输入/输出接口505和总线504将存储在存储单元508中的程序加载到ram 503中并且执行程序，从而执行上述一系列处理。ram 503还适当地存储cpu 501执行各种处理所需的数据。
199.例如，由计算机(cpu 501)执行的程序可以通过记录在作为封装介质的可移除记录介质511上来提供。此外，可以通过诸如局域网络、互联网和数字广播的有线或无线传输介质提供程序。
200.在计算机中，通过将可移除记录介质511附接至驱动器510，可经由输入/输出接口
505将程序安装在存储单元508中。此外，程序可经由有线或无线传输介质由通信单元509接收，并安装在存储单元508中。另外，程序可以预先安装在rom 502或存储单元508中。
201.应注意，由计算机执行的程序可以是用于按照本说明书中描述的顺序按时间序列执行的程序，或用于并行处理或在诸如当进行调用时的必要定时处理的程序。
202.本技术的实施例不限于上述实施例，并且在不背离本技术的主旨的情况下可以做出各种修改。
203.例如，能够适当地采用以上说明的多个实施例的全部或者一部分组合的形式。
204.此外，在上述流程图中描述的每个步骤可以由一个设备执行或者由多个设备以共享方式执行。
205.此外，当多个处理包括在一个步骤中时，包括在一个步骤中的多个处理可以由一个设备执行或者由多个设备以共享方式执行。
206.应注意，在本说明书中描述的效果仅是示例并且不受限制，并且可以提供除了在本说明书中描述的那些效果之外的效果。
207.应注意，本技术可具有以下配置。
208.(1)一种信息处理装置，包括：
209.状态估计单元，通过使用从事件传感器提供的事件数据来估计磨石的状态，并且输出估计的结果，所述事件传感器输出通过光电转换光信号而获得的电信号的时间变化作为事件数据。
210.(2)根据(1)所述的信息处理装置，
211.其中，所述状态估计单元通过使用所述磨石与工件之间产生的火花被捕获的所述事件数据来估计所述磨石的状态，并且输出估计的结果。
212.(3)根据(1)或(2)所述的信息处理装置，
213.其中，所述状态估计单元基于所述事件数据的特征量来估计所述磨石的状态，并且输出估计的结果。
214.(4)根据(3)所述的信息处理装置，
215.其中，事件数据的特征量是事件率。
216.(5)根据(3)所述的信息处理装置，进一步包括：
217.图像生成单元，从所述事件数据生成事件图像，
218.其中，所述事件数据的特征量是从事件图像中检测的特征量。
219.(6)根据(5)所述的信息处理装置，
220.其中，所述事件数据的特征量包括火花的数量、火花的大小、火花的速度、火花的飞行距离或火花的飞行角度中的至少一项。
221.(7)根据(5)或(6)所述的信息处理装置，
222.其中，所述事件数据的特征量包括冷却剂液体的液滴的数量、冷却剂液体的液滴的大小、或冷却剂液体的液滴的速度中的至少一项。
223.(8)根据(1)至(7)中任一项所述的信息处理装置，
224.其中，所述状态估计单元基于估计的结果输出警报。
225.(9)根据(1)至(8)中任一项所述的信息处理装置，
226.其中，所述状态估计单元与估计磨石的状态的处理并行地基于事件数据来调整事
件阈值。
227.(10)根据(1)至(9)中任一项所述的信息处理装置，
228.其中，所述状态估计单元通过使用由所述机器学习使用所述事件数据生成的学习模型来估计所述磨石的状态，并且输出估计的结果。
229.(11)根据(1)至(10)中任一项所述的信息处理装置，
230.其中，所述状态估计单元通过使用由外部传感器获取的传感器数据和所述事件数据来估计所述磨石的状态，并且输出估计的结果。
231.参考符号列表
232.1信息处理系统11evs相机12信息处理装置13显示器
233.14外部传感器21机器工具22磨石23冷却剂液体24火花50数据获取单元51事件数据处理单元52事件数据存储单元
234.53图像生成单元54图像存储单元55图像数据处理单元
235.56磨石状态估计单元57相机设置改变单元58特征量存储单元59输出单元300evs相机311光学单元312成像元件
236.313控制单元314数据处理单元321事件数据处理单元
237.322记录单元501cpu 502rom 503ram 508存储单元。