1.本发明涉及生物粒子的光学采集领域。该生物粒子可以是微生物，诸如例如细菌、真菌或酵母。这也可能是细胞、多细胞生物、或任何其他类型的粒子诸如污染物或灰尘的问题。
2.本发明特别有利地适用于分析生物粒子的状态，例如着眼于确定应用抗生素后细菌的代谢状态。本发明使得例如对细菌进行抗菌谱成为可能。
背景技术：
3.抗菌谱(antibiogram)是一种实验室技术，旨在测试细菌菌株对一种或多种抗生素的表型。按照惯例地，抗菌谱是通过培养含有细菌和抗生素的样本来进行的。
4.欧洲专利申请号2 603 601描述了一种进行抗菌谱的方法，该方法涉及在有抗生素存在的情况下使孵育期后的细菌状态可视化。为了使细菌可视化，细菌用荧光标志物进行标记，使其结构得以展现。然后测量标志物的荧光就使得确定抗生素是否有效地作用于细菌成为可能。
5.用于确定对给定细菌菌株有效的抗生素的常规过程包括：(例如，从患者、动物、食品批次等)获取含有所述菌株的样本，然后将样本送到分析中心。当分析中心收到样本时，首先培养细菌菌株以获得其至少一个菌落(colony)，这需要24小时至72小时。然后从该菌落中制备包含不同抗生素和/或不同浓度的抗生素的多个样本，然后再次孵育这些样本。在新的培养期(也需要24至72小时)之后，每个样本都要进行人工分析以确定抗生素是否有效。然后将结果送回给医师，以便他可以应用最有效的抗生素和/或抗生素浓度。
6.然而，标记过程执行起来特别长且很复杂，并且这些化学标志物对细菌有细胞毒性作用。因此，这种可视化方法不允许在细菌培养期间多次观察细菌，作为结果，细菌必须培养足够长的时间，大约24至72小时，以保证测量的可靠性。使生物粒子可视化的其他方法使用显微镜，允许对样本进行非破坏性测量。
7.数字全息显微术或dhm是一种成像技术，可以克服常规光学显微镜的景深限制。示意性地，它包括记录由被观察物体衍射的光波与空间相干参考波之间的干涉形成的全息图。这种技术在myung k.kim的题为“数字全息显微术的原理与技术(principles and techniques of digital holography microscopy)”的评论文章中有所描述，该文章发表于2010年1月的spie评论第1卷第1期。
8.最近，已经提出了使用数字全息显微术以自动方式识别微生物。因此，国际申请wo2017/207184描述了一种用于采集粒子的方法，这种方法将简单的散焦采集与数字聚焦重建相关联，从而使得可以在限制采集时间的同时观察生物粒子。
9.典型地，这种j9九游会真人的解决方案使得在有抗生素存在的情况下只需孵育大约10分钟后就可以检测出细菌的结构修饰，并且在两小时后检测出其敏感性(检测分裂存在与否或指示分裂的模式)，而不像上述常规方法可能需要几天时间。具体而言，因为测量是非破坏性的，所以可以在培养过程的非常早期进行分析，而没有破坏样本并因而延长分析时间的风险。
10.甚至可以在多个连续的图像上跟踪粒子，从而形成表示粒子随时间推移的进展的胶片(因为粒子在第一次分析后没有被破坏)，以便使其行为例如其移动速度或其细胞分裂过程可视化。
11.因此，将理解，这种可视化方法给出了极好的结果。困难在于对这些图像或这一胶片本身的解释，例如，如果期望得出细菌对样本中存在的抗生素的易感性(susceptibility)的结论，特别是自动得出结论。
12.已经提出了各种技术，范围从简单地随时间推移计数细菌到所谓的形态分析，该形态分析旨在经由图像分析来检测特定“构型(configuration)”。例如，当细菌正准备分裂时，在分布中会出现两极，远在分裂本身之前，这导致了分布划分成两个不同的片段。
13.choi j.、yoo j.、lee m.等人于2014年发表的题为基于单细胞形态分析的快速抗微生物易感性试验(a rapid antimicrobial susceptibility test based on single cell morphological analysis),science translational medicine,6(267),https://doi.org/10.1126/scitranslmed.3009650的文章提出了将这两种技术结合起来以评估抗生素的作用。然而，正如作者所强调的，他们的方法需要对一定数量的阈值进行高度准确的校准，这些阈值强烈依赖于抗生素引起的形态变化的性质。
14.yu h.、jing w.、iriya r.等人于2018年发表的题为利用深度学习视频显微术的表型抗微生物易感性试验(phenotypic antimicrobial susceptibility testing with deep learning video microscopy),analytical chemistry,90(10),6314-6322,https://doi.org/10.1021/acs.analchem.8b01128的文章描述了一种基于深度学习的方法。作者提出借助于卷积神经网络(convolutional neural network，cnn)来提取形态特征以及与细菌运动相关的特征。然而，这种j9九游会真人的解决方案在计算资源方面被证明是非常密集的，并且要求庞大的训练图像数据库来训练cnn。
15.因此，本发明的客观技术问题是使得可以提供一种用于对生物粒子的图像进行分类的更加有效且资源密集更少的j9九游会真人的解决方案。
技术实现要素：
16.根据第一方面，本发明涉及一种用于对表示样本中的目标粒子的至少一个输入图像进行分类的方法，该方法的特征在于，它包括由客户端的数据处理装置实施以下步骤：
17.(b)借助于在公共图像数据库上预训练的卷积神经网络，提取所述目标粒子的特征图；
18.(c)取决于所述提取的特征图，对所述输入图像进行分类。
19.根据有利但非限制性的特征：
20.该粒子以统一的方式被表示在该输入图像以及每个基本图像中，并且特别地沿预定方向居中并对齐。
21.该方法包括步骤(a)：从样本的总体图像中提取所述输入图像，以便以所述统一的方式表示所述目标粒子。
22.步骤(a)包括：对所述总体图像进行分割，以便检测样本中的所述目标粒子，然后将输入图像按照所述检测的目标粒子重新裁剪。
23.步骤(a)包括：从样本的由观察设备采集的强度图像获得所述总体图像。
24.步骤(b)借助于所述预训练的卷积神经网络的特征提取子网络来实施。
25.所述预训练的卷积神经网络是图像分类网络，特别是vgg、alexnet、inception或resnet类型。
26.全局池化(global-pooling)层被添加在所述特征提取子网络的末端，作为结果，提取的特征图具有1
×
1的空间尺寸。
27.步骤(c)借助于分类器来实施，该方法包括步骤(a0)：由服务器的数据处理装置使用所述样本中的粒子的已分类的特征图的训练数据库来训练所述分类器的参数。
28.所述分类器选自支持向量机、k-最近邻算法、或卷积神经网络。
29.步骤(c)包括：借助于t-sne算法来减少该特征图的变量的数量。
30.该方法是用于对表示随时间推移的样本中的所述目标粒子的输入图像序列进行分类的方法，其中，步骤(b)包括：将所述序列的每个输入图像的提取的特征图进行串接。
31.根据第二方面，提供了一种用于对表示样本中的目标粒子的至少一个输入图像进行分类的系统，该系统包括至少一个客户端，该客户端包括数据处理装置，其特征在于，所述数据处理装置被配置为实施：
[0032]-借助于在公共图像数据库上预训练的卷积神经网络，提取所述目标粒子的特征图；
[0033]-取决于所述提取的特征图，对所述输入图像进行分类。
[0034]
根据有利但非限制性的特征，该系统还包括：用于观察样本中的所述目标粒子的设备。
[0035]
根据第三方面和第四方面，提供了以下：一种计算机程序产品，包括代码指令，用于执行根据第一方面的用于对表示样本中的目标粒子的至少一个输入图像进行分类的方法；以及一种由计算机设备可读的存储介质，在其上的计算机程序产品包括代码指令，用于执行根据第一方面的用于对表示样本中的目标粒子的至少一个输入图像进行分类的方法。
附图说明
[0036]
本发明的其他特征和优点在阅读以下对优选实施例的描述时将变得显而易见。本描述将参照附图给出，在附图中：
[0037]-图1是用于实施根据本发明的方法的架构的示意图；
[0038]-图2a显示了用于观察样本中的粒子的设备的一个示例，该设备在根据本发
[0039]
明的方法的优选实施例中使用；
[0040]-图3a示出了根据本发明的方法的一个实施例中的输入图像的获得；
[0041]-图3b示出了根据本发明的方法的优选实施例中的输入图像的获得；
[0042]-图4显示了根据本发明的方法的优选实施例的步骤；
[0043]-图5显示了根据本发明的方法的优选实施例中使用的卷积神经网络架构的一个示例；
[0044]-图6表示了根据本发明的方法的优选实施例中使用的t-sne投影的示例。
具体实施方式
[0045]
架构
[0046]
本发明涉及一种用于对表示样本12中存在的粒子11a-11f(被称为目标粒子)的至少一个图像进行分类的方法。应该注意，该方法可以针对样本12中存在的粒子11a-11f的所有或一些并行实施，每个粒子依次被认为是目标粒子。
[0047]
正如将看到的，本方法可以包括一个或多个机器学习组件，特别是一个或多个分类器，包括卷积神经网络cnn。
[0048]
输入或训练数据是图像类型的，并且表示样本12中的目标粒子11a-11f(换言之，这些是样本的图像，在其中目标粒子是可见的)。正如将看到的，可以提供相同目标粒子11a-11f的图像序列(或者在适当的情况下，如果考虑多个粒子则提供样本12的粒子11a-11f的多个图像序列)作为输入。
[0049]
样本12由液体组成，诸如水、缓冲液、培养基或反应介质(包括或不包括抗生素)，待观察的粒子11a-11f位于其中。
[0050]
作为变型，样本12可以采取优选是半透明的固体介质诸如琼脂的形式，粒子11a-11f位于其中。样本12也可以是气体介质。粒子11a-11f可以位于介质内部或者在样本12的表面上。
[0051]
粒子11a-11f可以是诸如细菌、真菌或酵母的微生物。这也可能是细胞、多细胞生物、或任何其他类型的粒子诸如污染物或灰尘的问题。在本描述的其余部分中，将考虑粒子是细菌(并且，正如将看到的，样本12包含抗生素)的优选示例。观察到的粒子11a-11f的尺寸在500纳米和几百微米，或甚至几毫米之间变化。
[0052]
输入图像(或输入图像序列)的“分类(classification)”包括在描述图像的可能类别的集合中确定至少一个类别。例如，在细菌类型粒子的情况下，可以采用二元分类，即，可以采用两种可能的类别，分别指示“分裂(division)”或“不分裂(no division)”，证明对抗生素存在或不存在耐受性。本发明不限于任何一种特定的分类，尽管将主要描述抗生素对所述目标粒子11a-11f的作用的二元分类的示例。
[0053]
本方法借助于服务器1和客户端2在诸如图1所示的架构内实施。服务器1是被训练的设备件(实施训练方法)，客户端2是用户设备件(实施分类方法)，例如医生或医院的终端。
[0054]
这两件设备1、2可以被结合起来，但是优选地，服务器1是远程设备件，而客户端2是大众市场设备件，特别是桌上型计算机、膝上型计算机等。客户端设备2有利地连接到观察设备10，以便能够直接采集所述输入图像(或者，如下文将看到的，“原始”采集数据诸如样本12的总体图像或甚至电磁矩阵)，典型地着眼于直接处理它。可替选地，输入图像将被加载到客户端设备2上。
[0055]
在所有情况下，着眼于交换数据，设备1、2中的每一件典型地是连接到局域网或广域网诸如因特网的远程计算机设备。每件设备包括处理器类型的数据处理装置3、20，以及诸如计算机存储器的数据存储装置4、21，例如闪存或硬盘。客户端2典型地包括用户界面22，诸如允许交互的屏幕。
[0056]
服务器1有利地存储训练数据库，即，在各种条件下的粒子11a-11f的图像集合(参见下文)和/或已分类的特征图集合(例如，与指示对抗生素的敏感性或耐受性的标签“分裂”或“不分裂”相关联)。应该注意，训练数据将可能会与定义测试条件的标签相关联，例如指示关于细菌的培养的“菌株”、“抗生素条件”、“时间”等。
[0057]
采集
[0058]
如上文所解释的，本方法能够直接采用以任何方式获得的目标粒子11a-11f的任何图像作为输入。然而，本方法优选地开始于步骤(a)，从由观察设备10递送的数据获得输入图像。
[0059]
以已知的方式，本领域技术人员将能够使用dhm技术(dhm表示数字全息显微术)，特别是诸如国际申请wo2017/207184中描述的。特别地，可以采集样本12的强度图像，其没有聚焦于目标粒子(该图像被称为“离焦(out of focus)”)但是能够由数据处理装置(例如其集成到设备10或客户端2的那些设备20中，参见下文)处理，这样的图像被称为全息图。将理解，全息图以某种方式“表示”样本中的所有粒子11a-11f。
[0060]
图2示出了用于观察样本12中存在的粒子11a-11f的设备10的示例。样本12被布置在空间和时间上相干(例如，激光)或伪相干(例如，发光二极管、激光二极管)的光源15与在光源的光谱范围内敏感的数字传感器16之间。优选地，光源15具有窄光谱宽度，例如窄于200nm、窄于100nm或者甚至窄于25nm。在下文中，参照例如位于可见域的光源的中心发射波长。光源15朝向样本的第一面13发射相干信号sn，该信号例如由波导诸如光纤传达。
[0061]
样本12(如典型地解释的培养基)包含在由下载玻片(slide)和上载玻片(例如常规的显微镜载玻片)垂直界定的分析室中。分析室由粘合剂或任何其他密封材料横向地界定。下载玻片和上载玻片对光源15的波长是透明的，样本和分析室允许例如超过50％的光源波长在下载玻片上在法向入射(normal incidence)下通过。
[0062]
优选地，粒子11a-11f位于上载玻片附近的样本12中。为此，上载玻片的底面包括允许粒子附着的配体(ligand)，例如微生物的背景下的聚阳离子(例如，聚-l-赖氨酸)。这使得可以包含厚度等于或接近于光学系统景深(也就是厚度小于1mm(例如，镜筒透镜)，优选地小于100μm(例如，显微镜物镜))的粒子。粒子11a-11f尽管如此可以在样本12中移动。
[0063]
优选地，该设备包括光学系统23，该光学系统23例如由显微镜物镜和镜筒透镜组成，置于空气中并与样本保持固定距离。光学系统23可选地配备有滤光器，其可以位于物镜前面或者物镜与镜筒透镜之间。光学系统23的特征在于光学轴线；物平面(也被称为焦点平面)，其离物镜有一段距离；以及像平面，其由光学系统与物平面共轭。换言之，对于位于物平面中的物体，对应着该物体在像平面(也被称为焦平面)中的清晰图像。系统23的光学性质是固定的(例如，固定焦距的光学器件)。物平面和像平面正交于光学轴线。
[0064]
图像传感器16面向样本的第二面14位于焦平面中或靠近后者。传感器，例如ccd或cmos传感器，包括基本敏感位点(site)的周期性二维阵列，以及以本身已知的方式调整曝光时间和使位点归零的相关联的电子器件。从基本位点输出的信号取决于在曝光时间期间入射到所述位点上的光谱范围内的辐射量。然后，这个信号例如由相关联的电子器件转换成数字图像的图像点或“像素(pixel)”。因此，该传感器产生采取c列l行矩阵形式的数字图像。矩阵中的坐标(c，l)，该矩阵的每个像素以本身已知的方式对应于光学系统23的焦平面中的笛卡尔坐标(x(c，l)，y(c，l))的位置，例如矩形形状的基本敏感位点的中心的位置。
[0065]
选择周期性阵列的间距(pitch)和填充因子以符合关于观察到的粒子尺寸的奈奎斯特(nyquist)判据，以便定义每个粒子的至少两个像素。因此，图像传感器16采集样本在光源的光谱范围内的透射图像。
[0066]
由图像传感器16采集的图像包括全息信息，就它是由粒子11a-11f衍射的波与已
经穿过样本而不与其进行交互的参考波之间的干涉所产生的而言。如上所述，应该显而易见的是，在cmos或ccd传感器的上下文中，采集到的数字图像是强度图像，相位信息因而在这里被编码在该强度图像中。
[0067]
可替选地，可以将由光源15生成的相干信号sn划分成两个分量，例如借助于半透明板。然后，第一分量充当参考波，第二分量由样本12衍射，光学系统23的像平面中的图像由衍射波与参考波之间的干涉产生。
[0068]
参照图3a，在步骤(a)中，可以从全息图中重建样本12的至少一个总体图像，然后从样本的总体图像中提取所述输入图像。
[0069]
具体而言，将理解的是，目标粒子11a-11f必须在输入图像中以统一的方式表示，并且特别地沿预定方向(例如水平方向)居中并对齐。输入图像还必须具有标准化的尺寸(还期望在输入图像中只看到目标粒子11a-11f)。因此，该输入图像被称为“缩略图(thumbnail)”，并且其尺寸可以例如被定义为250
×
250像素。在输入图像序列的情况下，例如在120分钟的时间间隔内每分钟拍摄一幅图像，该序列由此形成250
×
250
×
120尺寸的3d“堆栈(stack)”。
[0070]
如所解释的，总体图像是由设备10的数据处理装置或客户端2的那些装置20重建的。
[0071]
典型地，(对于每个给定的采集时间)构建一系列的复矩阵，称为“电磁矩阵(electromagnetic matrices)”，这些矩阵基于样本12的强度图像(全息图)、针对相对于光学系统23的焦点平面的多个偏差(特别是定位在样本中的偏差)沿着光学轴线传播的光波的波前进行建模。
[0072]
这些矩阵可以被投影到真实空间(例如经由厄米范数(hermitian norm))，以便在各个焦距处形成总体图像的堆栈。
[0073]
由此可以确定平均焦距(并且选择相应的总体图像，或者从全息图中重新计算)，或者甚至确定用于目标粒子的最佳焦距(并且再次选择相应的总体图像，或者从全息图中重新计算)。
[0074]
在任何情况下，参照图3b，步骤(a)有利地包括：对所述一个或多个总体图像进行分割，以便检测样本中的所述目标粒子，然后进行裁剪。特别地，所述输入图像可以从样本的总体图像中提取，以便以所述统一的方式表示所述目标粒子。
[0075]
一般而言，分割允许检测所有感兴趣的粒子，同时去除诸如细丝或微菌落的伪影(artifact)，以便改善一个或多个总体图像，然后选择所检测的粒子之一作为目标粒子，并且提取相应的缩略图。如所解释的，这可以针对所有检测到的粒子来进行。
[0076]
分割可以以任何已知的方式实施。在图3b的示例中，首先进行精细分割以消除伪影，然后进行粗略分割以检测粒子11a-11f。可以使用任何本领域技术人员已知的分割技术。
[0077]
如果期望获得用于目标粒子11a-11f的输入图像序列，可以使用跟踪技术以跟踪粒子从一个总体图像到下一个的任何移动。
[0078]
应该注意，对于给定的样本(对于样本12的多个粒子或甚至所有粒子)随时间推移获得的所有输入图像可以被池化，以形成样本12的描述性语料库(corpus)(换言之，实验的描述性语料库)，如图3a的右侧所示，该语料库特别地被复制到客户端2的存储装置21。这是
与“粒子”级相对的“场(field)”级。例如，如果粒子11a-11f是细菌，并且样本12包含(或不包含)抗生素，则该描述性语料库包含关于这些细菌在整个采集场中的生长、形态、内部结构和光学性质的所有信息。正如将看到的，该描述性语料库可以被传送到服务器1以用于集成到所述训练数据库中。
[0079]
特征提取
[0080]
参照图4，本方法特别值得注意的是将从输入图像中提取特征图的步骤(b)与取决于所述特征图对输入图像进行分类的步骤(c)分开，而不是试图直接对输入图像进行分类。正如将看到的，每个步骤可能涉及独立自主学习机制，并且因此服务器1的所述训练数据库可能包括不一定已经分类的粒子图像和特征图。
[0081]
因此，主要步骤(b)是由客户端2的数据处理装置20提取所述目标粒子的特征图，也就是说目标粒子的“编码(coding)”的步骤。
[0082]
在本描述的其余部分中，将在以下两者之间进行区分：在几何意义上的特征图的“维度”的数量，即这些图延伸的独立方向的数量(例如，向量是1维的对象，而当前特征图至少是2维的对象，有利地是3维的对象)与这些特征图的“变量”的数量，即每个维度中的尺寸，即独立自由度的数量(这实际上对应于向量空间中的维度概念——更确切地说，具有给定数量的变量的特征图集合形成了维度等于该变量数量的向量空间)。
[0083]
因此，以下将描述其中在步骤(b)结束时提取的特征图是尺寸为7
×7×
512并由此具有25088个变量的三维对象。
[0084]
这里，提议对于步骤(b)使用卷积神经网络cnn。将回想到，cnn特别适合于视觉相关的任务。通常，cnn能够直接对输入图像进行分类(即，同时进行步骤(b)和(c))。
[0085]
这里，将步骤(b)和步骤(c)解耦合允许将cnn的使用限于特征提取，并且对于该步骤(b)，可以单独使用在公共图像数据库上预训练的cnn，即，已经被独立训练过的cnn。这就是所谓的“迁移学习(transfer learning)”。
[0086]
换言之，没有必要在粒子11a-11f的图像的训练数据库上训练或重新训练cnn，因此可以不对其进行注释。具体而言，将理解，对成千上万的图像进行手动注释将会非常耗时且非常昂贵。此外，它可能证明是复杂的，因为在细菌的情况下它将会需要决定每个细菌的分裂时间。然而，这个时间可能无法在单个细菌的规模上很好地定义。
[0087]
具体而言，为了执行特征提取的任务，对于cnn来说只要具有辨别能力就足够了，即，能够识别图像(包括在与当前输入图像无关的公共图像数据库中)之间的差异。有利地，所述cnn是图像分类网络，就已知这样的网络将操纵关于图像类别特别有辨别能力的特征图而言，并且因此特别适合于待分类的粒子11a-11f的当前上下文中，即使这不是cnn最初被训练的任务。将理解，图像检测、识别或甚至分割网络是分类网络的特殊情况，因为它们实际上执行(对总体图像的或图像中对象的)分类任务加上另一个任务(诸如在检测网络的情况下确定已分类对象的边界框的坐标，或者在分割网络的情况下生成分割掩模)。
[0088]
至于公共训练图像数据库，将例如潜在地使用众所周知的公共数据库imagenet，该数据库(包含超过150万个注释的图像)可用于实现几乎任何图像处理cnn(用于分类、识别等任务)的监督式学习。
[0089]
因此，有可能使用甚至不需要训练的“现成(off-the-shelf)”cnn将是有利的。在imagenet数据库上预训练的各种分类cnn(即，作为在imagenet上训练的结果，可以利用其
被初始化为正确值的参数获取)是已知的，例如：vgg模型(vgg表示视觉几何组(visual geometry group))，例如vgg-16模型、alexnet、inception，或甚至是resnet。图5表示vgg-16架构(它具有16层)。
[0090]
一般而言，cnn由以下两部分组成：
[0091]-特征提取第一子网络，最经常包括由卷积层和激活层组成(例如采用relu函数)的一连串的块以增加特征图的深度，这些块由池化(pooling)层终止，允许减少特征图的尺寸(通常为2倍)。因此，在图5的示例中，如所解释的，vgg-16具有16层，划分成5个块。第一块接收输入图像(空间尺寸为224
×
224，3个通道对应于图像的rgb字符)作为输入，包括将深度增加到64的2个卷积 relu序列(一个卷积层和一个relu函数激活层)，然后是最大池化层(也可以使用全局平均池化)，输出是尺寸为112
×
112
[0092]
×
64的特征图(前两个维度是空间维度，第三个维度是深度——因此每个空间维度除以2)。第二块具有与第一个块完全相同的架构，并且在最后一个卷积 relu序列的输出端生成尺寸为112
×
112
×
128(深度加倍)的特征图，并且生成尺寸为56
×
56
×
128的特征图作为最大池化层的输出。第三块这次具有三个卷积 relu序列，并且从最后一个卷积 relu序列生成尺寸为56
×
56
×
256(深度加倍)的特征图，并且生成尺寸为28
×
28
×
256的特征图作为来自最大池化层的输出。第四块和第五块具有与第三块完全相同的架构，并且连续生成尺寸为14
×
14
×
512和尺寸为7
×7×
512(深度不再增加)的特征图作为输出。该特征图是“最终”图。将理解，在任何级别的图尺寸的方面都没有限制，并且上面提到的尺寸仅仅是示例。
[0093]-特征处理第二子网络，特别是分类器，如果cnn是分类网络的话。该子网络接收由第一子网络生成的最终特征图作为输入，并且返回预期结果，例如，如果cnn执行分类，则返回输入图像的类别。该第二子网络典型地包含一个或多个全连接(fully connected，fc)层和最终激活层，例如采用softmax函数(vgg-16的话就是这种情况)。两个子网络通常以监督方式同时被训练。
[0094]
因此，步骤(b)优选地借助于所述预训练的卷积神经网络的特征提取子网络(即，第一部分诸如图5中突出显示的vgg-16的示例)来实施。
[0095]
更确切地说，所述预训练的cnn(诸如vgg-16)并不旨在递送任何特征图，这些仅仅是供内部使用。通过“截断(truncating)”预训练的cnn，即通过只使用第一子网络的层，获得包含“最深”信息的最终特征图作为输出。
[0096]
将理解，作为特征提取子网络，也完全可以采用在其中生成最终特征图的层之前终止的部分，例如只采用块1至3而不是块1至5。这些信息更加广泛，但不够深入。
[0097]
在提供输入图像序列的情况下，步骤(b)由此有利地包括提取每个输入图像的一个特征图，该特征图可以被结合成称为目标粒子的“轮廓(profile)”的单个特征图。更确切地说，这些图全都具有相同的尺寸，并且形成图序列，因此将它们按照输入图像的顺序拼接起来就足以获得“高深度”的特征图。
[0098]
可替选地或附加地，对应于与样本12的多个粒子11a-11f相关联的多个输入图像的特征图可以被求和。
[0099]
本技术由此允许在不要求大量计算能力或注释数据库的情况下获得高语义级别的特征图。
[0100]
将注意到，特征图的变量的数量可能仍然极大，特别是在输入图像序列的情况下。
[0101]
着眼于减少该数量，将注意到，活动区域在特征图中的位置并不重要。具体而言，粒子11a-11f通常单独在输入图像的中间，尽管有时观察到小团块。在任何情况下，假定不寻求定位粒子11a-11f，在图像上平均的信息足以实现有效的辨别。
[0102]
因此，该特征图的空间尺寸可以减少到1
×
1(没有接触深度，即，提取的图的尺寸为1
×1×
p)，即，该图被转换成向量(与特征图的深度具有相同的尺寸p)，例如借助于全局池化层，尤其是全局平均池化层(在两个空间维度上进行平均)。
[0103]
换言之，所述全局池化层被添加在特征提取子网络的末端(在最后一个块的最大池化层之后)。这取决于特征图的期望深度对于任何块都可以进行，并且将理解，全局池化层插入得越“早”，作用越大，这是因为空间维度越大而深度越小。
[0104]
例如，考虑到在块5后截断的vgg-16，7
×7×
512尺寸的特征图被转换成1
×1×
512尺寸的特征图，即512尺寸的向量。在120个输入图像的堆栈的情况下，获得512
×
120＝61440尺寸的向量。考虑到在块2后截断的vgg-16，56
×
56
×
128尺寸的特征图被转换成1
×1×
128尺寸的特征图，即128尺寸的向量。在120个输入图像的堆栈的情况下，获得128
×
120＝15360尺寸的向量。
[0105]
分类
[0106]
在步骤(c)中，取决于所述提取的特征图(或者在适当的情况下减少的图)对所述输入图像进行分类。
[0107]
将理解，将潜在地使用任何允许对一个或多个特征图进行描述性分析的技术，特别是在所述训练数据库上训练的分类器——下面将给出其多个示例。在这方面，正如步骤(b0)中一样，该方法可以包括步骤(a0)：通过服务器1的数据处理装置3的方式，使用训练数据库来训练分类器。具体而言，这一步骤典型地在非常远的上游进行，特别是由远程服务器1进行。如所解释的，训练数据库可以包含训练图像的一定数量的特征图，这占用的空间非常小。
[0108]
步骤(b)中获得的特征图(特别是在输入图像的堆栈的情况下)可能具有非常多的变量，并且因此最好是使用减少技术。
[0109]
像这样，可以使用t-sne算法(t-sne表示t-分布式随机近邻嵌入(t-distributed stochastic neighbor embedding))，这是一种用于减少用于数据可视化的变量数量的非线性方法，允许在二维或三维空间中表示高维空间的点集合(特征图的值空间)——数据然后可以用散点图可视化。t-sne算法试图找到一种配置(被称为t-sne投影)，即，根据信息理论准则在点的邻近性方面是最优的：分别在原始空间中靠近(远离)的两个点在低维空间中必须靠近(远离)。
[0110]
t-sne算法可以在粒子级(关于在训练数据库中可获得其图的单个粒子的目标粒子11a-11f)和场级(对于整个样本12——表示多个粒子11a-11f的多个输入图像的情况)两者上实施，特别是在单个图像而不是堆栈的情况下实施。
[0111]
应该注意，训练数据库的t-sne投影可以在非常远的上游产生，然后剩下的就是将所讨论的输入图像的特征图放置在其中。实际上，投影函数不一定是明确定制的，并且因此，可能有必要每次重新计算投影。然而，为了加速计算和减少内存占用，也可以在计算所讨论的训练数据库和输入图像的特征图的t-sne投影之前，完成变量数量的线性减少的第
一步(例如pca——主成分分析)。在这种情况下，训练数据库的pca投影可以存储在存储器中。
[0112]
至于实际的分类器，可以使用k-nn方法(k-nn表示k-最近邻(k-nearest neighbors))，特别是对t-sne算法的结果(已获得的投影，或“嵌入”)。
[0113]
思路是查看对应于所讨论的一个或多个输入图像的特征图的点的相邻点，并且查看它们的分类。例如，如果相邻点被分类为“不分裂”，则可以假设所讨论的输入图像必须被分类为“不分裂”。应该注意的是考虑到的近邻可能是有限的，例如取决于菌株、抗生素等。图6显示了大肠杆菌菌株对于各种浓度的头孢泊肟在场级处获得的t-sne嵌入的两个示例。在顶部的示例中，可以清楚地看到两个块，直观地证明了最小抑制浓度(minimum inhibitory concentration，mic)的存在，在该最小抑制浓度以上，形态以及因此细胞分裂就会受到影响。靠近上部的图可能会被分类为“分裂”，而靠近下部的图可能会被分类为“不分裂”。在底部的示例中，可以看到只有最高浓度脱颖而出(因此似乎具有抗生素作用)。
[0114]
根据第二实施例，使用支持向量机(support vector machine，svm)作为分类器，再次获得二元分类(例如再次是“分裂”或“不分裂”)。这种简单的方法对单一输入图像特别有效(svm应用于特征图)。svm的超参数c可以使用网格搜索和所谓的k-折交叉验证(k-fold cross validation)来优化(特别是在k＝5的情况下，其中原始数据库被划分成k个样本，然后k个样本中的一个被选为验证集合，而k-1个其他样本形成训练集合)。
[0115]
根据第三实施例，在输入图像序列(3d堆栈)以及因此在更深的特征图的情况下，卷积神经网络(cnn)被用作分类器。
[0116]
该cnn可以具有相对简单的架构，例如由一个卷积层、一个激活层(例如relu函数)和一个池化层(例如最大池化层)的一连串的块组成的架构。两个这样的块足以实现有效的二元分类。此外，有可能对输入进行下采样(特别是在“时间”维度上)，以进一步减少其存储器占用。
[0117]
cnn可以以常规方式来训练。训练成本函数可以是通过梯度下降算法被最小化的常规成本函数——交叉熵(cross-entropy)。
[0118]
在所有的实施例中，已训练的分类器可以在适当情况下存储在客户端2的数据存储装置21上，用于分类目的。将注意到，相同的分类器只需要一个训练阶段就可以安装在许多客户端2上。
[0119]
计算机程序产品
[0120]
根据第二方面和第三方面，本发明涉及一种计算机程序产品，包括用于(特别是在服务器1和/或客户端2的数据处理装置3、20上)执行用于对表示样本12中的目标粒子11a-11f的至少一个输入图像进行分类的方法的代码指令，以及计算机设备可读存储装置(服务器1和/或客户端2的存储器4、21)，该计算机程序产品存储在其上。