1.本技术涉及人工智能技术领域及数字医疗领域，尤其涉及一种多模态医疗资源确定方法、装置、计算机设备及存储介质。
背景技术：
2.近些年来，随着人工智能技术的快速发展，人工智能技术与医疗健康领域的融合不断深入。ai(artificial intelligence，人工智能)医疗的发展，不仅能够提高医疗服务的效率和质量，降低医疗成本和风险，促进医学知识的创新和传播，还能够满足不同患者的个性化需求和偏好，提高治疗效果和生活质量，构建健康生态系统。
3.医疗信息的冗余也导致患者在选择就医的时候比较难做出合适的选择，导致就医效率普遍较低。因此，如何提高在医疗健康领域中患者的就诊效率成为亟待解决的技术问题。
技术实现要素：
4.本技术提供了一种多模态医疗资源确定方法、装置、计算机设备及存储介质，以提高在医疗健康领域中患者的就诊效率。
5.第一方面，本技术提供了一种多模态医疗资源确定方法，所述方法包括：
6.通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息；
7.通过预训练的医学中文模型将所述目标用户文本信息转换为目标用户特征向量；
8.计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，并基于所述相似度确定所述目标用户对应的目标医疗资源。
9.第二方面，本技术还提供了一种多模态医疗资源确定装置，所述装置包括：
10.文本信息转换模块，用于通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息；
11.特征向量转换模块，用于通过预训练的医学中文模型将所述目标用户文本信息转换为目标用户特征向量；
12.相似度计算模块，用于计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，并基于所述相似度确定所述目标用户对应的目标医疗资源。
13.第三方面，本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的多模态医疗资源确定方法。
14.第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的多模态医疗资源确定方法。
15.本技术公开了一种多模态医疗资源确定方法、装置、计算机设备及存储介质，所述
多模态医疗资源确定方法包括通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息；通过预训练的医学中文模型将所述目标用户文本信息转换为目标用户特征向量；计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，并基于所述相似度确定所述目标用户对应的目标医疗资源。通过上述方式，本技术通过文本转换技术将用户的语音信息与图片信息转换为目标用户文本信息后，提取目标用户文本信息中的用户特征向量后，计算用户特征向量与医疗资源特征向量的相似度，进而根据相似度确定目标医疗资源，提高了在医疗健康领域中患者的就诊效率。
附图说明
16.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本技术的第一实施例提供的一种多模态医疗资源确定方法的示意流程图；
18.图2是本技术的第二实施例提供的一种多模态医疗资源确定方法的示意流程图；
19.图3是本技术的第三实施例提供的一种多模态医疗资源确定方法的示意流程图；
20.图4是本技术的第四实施例提供的一种多模态医疗资源确定方法的示意流程图；
21.图5是本技术的第五实施例提供的一种多模态医疗资源确定方法的示意流程图；
22.图6为本技术的实施例提供的一种多模态医疗资源确定装置的示意性框图；
23.图7为本技术的实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
26.应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
27.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
28.本技术的实施例提供了一种多模态医疗资源确定方法、装置、计算机设备及存储介质。其中，该多模态医疗资源确定方法可以应用于服务器中，通过文本转换技术将用户的语音信息与图片信息转换为目标用户文本信息后，提取目标用户文本信息中的用户特征向量后，计算用户特征向量与医疗资源特征向量的相似度，进而根据相似度确定目标医疗资源，提高了在医疗健康领域中患者的就诊效率。其中，该服务器可以为独立的服务器，也可以为服务器集群。
29.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
30.请参阅图1，图1是本技术的第一实施例提供的一种多模态医疗资源确定方法的示意流程图。该多模态医疗资源确定方法可应用于服务器中，用于通过文本转换技术将用户的语音信息与图片信息转换为目标用户文本信息后，提取目标用户文本信息中的用户特征向量后，计算用户特征向量与医疗资源特征向量的相似度，进而根据相似度确定目标医疗资源，提高了在医疗健康领域中患者的就诊效率。
31.如图1所示，该多模态医疗资源确定方法具体包括步骤s10至步骤s30。
32.步骤s10、通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息；
33.具体地，针对语音信息和图片信息，预设文本转换技术可以分别为asr(automatic speech recognition，自动语音识别)和ocr(optical character recognition，光学字符识别)，将语音信息和图片信息分别转换为文本信息。传统的医疗资源推荐模型仅仅使用患者的人口统计学特征和疾病等信息，未充分整合其他的语音，文本，图片等信息，因此不能准确的表征患者的用户画像，导致推荐效果较差。通过本实施例提供的asr和ocr技术，将用户的口述语音信息和病历图片等转换为文本信息，用于训练自然语言处理模型，以表征用户(即患者)的画像特征。
34.步骤s20、通过预训练的医学中文模型将所述目标用户文本信息转换为目标用户特征向量；
35.本实施例所提供的医学中文模型可以是医疗场景下的中文预训练模型roberta。通过预训练好的中文语言模型分别抽取用户和待推荐的医疗资源的特征信息，并应用到后续的推荐任务中。该医疗中文预训练模型具有普适性，不仅能应用于医疗资源推荐任务中，还能在更多医疗场景中发挥作用，比如医疗场景下的标签分类、实体抽取以及关系抽取等任务中。
36.步骤s30、计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，并基于所述相似度确定所述目标用户对应的目标医疗资源。
37.具体地，在数字医疗领域中，获取用户提供的语音信息或图片信息，图片信息可以是病历图片或者是医疗影像检查报告，根据用户提供的信息转换为特征向量。
38.具体地，提取图片信息中的特征向量，通常可以分为以下步骤：
39.1.图像预处理，即进行图像缩放、灰度化处理、降噪处理等操作；
40.2.特征提取，使用图像处理技术提取图像特征，例如尺度不变特征变换技术、方向梯度直方图技术等；
41.3.特征编码，对提取到的特征进行编码；
42.4.特征向量生成，将编码后的特征转换为数值向量作为图片信息中的特征向量。
43.本实施例的相似度可以通过计算向量的余弦相似性来表征。余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90
°
时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。这
结果是与向量的长度无关的，仅仅与向量的指向方向相关。余弦相似度通常用于正空间，因此给出的值为-1到1之间。
44.计算得到与目标用户特征向量的相似度排序后，选择相似度最高的前几项作为目标医疗资源。其中，具体选择多少个医疗资源可以由用户自行设置。医疗资源可以为医生，也可以是相关的医学检测。
45.本实施例公开了一种多模态医疗资源确定方法、装置、计算机设备及存储介质，所述多模态医疗资源确定方法包括通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息；通过预训练的医学中文模型将所述目标用户文本信息转换为目标用户特征向量；计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，并基于所述相似度确定所述目标用户对应的目标医疗资源。通过上述方式，本技术通过获取特征权重矩阵与词向量矩阵，生成目标用户特征向量，并通过计算目标用户特征向量与医疗资源特征向量的相似度，确定目标用户对应的目标医疗资源，确定目标用户对应的目标医疗资源，提高了在医疗健康领域中患者的就诊效率。
46.请参阅图2，图2是本技术的第二实施例提供的一种多模态医疗资源确定方法的示意流程图。该多模态医疗资源确定方法可应用于服务器中，用于通过文本转换技术将用户的语音信息与图片信息转换为目标用户文本信息后，提取目标用户文本信息中的用户特征向量后，计算用户特征向量与医疗资源特征向量的相似度，进而根据相似度确定目标医疗资源，提高了在医疗健康领域中患者的就诊效率。
47.基于图1所示实施例，本实施例如图2所示，步骤s20具体包括步骤s201至步骤s202。
48.步骤s201、通过所述医学中文模型，确定所述目标用户文本信息的特征权重矩阵与词向量矩阵；
49.步骤s202、基于所述特征权重矩阵、所述词向量矩阵和所述目标用户文本信息，生成所述目标用户特征向量。
50.具体地，在生成文本信息的特征权重矩阵时，可以利用特征选择的方法计算分词后得到的每个词与业务场景类别的关联权重，然后将每个词与不同业务场景类别的关联权重作为一个行向量，由所有行向量组成文本信息的特征权重矩阵。特征选择的方法例如可以包括：卡方检验、信息增益、相关系数、基尼系数、数据建模、l1范数正则化、决策树等用于计算变量之间线性相关程度的方法。
51.在生成文本信息的词向量矩阵时，可以先对每个词生成词向量，然后将每个词向量作为矩阵的一个行向量，进而由这些词向量组成文本数据的词向量矩阵。
52.本实施例公开了一种多模态医疗资源确定方法、装置、计算机设备及存储介质，所述多模态医疗资源确定方法包括通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息；通过所述医学中文模型，确定所述目标用户文本信息的特征权重矩阵与词向量矩阵；基于所述特征权重矩阵、所述词向量矩阵和所述目标用户文本信息，生成所述目标用户特征向量；计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，并基于所述相似度确定所述目标用户对应的目标医疗资源。通过上述方式，本技术通过获取特征权重矩阵与词向量矩阵，生成目标用户特征向量，并通过计算目标用户特征向量与医疗资源特征向量的相似度，确定目标用户对应的目标医疗资源，提高了在医
疗健康领域中患者的就诊效率。
53.请参阅图3，图3是本技术的第三实施例提供的一种多模态医疗资源确定方法的示意流程图。该多模态医疗资源确定方法可应用于服务器中，用于通过文本转换技术将用户的语音信息与图片信息转换为目标用户文本信息后，提取目标用户文本信息中的用户特征向量后，计算用户特征向量与医疗资源特征向量的相似度，进而根据相似度确定目标医疗资源，提高了在医疗健康领域中患者的就诊效率。
54.基于图2所示实施例，本实施例如图3所示，步骤s201具体包括步骤s2011至步骤s2013。
55.步骤s2011、通过所述医学中文模型，对所述目标用户文本信息进行分词操作，得到至少一个关键词；
56.步骤s2012、计算医疗资源场景与所述至少一个关键词的关联权重，生成所述特征权重矩阵；
57.步骤s2013、计算所述至少一个关键词的词向量，生成所述词向量矩阵。
58.具体地，对文本信息进行分词操作时，同时还可以去除停用词、关联词、介词等非实质内容，以减少后续生成特征权重矩阵以及词向量矩阵的工作量，提升处理效率。常用的中文分词工具例如结巴中文分词、汉语词法分析系统、简易中文分词系统，等等，均可以实现本实施例的分词功能。
59.本实施例公开了一种多模态医疗资源确定方法、装置、计算机设备及存储介质，所述多模态医疗资源确定方法包括通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息；通过所述医学中文模型，对所述目标用户文本信息进行分词操作，得到至少一个关键词；计算医疗资源场景与所述至少一个关键词的关联权重，生成所述特征权重矩阵；计算所述至少一个关键词的词向量，生成所述词向量矩阵；基于所述特征权重矩阵、所述词向量矩阵和所述目标用户文本信息，生成所述目标用户特征向量；计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，并基于所述相似度确定所述目标用户对应的目标医疗资源。通过上述方式，本技术通过文本转换技术将用户的语音信息与图片信息转换为目标用户文本信息后，提取目标用户文本信息中的用户特征向量后，计算用户特征向量与医疗资源特征向量的相似度，进而根据相似度确定目标医疗资源，提高了在医疗健康领域中患者的就诊效率。
60.请参阅图4，图4是本技术的第四实施例提供的一种多模态医疗资源确定方法的示意流程图。该多模态医疗资源确定方法可应用于服务器中，用于通过文本转换技术将用户的语音信息与图片信息转换为目标用户文本信息后，提取目标用户文本信息中的用户特征向量后，计算用户特征向量与医疗资源特征向量的相似度，进而根据相似度确定目标医疗资源，提高了在医疗健康领域中患者的就诊效率。
61.基于图1所示实施例，本实施例如图4所示，步骤s10具体包括步骤s101至步骤s102。
62.步骤s101、通过所述asr提取所述语音信息中的问诊关键词，并通过所述ocr提取所述图片信息中的所述问诊关键词，其中，所述问诊关键词属于预设问诊信息库；
63.步骤s102、通过通用信息抽取技术uie对所述问诊关键词进行筛选，并通过筛选后的所述问诊关键词生成所述目标用户文本信息。
64.具体地，通过uie，用户可以使用自然语言自定义抽取目标，uie支持不限定行业领域和抽取目标的关键信息抽取，无需对模型进行训练，即可统一抽取输入文本中的对应信息。
65.本实施例公开了一种多模态医疗资源确定方法、装置、计算机设备及存储介质，所述多模态医疗资源确定方法包括通过所述asr提取所述语音信息中的问诊关键词，并通过所述ocr提取所述图片信息中的所述问诊关键词，其中，所述问诊关键词属于预设问诊信息库；通过通用信息抽取技术uie对所述问诊关键词进行筛选，并通过筛选后的所述问诊关键词生成所述目标用户文本信息；通过预训练的医学中文模型将所述目标用户文本信息转换为目标用户特征向量；计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，并基于所述相似度确定所述目标用户对应的目标医疗资源。通过上述方式，本技术通过文本转换技术将用户的语音信息与图片信息转换为目标用户文本信息后，提取目标用户文本信息中的用户特征向量后，计算用户特征向量与医疗资源特征向量的相似度，进而根据相似度确定目标医疗资源，提高了在医疗健康领域中患者的就诊效率。
66.请参阅图5，图5是本技术的第五实施例提供的一种多模态医疗资源确定方法的示意流程图。该多模态医疗资源确定方法可应用于服务器中，用于通过文本转换技术将用户的语音信息与图片信息转换为目标用户文本信息后，提取目标用户文本信息中的用户特征向量后，计算用户特征向量与医疗资源特征向量的相似度，进而根据相似度确定目标医疗资源，提高了在医疗健康领域中患者的就诊效率。
67.基于图1所示实施例，本实施例如图5所示，步骤s30具体包括步骤s301至步骤s303。
68.步骤s301、将所述预获取的医疗资源特征向量与所述目标用户特征向量输入至相似度模型；
69.步骤s302、通过所述问诊关键词与所述相似度模型，分别确定所述预获取的医疗资源特征向量的医疗资源余弦值与所述目标用户特征向量的目标余弦值；
70.步骤s303、基于所述医疗资源余弦值与所述目标余弦值，计算所述相似度。
71.具体地，本实施例的相似度可以通过计算向量的余弦相似性来表征。余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90
°
时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。这结果是与向量的长度无关的，仅仅与向量的指向方向相关。余弦相似度通常用于正空间，因此给出的值为-1到1之间。
72.本实施例公开了一种多模态医疗资源确定方法、装置、计算机设备及存储介质，所述多模态医疗资源确定方法包括通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息；通过预训练的医学中文模型将所述目标用户文本信息转换为目标用户特征向量；将所述预获取的医疗资源特征向量与所述目标用户特征向量输入至相似度模型；通过所述问诊关键词与所述相似度模型，分别确定所述预获取的医疗资源特征向量的医疗资源余弦值与所述目标用户特征向量的目标余弦值；基于所述医疗资源余弦值与所述目标余弦值，计算所述相似度，并基于所述相似度确定所述目标用户对应的目标医
疗资源。通过上述方式，本技术通过文本转换技术将用户的语音信息与图片信息转换为目标用户文本信息后，提取目标用户文本信息中的用户特征向量后，计算用户特征向量与医疗资源特征向量的相似度，进而根据相似度确定目标医疗资源，提高了在医疗健康领域中患者的就诊效率。
73.基于图5所示实施例，本实施例中，步骤s30还包括：
74.基于所述相似度将所述医疗资源特征向量进行排序，并将排在预设次序的医疗资源特征向量对应的医疗资源确定为所述目标医疗资源。
75.具体地，计算得到与目标用户特征向量的相似度排序后，选择相似度最高的前几项作为目标医疗资源。其中，具体选择多少个医疗资源可以由用户自行设置。医疗资源可以为医生，也可以是相关的医学检测。
76.基于上述全部实施例，本实施例中，步骤s20之前，包括：
77.通过预设中文语料库训练优化预训练模型roberta，生成中文模型；
78.通过预设医学语料库训练所述中文模型，生成预训练的所述医学中文模型。
79.具体实施例中，相比bert模型，roberta模型的训练时间更长，数据集更大，batchsize(批量样本大小)设置的更大，并且了采用了动态mask(分割)的方案，在很多任务上都表现出更好的效果。因此，本实施例选择了roberta作为预训练模型。首先，通过通用的中文数据集训练roberta模型。随机的mask掉文本中15％的词汇，然后模型去预测被mask掉的部分，最终得到中文预训练模型。最后使用医学中文数据集继续预训练,在训练之前随机mask掉15％的医学专用词汇，训练的过程中让模型预测这些被mask掉的医学词汇，最终得到通用的医学中文预训练模型。
80.请参阅图6，图6是本技术的实施例提供一种多模态医疗资源确定装置的示意性框图，该多模态医疗资源确定装置用于执行前述的多模态医疗资源确定方法。其中，该多模态医疗资源确定装置可以配置于服务器。
81.如图6所示，该多模态医疗资源确定装置400，包括：
82.文本信息转换模块410，用于通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息；
83.特征向量转换模块420，用于通过预训练的医学中文模型将所述目标用户文本信息转换为目标用户特征向量；
84.相似度计算模块430，用于计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，并基于所述相似度确定所述目标用户对应的目标医疗资源。
85.进一步地，所述特征向量转换模块420包括：
86.矩阵确定单元，用于通过所述医学中文模型，确定所述目标用户文本信息的特征权重矩阵与词向量矩阵；
87.特征向量生成单元，用于基于所述特征权重矩阵、所述词向量矩阵和所述目标用户文本信息，生成所述目标用户特征向量。
88.进一步地，所述矩阵确定单元包括：
89.分词子单元，用于通过所述医学中文模型，对所述目标用户文本信息进行分词操作，得到至少一个关键词；
90.特征权重矩阵生成子单元，用于计算医疗资源场景与所述至少一个关键词的关联
权重，生成所述特征权重矩阵；
91.词向量矩阵生成子单元，用于计算所述至少一个关键词的词向量，生成所述词向量矩阵。
92.进一步地，所述文本信息转换模块410包括：
93.问诊关键词提取单元，用于通过所述asr提取所述语音信息中的问诊关键词，并通过所述ocr提取所述图片信息中的所述问诊关键词，其中，所述问诊关键词属于预设问诊信息库；
94.问诊关键词筛选单元，用于通过通用信息抽取技术uie对所述问诊关键词进行筛选，并通过筛选后的所述问诊关键词生成所述目标用户文本信息。
95.进一步地，所述相似度计算模块430包括：
96.相似度模型获取单元，用于将所述预获取的医疗资源特征向量与所述目标用户特征向量输入至相似度模型；
97.余弦值计算单元，用于通过所述问诊关键词与所述相似度模型，分别确定所述预获取的医疗资源特征向量的医疗资源余弦值与所述目标用户特征向量的目标余弦值；
98.相似度计算单元，用于基于所述医疗资源余弦值与所述目标余弦值，计算所述相似度。
99.进一步地，所述相似度计算模块430还包括：
100.排序单元，用于基于所述相似度将所述医疗资源特征向量进行排序，并将排在预设次序的医疗资源特征向量对应的医疗资源确定为所述目标医疗资源。
101.进一步地，所述多模态医疗资源确定装置还包括：
102.中文模型训练模块，用于通过预设中文语料库训练优化预训练模型roberta，生成中文模型；
103.医学中文模型训练模块，用于通过预设医学语料库训练所述中文模型，生成预训练的所述医学中文模型。
104.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
105.上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
106.请参阅图7，图7是本技术的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
107.参阅图7，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
108.非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种多模态医疗资源确定方法。
109.处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
110.内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种多模态医疗资源确定方法。
111.该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，
图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
112.应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
113.其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
114.通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息；
115.通过预训练的医学中文模型将所述目标用户文本信息转换为目标用户特征向量；
116.计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，并基于所述相似度确定所述目标用户对应的目标医疗资源。
117.在一个实施例中，通过预训练的医学中文模型将所述目标用户文本信息转换为目标用户特征向量，用于实现：
118.通过所述医学中文模型，确定所述目标用户文本信息的特征权重矩阵与词向量矩阵；
119.基于所述特征权重矩阵、所述词向量矩阵和所述目标用户文本信息，生成所述目标用户特征向量。
120.在一个实施例中，过所述医学中文模型，确定所述目标用户文本信息的特征权重矩阵与词向量矩阵，用于实现：
121.通过所述医学中文模型，对所述目标用户文本信息进行分词操作，得到至少一个关键词；
122.计算医疗资源场景与所述至少一个关键词的关联权重，生成所述特征权重矩阵；
123.计算所述至少一个关键词的词向量，生成所述词向量矩阵。
124.在一个实施例中，通过预设文本转换技术，将目标用户的语音信息与图片信息转换为目标用户文本信息，用于实现：
125.通过所述asr提取所述语音信息中的问诊关键词，并通过所述ocr提取所述图片信息中的所述问诊关键词，其中，所述问诊关键词属于预设问诊信息库；
126.通过通用信息抽取技术uie对所述问诊关键词进行筛选，并通过筛选后的所述问诊关键词生成所述目标用户文本信息。
127.在一个实施例中，计算预获取的医疗资源特征向量与所述目标用户特征向量的相似度，用于实现：
128.将所述预获取的医疗资源特征向量与所述目标用户特征向量输入至相似度模型；
129.通过所述问诊关键词与所述相似度模型，分别确定所述预获取的医疗资源特征向量的医疗资源余弦值与所述目标用户特征向量的目标余弦值；
130.基于所述医疗资源余弦值与所述目标余弦值，计算所述相似度。
131.在一个实施例中，基于所述相似度确定所述目标用户对应的目标医疗资源，用于实现：
132.基于所述相似度将所述医疗资源特征向量进行排序，并将排在预设次序的医疗资源特征向量对应的医疗资源确定为所述目标医疗资源。
133.在一个实施例中，通过预训练的医学中文模型将预设医疗资源库中的医疗文本信息转换为医疗资源特征向量之前，用于实现：
134.通过预设中文语料库训练优化预训练模型roberta，生成中文模型；
135.通过预设医学语料库训练所述中文模型，生成预训练的所述医学中文模型。
136.本技术的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本技术实施例提供的任一项多模态医疗资源确定方法。
137.其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
138.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。