1.本发明涉及智能车间物料识别与定位技术领域，尤其涉及一种基于边云协同的搬运机器人物料视觉检测方法与系统。
背景技术：
2.当前，大型制造企业正在逐步应用工业物联网等先进信息技术，以实现对车间内部物料运转和生产过程的实时感知与优化调度。物料的及时准确搬运是保持车间高效工作的基础。当前物料搬运过程的物料定位主要是基于rfid或二维码等定位技术实现的，这种定位技术需要在车间内部配置昂贵的物料储存与搬运系统，并将物料按照固定的位姿放置到托盘上，才能够确保物料准确识别并搬运。然而，制造车间内部物料通常杂乱无序地放置，常常出现搬运机器人不能自主识别物料且难以抓取的问题。
3.采用基于机器视觉的搬运机器人具备价格低、适用场景多等优势，逐步受到工业界和学术界的重视。目前，相关的发明专利有：中国专利《一种基于边缘智能的制造车间生产物料预测性配送方法》，提出边缘智能制造资源的概念，加工设备主动预测物料剩余加工时间，物流设备自动响应物料配送任务并生成最优配送路径与运输方式；中国专利《多目标交付同步优化模型建模方法及面向订单制造的车间物料配送边缘-雾-云系统构架》，对ugn设计、工作站布局、配送路径进行同步优化，构建具有拆分需求的多目标交付同步优化模型，降低搬运距离和物流成本，提高工作站满意和执行效率。中国专利《一种基于近场通信的飞机总装物料配送网络的构建方法》，提出智能终端利用边缘计算模块计算每个任务的优先级，配送车在仓库初始化获取物料配送信息，开始为每个智能感知节点运送对应的物料。中国专利《基于边云协同的变电设备典型视觉缺陷检测系统及方法》针对视觉缺陷检测模型，在云服务器训练检测模型，在边缘计算平台进行图像的处理与缺陷的检测。
4.在实际应用中，虽然上述发明都有效实现了物料搬运过程的运行优化效率，但由于物料种类众多、物料外观相似、数据云端集中分析与处理存在运算时间长、响应滞后的问题，严重影响了物料搬运机器人的效率。因此针对物料视觉高效检测仍需要在以下新问题上获得突破：1)基于视觉的物料识别系统常存在模型训练时间与识别精度难以同时兼顾的问题；2)将获取的物料图片传递到云端进行集中检测分析的方式，由于图片上传与检测结果下达的传输过程需要耗费时间，会进一步增加运算时间，导致搬运机器人的运行效率难以保证。
技术实现要素：
5.为了解决现有技术中存在的不足，本技术提出了一种基于边云协同的搬运机器人物料视觉检测方法与系统，为了能够有效的提高物料搬运过程的运行优化效率以及视觉识别的精度。
6.本发明所采用的技术方案如下：
7.一种基于边云协同的搬运机器人物料视觉检测系统，包括搬运机器人主体、图像
采集系统、边缘计算平台、云端分析平台、信息交互系统；
8.所述搬运机器人主体包括移动平台和抓取机械臂，所述抓取机械臂设于移动平台上；
9.所述图像采集系统设置在抓取机械臂的抓取末端，获取车间物料实时图像；
10.所述边缘计算平台包括图像预处理模块、物料识别模块和机器人控制模块，所述图像预处理模块信号连接图像采集系统，对图像进行预处理后输入物料识别模块；所述物料识别模块内置物料检测模型，所述物料检测模型从图像中识别出目标物料且输出图像中物料类别、位置、抓取点信息至机器人控制模块；所述机器人控制模块根据抓取点信息对所述搬运机器人主体的动作进行控制；
11.所述云端分析平台用于物料配送任务的分配与监控、构建及调整物料检测模型、抓取结果的传递；
12.所述信息交互系统用于实现边缘计算平台和云端分析平台之间的信息交互。
13.进一步，基于改进yolox深度学习算法构建所述物料检测模型，物料检测模型包含主干特征提取模块、加强特征融合模块和预测回归模块；所述主干特征提取模块提取输入图片的信息生成三个有效特征图，所述加强特征融合模块采用fpn pan特征金字塔结构，主要是将主干网络输出的三个尺度特征图进行特征融合；所述预测回归模块利用提取到的全部特征进行目标类别和位置的预测。
14.进一步，在主干特征提取模块内，主干特征提取网络由依次连接的stem模块、stage2模块、stage3模块、stage4模块、stage5模块和空间金字塔池化层sppf构成，其中，stem模块是由2个dbb模块堆叠而成，所述stage2-5模块均由dbb模块和repblock模块构成。
15.进一步，dbb模块采用多分支拓扑结构，各分支主要包括：1
×
1和3
×
3卷积、平均池化层以及bn层；所述repblock模块是由多个dbb模块堆叠而成，sppf结构主要包括3个5
×
5大小的串行maxpool池化层。
16.进一步，损失函数包含位置损失、focalloss和类别损失，所述损失函数表示为：
17.fl(p
t
)＝-α(1-p
t
)
γ
log(p
t
)
18.其中，p
t
是模型预测为正样本的概率，α是正负样本的权重，γ是一种可调的超参数。
19.进一步，物料检测模型轻量化的过程为：将网络训练阶段的多分支模型各分支不同大小的卷积层均转换成3
×
3卷积层，再与bn层进行融合。经过转换融合后，各个分支的输出均是一个3
×
3卷积层；最后将每个分支上的3
×
3卷积层融合成一个3
×
3卷积进行推理。
20.进一步，所述图像预处理模块包括对图像进行去抖动、去噪声的处理。
21.进一步，所述图像采集系统为rgb-d相机。
22.一种基于边云协同的搬运机器人物料视觉检测方法，包括如下步骤：
23.步骤1、基于改进yolox深度学习算法构建物料检测模型；基于结构重参数化对构建的物料检测模型进行轻量化设计；
24.步骤2、获取车间物料实时图像，且将图像输入轻量化的物料检测模型内，利用物料检测模型在图像中识别出目标物料，输出物料类别、位置、抓取点信息；
25.步骤3、搬运机器人根据抓取点信息进行物料抓取，根据路径规划完成物料的放置；根据每次物料识别与抓取情况对模型进行参数调整。
26.进一步，步骤2中获取抓取点信息的方法为：
27.利用物料检测模型从图像中检测出物料目标区域并给出最小外接矩形框的位置；从目标框中提取所需抓取点，并从相机配准深度图获取抓取点的深度值；将抓取点坐标转换成世界坐标系下表示。
28.本发明的有益效果：
29.与现有技术相比，本发明优点在于通过应用边云协同机制进行搬运机器人物料识别的运算，一方面，通过配置嵌入式设备，使得搬运机器人具备边缘侧运算能力，可以承担物料图像预处理、物料识别以及物料抓取决策等任务，另一方面，基于改进yolox网络模型与结构重参数化机制，构建了适用于边云协同的物料高效识别模型，在云端训练得到能够实现高精度识别的改进yolox模型，进而通过结构重参数化对模型进行轻量化设计，实现识别模型在搬运机器人端的快速运行。通过所提物料视觉检测方法与系统的应用，可以显著提升搬运机器人的运算效率与识别精度，加快车间物料搬运系统的提速升级。
附图说明
30.图1是本发明方法的总体结构示意图；
31.图2是本发明方法中总体结构组成图；
32.图3是本发明改进型yolox物料检测模型结构图；
33.图4是本发明dbb和repblock模块结构重参数化图；
34.图5是本发明sppf空间池化层结构示意图。
具体实施方式
35.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
36.结合附图1和2所示，本技术设计出了一种基于边云协同的搬运机器人物料视觉检测系统，包括：搬运机器人主体、图像采集系统、边缘计算平台、云端分析平台、信息交互系统。
37.其中，搬运机器人主体包括移动平台和抓取机械臂两部分，移动平台可以按照路径规划指令移动到目的地，抓取机械臂依据识别出物料的种类与抓取候选框，实现对抓取点处物料的精准抓取。
38.图像采集系统设置在抓取机械臂的抓取末端，在本实施例中，是在抓取末端安装摄像头，按一定帧率获取车间图片，并将获取的图片传输给边缘计算平台。
39.边缘计算平台包括图像预处理模块、物料识别模块和机器人控制模块，分别用于实现图像预处理、物料检测、机器人控制三个功能。更具体地，图像预处理模块信号连接图像采集系统，接收图像采集系统采集并传输的图像，且对图像进行去抖动、去噪声等预处理，以保证图片具备高质量。物料识别模块信号连接图像预处理模块，物料识别模块内置物料检测模型，调用构建的物料检测模型从经过预处理的图像中识别出目标物料，且输出图像中物料类别、位置、抓取点信息。机器人控制模块信号连接物料识别模块，接收物料识别模块输出的物料抓取点位置，且机器人控制模块信号连接搬运机器人主体；因此机器人控
制模块能够基于物料识别模块所获取的物料抓取点位置，对机器人的运行路径进行规划，以及控制机器人完成物料抓取。
40.云端分析平台主要承担物料配送任务的分配与监控，基于深度学习构建物料检测模型，以及对物料检测模型的结构重参数化，以实现物料高精度识别的同时保持高速率。
41.信息交互系统用于实现边缘计算平台和云端分析平台之间的信息交互，主要承担重参数化后物料检测模型的下达、物料识别与抓取结果的传递以便于对物料检测模型进行评估与调整。
42.在本实施例中，参照图3和图4，在云端分析平台构建基于改进yolox深度学习算法的物料检测模型。物料检测模型包含三个模块：主干特征提取模块、加强特征融合模块和预测回归模块。主干网络是特征提取的关键部分，通过提取输入图片的信息生成三个有效特征图，以供后续网络使用。加强特征融合网络采用fpn pan特征金字塔结构，主要是将主干网络输出的三个尺度特征图进行特征融合，通过融合高低层的语义、定位特征来增强网络的表征能力。而预测回归网络主要是利用提取到的全部特征进行目标类别和位置的预测。
43.更具体地，在主干特征提取模块内，主干特征提取网络由依次连接的stem模块、stage2模块、stage3模块、stage4模块、stage5模块和空间金字塔池化层sppf构成，其中，stem模块是由2个dbb模块堆叠而成，所述stage2-5模块均由dbb模块和repblock模块构成。在本技术中，基于结构重参数化思想，用dbb模块取代了主干特征提取网络原始的标准卷积块，用repblock模块取代了网络的原始残差块。旨在通过优化模型结构组件来提高网络的性能，提高网络特征提取能力的同时加快推理速度。
44.dbb模块采用多分支拓扑结构，各分支主要包括：1
×
1和3
×
3卷积、平均池化层以及bn层。dbb模块在训练和推理的时候结构不同，在训练时采用多分支结构用于提取多个层次的特征，这样可以提升模型的表征能力，更好的处理网络深层梯度消失问题。而在推理时考虑到每个分支计算速度不一，以及充分利用硬件算力，将模型转化成单分支结构。从而使得网络在训练阶段关注精度，而在推理阶段更关注速度。
45.repblock模块是由多个dbb模块堆叠而成，首先利用一个dbb模块完成特征图大小的调整，然后利用多个dbb模块完成通道数的调整。
46.更具体地，参照图5，主干特征提取网络的空间金字塔池化层spp更换成sppf，并放置在主干特征提取网络的最后一层。sppf结构主要包括3个5
×
5大小的串行maxpool池化层，用2个5
×
5的卷积操作代替一个9
×
9的卷积操作，3个5
×
5的卷积操作代替一个13
×
13的卷积操作。每次池化后的输出会成为下一个池化的输入，最终通过sppf层汇集特征并生成固定长度的输出，解决了输入图像尺寸不统一问题。同时考虑到sppf层位于主干网络的最后一层，采用激活函数relu。relu激活函数可以在网络的深层舍弃一些输入来增加网络的稀疏性，避免梯度消失现象，加快网络的收敛速度。
47.更具体地，针对损失函数部分，将原有的置信度预测损失更换成focalloss，以此增强网络区分难易样本的能力。在网络训练过程中，损失函数包含三个部分：位置损失、置信损失和类别损失；
48.位置损失l
bbox
采用的是iou loss，计算公式如下：
49.l
bbox
＝-ln(iou(b
gt
，b
pred
))
50.其中，b
gt
是真实目标边界框，b
pred
是预测目标边界框。
51.置信度损失l
obj
和类别损失l
class
均采用二元交叉熵损失bce loss，计算公式如下：
[0052][0053]
其中，yi是样本的真实值，pi是网络对样本的预测值，n为样本数。
[0054]
为了增强网络区分难易样本的能力，本技术中将置信度预测损失更换为focal loss。
[0055]
focal loss损失函数是在二分类交叉熵损失函数bceloss的基础上修改完成，标准交叉熵损失在大量简单样本的迭代过程中比较缓慢，而focal loss损失函数可根据预测结果的置信度动态调整损失，主要有两个目的：(1)平衡正负样本的权重：在二分类交叉熵损失的基础上引入平衡因子α，用来平衡正负样本的比例不平衡；(2)平衡难易分类样本的权重：在二分类交叉熵损失的基础上引入γ调制系数，使得网络更加关注难分类样本。focal loss损失函数的计算公式如下：
[0056]
l
obj
＝-α(1-p
t
)
γ
log(p
t
)
[0057]
其中，p
t
是模型预测为正样本的概率。α是正负样本的权重，通常取值为0.25。(1-p
t
)
γ
为关键部分，通过减轻易分类样本的权重，从而提高难分类样本的权重，使得模型更加关注难分类样本。其中γ是一种可调的超参数，通常取值为2。
[0058]
在本实施例中，基于结构重参数化对构建的物料检测模型进行轻量化设计，并将重参数化后的物料检测模型配置到机器人的物料识别模块内。轻量化的过程如下：
[0059]
将网络训练阶段的dbb多分支模型转换成推理阶段的单分支模型，首先将各分支不同大小的卷积层均转换成3
×
3卷积层，再与bn层进行融合。经过转换融合后，各个分支的输出均是一个3
×
3卷积层。最后将每个分支上的3
×
3卷积层融合成一个3
×
3卷积进行推理，在不影响网络精度的基础上大幅度减少推理阶段的参数量，加快推理速度。
[0060]
对于卷积层第i个通道，卷积和bn层融合后转换成新的卷积层的计算公式如下：
[0061]
bn(m*w，μ，σ，γ，β)：，i，：，：＝(m*w
′
)：，i，：，： b
′i[0062]
其中，m代表输入bn层的特征图，w是卷积层初始权重；μ、σ2、γ、β是bn层的四个计算参数，分别表示：μ是累积平均值、σ2是标准差、γ是学习缩放因子和β是偏差。
[0063]
新卷积层的权重w
′i和偏重b
′i计算公式如下：
[0064][0065]
其中，μi、γi、βi是新卷积层的四个计算参数，μi是累积平均值，是标准差，γi是学习缩放因子，βi是偏差，i为卷积层第i个通道，wi是原始卷积层的权重。
[0066]
在本实施例中，物料识别模块调用轻量化设计后的物料检测模型进行物料的识别，获取目标区域即抓取候选框，进一步提供给搬运机器人抓取点位置，具体过程如下：
[0067]
s1：基于rgb-d相机获取的车间物料实时帧，重参数化后的物料检测模型从图像中检测出物料目标区域并给出最小外接矩形框的位置。进一步从目标框中提取所需抓取点，并从相机配准深度图获取抓取点的深度值。
[0068]
s2：从目标区域获取的抓取点坐标是以像素为单位，像素坐标并不能用于机械臂抓取，需要利用相机标定获取相机内、外参参数对抓取点的三维坐标转换成世界坐标系下
表示。先将像素坐标转换为相机坐标，再将相机坐标转换为世界坐标。
[0069]
像素坐标(u，v)与相机坐标(x，y，z)转换关系的计算公式如下：
[0070][0071]
其中，f
x
表示使用像素来描述x轴方向焦距的长度，fy表示使用像素来描述y轴方向焦距的长度，c
x
、cy分别代表相机感光芯片的中心点在x和y方向上存在的偏移量。
[0072]
相机坐标与世界坐标(x，y，z)转换关系的计算公式如下：
[0073][0074]
其中，r是一个3
×
3大小的旋转矩阵，t是一个3
×
1大小的平移矩阵。
[0075]
在本实施例中，机器人控制模块根据抓取点坐标(x，y，z)进行物料抓取，根据路径规划完成物料的放置，同时将物料识别与抓取情况反馈给云端集中处理单元。根据物料检测的效果，利用信息交互系统界面，可以实时调整物料检测模型的置信度，阈值以及更换训练权重的载入。对物料检测模型进行参数(如检测阈值、置信度、模型的权重)调整，实时监控物料的检测状态，以保证模型的有效性。
[0076]
一种基于边云协同的搬运机器人物料视觉检测方法，包括如下步骤：
[0077]
步骤1、基于改进yolox深度学习算法构建物料检测模型；基于结构重参数化对构建的物料检测模型进行轻量化设计；
[0078]
步骤2、获取车间物料实时图像，且将图像输入轻量化的物料检测模型内，利用物料检测模型在图像中识别出目标物料，输出物料类别、位置、抓取点信息；
[0079]
步骤3、搬运机器人根据抓取点信息进行物料抓取，根据路径规划完成物料的放置；根据每次物料识别与抓取情况对模型进行参数调整。
[0080]
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。