单目红外热成像视觉机械手抓取物体姿态估计装置及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115958605A(43)申请公布日2023.04.14(21)申请号202310028374.3(22)申请日2023.01.09(71)申请人成都理工大学地址610059四川省成都市二仙桥东三路1号(72)发明人易诗程兴豪王铖(74)专利代理机构西安正华恒远知识产权代理事务所(普通合伙)61271专利代理师陈选中(51)Int.Cl.B25J9/16(2006.01)B25J19/02(2006.01)B25J19/04(2006.01)权利要求书5页说明书15页附图10页(54)发明名称单目红外热成像视觉机械手抓取物体姿态估计装置及方法(57)摘要本发明提供了一种单目红外热成像视觉机械手抓取物体姿态估计装置及方法，属于人工智能技术领域，本发明提供了一种由单目红外热成像摄像头、激光测距模块、边缘计算平台、嵌入式处理器构成的特种机器人机械手自动抓取物体姿态估计装置，单目红外热成像摄像头能够在特种机器人工作的烟雾、燃爆环境下利用物体与环境温度差成像；激光测距模块可以辅助完成抓取目标距离测定；边缘计算平台部署所发明的算法流程；嵌入式处理器完成机械手运动控制，该装置具有轻量化，工作效率高的特点，适宜搭载于特种机器人平台。CN115958605ACN115958605A权利要求书1/5页1.一种单目红外热成像视觉机械手抓取物体姿态估计装置，其特征在于，所述装置搭载于烟雾、燃爆环境下工作的特种机器人所负载的机械手上，所述装置包括：单目红外热成像摄像头，用于在烟雾、燃爆环境中成像，采集红外热成像视觉图像；激光测距模块，搭载于单目红外热成像摄像头底端并配准其测距点和红外图像中心点相重合，用于对抓取物体进行测距；边缘计算平台，用于根据红外成像视觉图像以及测距结果，对抓取的物体进行检测定位、姿态估计以及提取坐标参数，并进行机械手运动路径规划；嵌入式微控制器，用于根据运动规划路径产生控制信号，控制机械手抓取物体。2.根据权利要求1所述的单目红外热成像视觉机械手抓取物体姿态估计装置，其特征在于，所述边缘计算平台包括：标定子模块，用于对单目红外热成像摄像头与机械手进行手眼标定，确定单目红外热成像摄像头与机械手夹持器的位置坐标关系；目标检测子模块，用于基于位置坐标关系，利用红外能量分布注意力红外显著检测网络对机械手所面对的可抓取红外显著性目标进行检测、定位与分割，得到若干个红外显著性目标检测结果；选定目标子模块，用于基于若干个红外显著性目标检测结果，选定当前的抓取目标；坐标提取子模块，用于根据选定的当前抓取目标进行物体姿态估计，获取抓取目标对单目红外摄像头的坐标关系；运动规划子模块，用于根据获取的坐标关系与测距结果进行机械手抓取目标的运动规划。3.根据权利要求2所述的单目红外热成像视觉机械手抓取物体姿态估计装置，其特征在于，所述红外能量分布注意力红外显著检测网络包括编码器和解码器；所述编码器分为第一特征提取阶段、第二特征提取阶段、第三特征提取阶段和第四特征提取阶段4个特征提取阶段，并利用特征图下采样机制，提取4个不同尺度与感受野的红外特征图，在每个特征提取阶段的编码器与解码器中插入红外能量分布增强注意力单元，增强提取的红外特征，得到红外能量分布注意增强特征图，并通过全尺度聚合构架输入解码器的增强红外特征图进行多尺度复用；所述解码器采用第一特征复用融合单元、第二特征复用融合单元、第三特征复用融合单元以及第四特征复用融合单元4个特征复用融合单元融合多尺度增强红外特征图，并通过逐级上采样机制恢复特征图分辨率，得到若干个红外显著性目标检测结果；所述融合多尺度增强红外特征的表达式如下：其中，Ffi'表示解码器中第i'阶段的多尺度融合特征图，i'∈[1..4]，Fused(·)表示解码器中融合模块的融合操作，Fei'、Fej和Fer分别表示第i'、r和j阶段的红外能量分布注意力增强特征图，i',r,j∈[1..4]，Sj(·)表示第j阶段的上采样操作，Dr(·)表示第r阶段的下采样操作。2CN115958605A权利要求书2/5页4.根据权利要求3所述的单目红外热成像视觉机械手抓取物体姿态估计装置，其特征在于，所述第一特征提取阶段包括两个卷积核为3、步长分别为2和1的第一残差块和第二残差块，所述第二残差块带有压缩激发注意力单元；所述第二特征提取阶段包括1个卷积核尺寸为3、步长为1的第三残差块以及1个卷积核尺寸为5、步长为2的第四残差块，所述第四残差块带有压缩激发注意力单元；所述第三特征提取阶段包括2个卷积核尺寸为3、步长为1的第五残差块，以及1个卷积核尺寸为5、步长为2的第六残差块构成，所述第五残差块和第六残差块均带有压缩激发注意力单元；所述第四特征提取阶段包括5个卷积核尺寸为3、步长为1的第七残