一种机械手臂的控制方法、装置和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114986504A(43)申请公布日2022.09.02(21)申请号202210624299.2(22)申请日2022.06.02(71)申请人中国科学院上海微系统与信息技术研究所地址200050上海市长宁区长宁路865号(72)发明人陶虎刘孟玮王佳创秦楠(74)专利代理机构广州三环专利商标代理有限公司44202专利代理师苗芬芬(51)Int.Cl.B25J9/16(2006.01)G06V20/40(2022.01)权利要求书3页说明书13页附图6页(54)发明名称一种机械手臂的控制方法、装置和系统(57)摘要本申请涉及人工智能技术领域，特别涉及一种机械手臂的控制方法、装置和系统；控制方法包括：获取目标区域内的第一数据对；第一数据对包括第一触觉数据以及第一嗅觉数据；基于第一触觉数据以及第一嗅觉数据进行对象识别，得到第一对象识别结果；在第一对象识别结果指示目标区域内存在目标对象的情况下，确定目标对象的对象掩埋状态；基于目标对象的对象掩埋状态，确定机械手臂的工作模式；本申请中通过采用第一数据对进行对象识别，提高机械手臂识别智能系统的精确性，从而以使机械手臂能够基于精准的识别结果进行工作模式选择，从而提高机械手臂的救援智能性和救援准确性。CN114986504ACN114986504A权利要求书1/3页1.一种机械手臂的控制方法，其特征在于，包括：获取目标区域内的第一数据对；所述第一数据对包括第一触觉数据以及第一嗅觉数据；基于所述第一触觉数据以及所述第一嗅觉数据进行对象识别，得到第一对象识别结果；在所述第一对象识别结果指示所述目标区域内存在目标对象的情况下，确定所述目标对象的对象掩埋状态；基于所述目标对象的对象掩埋状态，确定机械手臂的工作模式。2.根据权利要求1所述的一种机械手臂的控制方法，其特征在于，所述基于所述第一触觉数据以及所述第一嗅觉数据进行对象识别，得到第一对象识别结果，包括：基于对象识别模型的特征提取层分别对所述第一触觉数据以及所述第一嗅觉数据进行特征提取，得到第一触觉特征信息，以及第一嗅觉特征信息；基于所述目标区域内的环境信息，确定与所述第一触觉特征信息对应的第一权重，以及与所述第一嗅觉特征信息对应的第二权重；基于所述第一权重对所述第一触觉特征信息进行加权，得到第一加权特征信息，基于所述第二权重对所述第一嗅觉特征信息进行加权，得到第二加权特征信息；基于所述对象识别模型的特征融合层，对所述第一加权特征信息以及所述第二加权特征信息进行特征融合，得到所述第一对象识别结果。3.根据权利要求1所述的一种机械手臂的控制方法，其特征在于，所述第一触觉数据包括多个通道的触觉数据；所述在所述第一对象识别结果指示所述目标区域内存在目标对象的情况下，确定所述目标对象的对象掩埋状态，包括：基于各个通道的触觉数据进行触感识别，得到与所述各个通道对应的触感识别结果；基于所述各个通道对应的触感识别结果，确定与目标对象触感识别结果对应的第一通道数量，以及与非目标对象触感识别结果对应的第二通道数量；基于所述第一通道数量以及所述第二通道数量，确定所述目标对象的对象掩埋状态。4.根据权利要求1所述的一种机械手臂的控制方法，其特征在于，所述基于所述目标对象的对象掩埋状态，确定机械手臂的工作模式，包括：在所述目标对象的对象掩埋状态为被掩埋状态的情况下，确定所述机械手臂的工作模式为第一工作模式；所述第一工作模式用于将所述目标对象从所述被掩埋状态转换为未被掩埋状态。5.根据权利要求4所述的一种机械手臂的控制方法，其特征在于，所述基于所述目标对象的对象掩埋状态，确定机械手臂的工作模式之后，所述方法还包括：在所述机械手臂的工作模式为所述第一工作模式的情况下，获取第二数据对；所述第二数据对包括第二触觉数据以及第二嗅觉数据；所述第二数据对为所述机械手臂在触碰待识别对象的情况下获取的；基于所述第二触觉数据以及所述第二嗅觉数据进行对象识别，得到第二对象识别结果；在所述第二对象识别结果指示所述机械手臂触碰到非目标对象的情况下，从所述目标对象上移除所述非目标对象。2CN114986504A权利要求书2/3页6.根据权利要求1所述的一种机械手臂的控制方法，其特征在于，所述方基于所述目标对象的对象掩埋状态，确定机械手臂的工作模式，包括：在所述目标对象的对象掩埋状态为未被掩埋状态的情况下，确定所述机械手臂的工作模式为第二工作模式；所述第二工作模式用于将所述目标对象转移至预设的安全区域。7.根据权利要求6所述的一种机械手臂的控制方法，其特征在于，所述基于所述目标对象的对象掩埋状态，确定机械手臂的工作模式之后，所述方法还包括：在所述机械手臂的工作模式为所述第二工作模式的情况下，基于所述机械手臂获取目标对象所在区域内的第三