手势识别模型训练方法、手势识别方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115439883A(43)申请公布日2022.12.06(21)申请号202210956575.5(22)申请日2022.08.10(71)申请人西北大学地址710069陕西省西安市太白北路229号(72)发明人陈晓江雒咪娜宋凤仪王晓静李欣怡冯超李珂房鼎益(74)专利代理机构西安恒泰知识产权代理事务所61216专利代理师周春霞(51)Int.Cl.G06V40/10(2022.01)G06V10/40(2022.01)G06V10/774(2022.01)权利要求书2页说明书8页附图6页(54)发明名称手势识别模型训练方法、手势识别方法及装置(57)摘要本申请涉及一种手势识别模型训练方法，包括：构建特征提取网络框架；基于特征提取网络框架构建全局模型、至少一个局部模型和至少一个新域模型；基于全局模型的参数和局部手势训练数据训练局部模型，以更新局部模型的参数；基于全局模型的参数和个性化手势训练数据训练新域模型，以更新新域模型的参数；基于更新后的局部模型的参数和更新后的新域模型的参数更新全局模型的参数。本申请的手势识别模型训练方法至少具有以下有益技术效果之一：能够得到泛化的跨域通用手势识别模型和多个个性化的局部模型，进而提高跨域高精度的目标手势识别率，并减少集中收集数据的代价。CN115439883ACN115439883A权利要求书1/2页1.一种手势识别模型训练方法，包括：构建特征提取网络框架；基于所述特征提取网络框架构建全局模型、至少一个局部模型和至少一个新域模型；基于所述全局模型的参数和局部手势训练数据训练所述局部模型，以更新所述局部模型的参数；基于所述全局模型的参数和个性化手势训练数据训练所述新域模型，以更新所述新域模型的参数；基于更新后的局部模型的参数和更新后的新域模型的参数更新所述全局模型的参数；重复训练所述局部模型、训练所述新域模型以及更新所述全局模型的参数的过程，当所述全局模型趋于收敛时，得到更新后的全局模型、至少一个训练后的局部模型和至少一个训练后的新域模型。2.如权利要求1所述的方法，其中，所述特征提取网络包括依次连接的卷积神经网络、循环神经网络和全连接神经网络。3.如权利要求1所述的方法，其中，所述基于所述全局模型的参数和局部手势训练数据训练所述局部模型，以更新所述局部模型的参数，包括：下载所述全局模型的参数，更新所述局部模型的参数；基于所述局部手势训练数据训练所述局部模型，更新所述局部模型的参数。4.如权利要求1所述的方法，其中，所述基于所述全局模型的参数和个性化手势训练数据训练所述新域模型，以更新所述新域模型的参数，包括：下载所述全局模型的参数，更新所述新域模型的参数；基于所述个性化手势训练数据训练所述新域模型，更新所述新域模型的参数。5.如权利要求1所述的方法，其中，所述方法还包括初始化所述全局模型，包括：基于初始化训练数据训练所述全局模型，得到所述全局模型的初始参数。6.一种手势识别方法，包括：应用权利要求1所述的方法得到更新后的全局模型、训练后的新域模型；下载所述更新后的全局模型的参数；根据所述更新后的全局模型的参数更新所述训练后的新域模型的参数；基于个性化手势训练数据再次训练所述训练后的新域模型，得到二次训练后的新域模型；将待识别手势数据输入到所述二次训练后的新域模型，得到手势识别结果。7.一种手势识别方法，包括：应用权利要求1所述方法得到更新后的全局模型；下载所述更新后的全局模型的参数；根据所述更新后的全局模型的参数更新重构新域模型的参数；基于所述重构新域模型对应的个性化手势训练数据训练所述重构新域模型，得到训练后的重构新域模型；将待识别手势数据输入到所述训练后的重构新域模型，得到手势识别结果。8.一种手势识别模型训练装置，包括：网络框架构建模块，被配置为用于构建特征提取网络框架；2CN115439883A权利要求书2/2页模型构建模块，被配置为用于基于所述特征提取网络框架构建全局模型、至少一个局部模型和至少一个新域模型；模型训练模块，被配置为用于基于所述特征提取网络框架构建全局模型、至少一个局部模型和至少一个新域模型；基于所述全局模型的参数和局部手势训练数据训练所述局部模型，以更新所述局部模型的参数；基于所述全局模型的参数和个性化手势训练数据训练所述新域模型，以更新所述新域模型的参数；基于更新后的局部模型的参数和更新后的新域模型的参数更新所述全局模型的参数；重复训练所述局部模型、训练所述新域模型以及更新所述全局模型的参数的过程，当所述全局模型趋于收敛时，得到更新后的全局模型、至少一个训练后的局部模型和至少一个训练后的新域模型。9.如权利要求8所述的装置，其中，所述模型训练模块，还被配置为：下载所述全局模型的参数，更新所述局部模型