一种汽车座舱的音乐交互方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115497149A(43)申请公布日2022.12.20(21)申请号202211293690.5G06N3/08(2006.01)(22)申请日2022.10.21G11B31/00(2006.01)(71)申请人浙江吉利控股集团有限公司地址310000浙江省杭州市滨江区江陵路1760号申请人吉利汽车研究院（宁波）有限公司(72)发明人杜思军郭尧(74)专利代理机构上海光华专利事务所(普通合伙)31219专利代理师林安安(51)Int.Cl.G06V40/16(2022.01)G06V40/20(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书2页说明书9页附图3页(54)发明名称一种汽车座舱的音乐交互方法(57)摘要本发明属于人车交互技术领域，具体涉及一种汽车座舱的音乐交互方法，包括：获取图像数据；对所述图像数据进行分割，得到原始帧数据集；通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹；通过面部识别神经网络依次对所述原始帧数据集进行识别，以得到用户的人脸特征；通过动态手势识别算法依次对所述原始帧数据集进行识别，以得到用户的手势特征；根据所述用户的身体和肢体行为特征和运动轨迹、人脸特征以及手势特征输出对应的音乐控制指令。本发明通过视觉手段，识别用户的面部属性，如视线方向，面部表情，眉毛动作等，手臂方位，手掌动作等，增强用户同座舱的互动。CN115497149ACN115497149A权利要求书1/2页1.一种汽车座舱的音乐交互方法，其特征在于，包括：获取图像数据；对所述图像数据进行分割，得到原始帧数据集；通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹；通过面部识别神经网络依次对所述原始帧数据集进行识别，以得到用户的人脸特征；通过动态手势识别算法依次对所述原始帧数据集进行识别，以得到用户的手势特征；根据所述用户的身体和肢体行为特征和运动轨迹、人脸特征以及手势特征输出对应的音乐控制指令。2.根据权利要求1所述的汽车座舱的音乐交互方法，其特征在于，所述通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹的步骤包括：通过所述骨架动作识别系列算法中的2D动作识别算法依次对所述原始帧数据集进行提取，得到每一帧人像数据的2D动作信息和平面坐标；整合所有所述2D动作信息并将其输入到所述骨架动作识别系列算法中的3D动作识别网络中，得到所述用户的身体和肢体的行为特征；整合所有所述平面坐标，并根据所述原始帧数据集中的环境数据得到所述用户的身体和肢体的运动轨迹。3.根据权利要求2所述的汽车座舱的音乐交互方法，其特征在于，所述通过所述骨架动作识别系列算法中的2D动作识别算法依次对所述原始帧数据集进行提取，得到每一帧人像数据的2D动作信息和平面坐标的步骤包括：将所述原始帧数据集输入至训练好的HRNet网络中，得到人像数据的骨骼关键点以及平面坐标；通过ST‑GCN神经网络对所述骨骼的关键点关联并识别，得到对应的2D动作信息。4.根据权利要求2所述的汽车座舱的音乐交互方法，其特征在于，所述整合所有所述2D动作信息并将其输入到所述骨架动作识别系列算法中的3D动作识别网络中，得到所述用户的身体和肢体的行为特征的步骤包括：将所述2D动作信息输入至PoseC3D或3D‑CNN模型中识别，得到用户的身体和肢体行为特征。5.根据权利要求2所述的汽车座舱的音乐交互方法，其特征在于，所述整合所有所述平面坐标，并根据所述原始帧数据集中的环境数据得到所述用户的身体和肢体的运动轨迹的步骤包括：根据所述原始帧数据集中的环境数据与实时环境信息生成环境3D模型；通过所述环境3D模型将所述平面坐标转换成空间坐标；整合所有所述空间坐标得到所述用户的身体和肢体的运动轨迹。6.根据权利要求1所述的汽车座舱的音乐交互方法，其特征在于，所述面部识别神经网络采用AlexNet卷积神经网络。7.根据权利要求1所述的汽车座舱的音乐交互方法，其特征在于，所述通过动态手势识别算法依次对所述原始帧数据集进行识别，以得到用户的手势特征的步骤包括：2CN115497149A权利要求书2/2页根据用户的肤色分离干扰信息，得到用户皮肤裸露部分的特征数据；通过形态学灰度运算抹除所述特征数据中面部特征，得到中间特征数据；通过基于标记的分水岭分隔算法和八连通种子填充算法对所述中间特征数据进行分割，得到目标特征数据即手势信息；将所述目标特征数据输入至预设好的手势模型中识别，得到所述用户的手势特征。8.一种汽车座舱的音乐交互系统，其特征在于，包括：信息采集模块，用于