一种车辆的开门动作识别方法、装置以及处理设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113901895A(43)申请公布日2022.01.07(21)申请号202111110284.6(22)申请日2021.09.18(71)申请人武汉未来幻影科技有限公司地址430074湖北省武汉市东湖新技术开发区光谷二路219号鼎杰孵化园4栋301室(72)发明人姜英豪朱星(74)专利代理机构北京众达德权知识产权代理有限公司11570代理人张晓冬(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书12页附图3页(54)发明名称一种车辆的开门动作识别方法、装置以及处理设备(57)摘要本申请提供了一种车辆的开门动作识别方法、装置以及处理设备，用于高效且高精度地识别车辆的开门动作，提供强有力的数据依据。方法包括：处理设备获取在车辆内部采集到的初始监控视频；处理设备对初始监控视频包含的每个视频帧进行人脸识别处理；处理设备筛选出相较于前N个的视频帧存在人脸摆动幅度大于预设幅度的人脸识别结果，并将对应的视频帧确定为起始视频帧；处理设备将多个人脸识别结果对应的最后一个视频帧的下一个视频帧确定为结束视频帧；处理设备以起始视频帧为起点、以结束视频帧为终点，确定视频帧集合，并对视频帧集合中的每个视频帧进行开门动作识别处理；处理设备根据多个初始开门动作识别结果，确定目标开门动作识别结果。CN113901895ACN113901895A权利要求书1/2页1.一种车辆的开门动作识别方法，其特征在于，所述方法包括：处理设备获取在车辆内部采集到的初始监控视频，所述初始监控视频是通过部署在所述车辆内部的摄像头采集得到的；所述处理设备对所述初始监控视频包含的每个视频帧进行人脸识别处理，得到多个人脸识别结果，所述多个人脸识别结果对应连续的视频帧；所述处理设备对所述多个人脸识别结果，筛选出相较于前N个的视频帧存在人脸摆动幅度大于预设幅度的人脸识别结果，并将对应的视频帧确定为起始视频帧；所述处理设备将所述多个人脸识别结果对应的最后一个视频帧的下一个视频帧确定为结束视频帧；所述处理设备以所述起始视频帧为起点、以所述结束视频帧为终点，确定视频帧集合，并对所述视频帧集合中的每个视频帧进行开门动作识别处理；所述处理设备根据所述视频帧集合中的每个视频帧得到的多个初始开门动作识别结果，确定目标开门动作识别结果。2.根据权利要求1所述的方法，其特征在于，所述处理设备对所述视频帧集合中的每个视频帧进行开门动作识别，包括：所述处理设备将所述视频帧集合中的每个视频帧依次输入目标神经网络模型，使得所述目标神经网络模型对输入的视频帧进行开门动作识别处理，所述目标神经网络是通过标注有对应开门动作识别结果的视频帧训练MobileNetV3模型得到的。3.根据权利要求2所述的方法，其特征在于，在训练的过程中，包括：在所述MobileNetV3模型中调整多个MobileBlock模型结构中的卷积层的通道数以及对所述MobileNetV3模型中的模型结构进行剪枝处理，完成模型的优化改进。4.根据权利要求1所述的方法，其特征在于，所述处理设备根据所述视频帧集合中的每个视频帧得到的多个初始开门动作识别结果，确定目标开门动作识别结果，包括：所述处理设备检测所述多个初始开门动作识别结果中是否包含连续的、不小于预设数量的目标开门动作识别结果；若是，则所述处理设备确定所述目标开门动作识别结果。5.根据权利要求1所述的方法，其特征在于，所述人脸识别处理和/或所述开门动作识别处理，由所述处理设备配置的人工智能AI加速单元执行。6.根据权利要求1所述的方法，其特征在于，所述开门动作识别结果包括左手开门识别结果、右手开门识别结果或者双手开门识别结果。7.根据权利要求1所述的方法，其特征在于，所述确定目标开门动作识别结果之后，所述方法还包括：所述处理设备结合所述目标开门动作识别结果，以及所述车辆在当前驾考场景中除所述目标开门动作识别结果以外的驾考数据，生成并输出所述车辆的驾考结果；或者，所述处理设备将所述目标开门动作识别结果输出至所述当前驾考场景涉及的计算设备，使得所述计算设备根据所述目标开门动作识别结果，以及所述车辆在所述当前驾考场景中除所述开门动作识别结果以外的驾考数据，生成并输出所述车辆的驾考结果。8.一种车辆的开门动作识别装置，其特征在于，所述装置包括：2CN113901895A权利要求书2/2页获取单元，用于获取在车辆内部采集到的初始监控视频，所述初始监控视频是通过部署在所述车辆内部的摄像头采集得到的；人脸识别单元，用于对所述初始监控视频包含的每个视频帧进行人脸识别处理，得到多个人脸识别结果，所述多个人脸识