辅助驾驶方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113989757A(43)申请公布日2022.01.28(21)申请号202111249760.2G06V10/82(2022.01)(22)申请日2021.10.26G06K9/62(2022.01)G06N3/04(2006.01)(71)申请人京东鲲鹏(江苏)科技有限公司G06N3/08(2006.01)地址215500江苏省苏州市常熟市东南街道云深路2号(72)发明人徐鑫(74)专利代理机构北京品源专利代理有限公司11332代理人陈金忠(51)Int.Cl.G06V20/56(2022.01)G06V20/59(2022.01)G06V10/44(2022.01)G06V10/764(2022.01)G06V10/80(2022.01)权利要求书2页说明书12页附图6页(54)发明名称辅助驾驶方法、装置、电子设备及存储介质(57)摘要本发明实施例公开了一种辅助驾驶方法、装置、电子设备及存储介质，该方法包括：获取目标车辆所属环境的外部环境视频，以及与目标车辆相对应的目标用户视频；基于预先构建的双向神经网络分别对所获取的视频进行处理，得到待处理外部环境特征序列和待处理用户特征序列；将上述待处理的特征序列分别输入至预先构建的时间卷积网络中，得到待融合外部环境特征序列和待融合用户特征序列；基于待融合的特征序列确定与目标车辆相对应的目标特征序列，以基于目标特征序列确定与所述目标车辆相对应的目标用户的驾驶意图。本发明实施例的技术方案，在驾驶意图预测过程中实现了对车内外特征信息的综合考量，同时增强了驾驶意图预测框架的稳定性。CN113989757ACN113989757A权利要求书1/2页1.一种辅助驾驶方法，其特征在于，包括：获取目标车辆所属环境的外部环境视频，以及与所述目标车辆相对应的目标用户视频；基于预先构建的双向神经网络分别对所述外部环境视频和目标用户视频进行处理，得到待处理外部环境特征序列和待处理用户特征序列；将所述待处理外部环境特征序列和所述待处理目标用户特征序列分别输入至预先构建的时间卷积网络中，得到待融合外部环境特征序列和待融合用户特征序列；基于所述待融合外部环境特征序列和待融合用户特征序列，确定与所述目标车辆相对应的目标特征序列，以基于所述目标特征序列确定与所述目标车辆相对应的目标用户的驾驶意图，以基于所述驾驶意图辅助驾驶。2.根据权利要求1所述的方法，其特征在于，所述获取目标车辆所属环境的外部环境视频，以及与所述目标车辆相对应的目标用户视频，包括：基于设置在所述目标车辆上的视觉传感器采集所述目标车辆周围环境的外部环境视频；其中，所述外部环境视频中包括其他车辆以及行人；基于设置在所述目标车辆的图像采集装置采集目标用户的用户视频，以及基于车辆属性信息采集传感器采集所述目标车辆的车辆属性信息；根据所述用户视频和所述车辆属性信息，确定所述目标用户视频。3.根据权利要求1所述的方法，其特征在于，所述双向神经网络包括长短时记忆网络和条件随机场，所述基于预先构建的双向神经网络分别对所述外部环境视频和目标用户视频进行处理，得到待处理外部环境特征序列和待处理用户特征序列，包括：基于所述长短时记忆网络对所述外部环境视频的每个视频帧进行处理，得到与每个视频帧相对应的环境视频特征；以及，基于所述长短时记忆网络对所述目标用户视频的每个视频帧进行处理，得到与每个视频帧相对应的用户视频特征；基于所述条件随机场分别对各视频帧的环境视频特征和用户视频特征进行处理，得到所述待处理外部环境特征序列和待处理用户特征序列。4.根据权利要求1所述的方法，其特征在于，所述将所述待处理外部环境特征序列和所述待处理目标用户特征序列分别输入至预先构建的时间卷积网络中，得到待融合外部环境特征序列和待融合用户特征序列，包括：基于预先构建的时间卷积网络中的膨胀因子分别对待处理外部环境特征序列和待处理目标用户特征序列进行处理，得到待融合外部环境特征序列和待融合用户特征序列。5.根据权利要求1所述的方法，其特征在于，所述将所述待处理外部环境特征序列和所述待处理目标用户特征序列分别输入至预先构建的时间卷积网络中，得到待融合外部环境特征序列和待融合用户特征序列，包括：根据预先设置的间隔周期，从所述待处理外部环境特征序列中抽取多个待使用环境特征序列，以及从待处理目标用户特征序列中抽取多个待使用用户特征序列；将所述多个待使用环境特征序列输入至时间卷积网络中，输出与所述多个待使用环境序列相对应的环境高阶特征序列，并将所述环境高阶特征序列作为待融合外部环境特征序列；将所述多个待使用用户特征序列输入至时间卷积网路中，输出与所述待使用用户特征2CN113989757A权利要求书2/2页序列相对应的用户高阶特征序