乘员状态检测方法及装置、电子设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114495072A(43)申请公布日2022.05.13(21)申请号202210112957.X(22)申请日2022.01.29(71)申请人上海商汤临港智能科技有限公司地址200232上海市自由贸易试验区临港新片区泥城镇秋山路1775弄29、30号2楼01室(72)发明人陈筱范亦卿陶莹许亮(74)专利代理机构北京林达刘知识产权代理事务所(普通合伙)11277专利代理师刘新宇(51)Int.Cl.G06V20/59(2022.01)G06V40/20(2022.01)G06V10/74(2022.01)G06K9/62(2022.01)权利要求书2页说明书13页附图5页(54)发明名称乘员状态检测方法及装置、电子设备和存储介质(57)摘要本公开涉及一种乘员状态检测方法及装置、电子设备和存储介质，通过获取至少一个包括至少两张二维场景图像的二维场景图像组和车辆内部的目标三维空间，每个二维场景图像组通过车辆内部至少两个图像采集装置在同一时刻采集得到。根据目标三维空间对每个二维场景图像组进行身体特征点匹配，得到身体特征点在目标三维空间中的位置的三维特征信息。根据至少一个身体特征点的三维特征信息检测对应乘员的状态。本公开实施例能够通过多个图像采集装置采集车辆内部场景，解决单个图像采集装置采集场景存在盲区的问题。同时，还通过多个车辆内场景的三维特征信息确定乘员在车内的运动情况，以实现对乘员状态进行检测。CN114495072ACN114495072A权利要求书1/2页1.一种乘员状态检测方法，包括：获取至少一个二维场景图像组，每个所述二维场景图像组包括至少两张二维场景图像，每个所述二维场景图像组通过车辆内部至少两个图像采集装置在同一时刻采集得到；确定所述车辆内部的目标三维空间；根据所述目标三维空间对每个所述二维场景图像组进行身体特征点匹配，得到所述身体特征点的三维特征信息，所述三维特征信息用于表征车辆内部乘员的身体特征点在所述目标三维空间中的位置；根据至少一个所述身体特征点的三维特征信息检测对应的乘员的状态。2.根据权利要求1所述的方法，其中，所述根据所述目标三维空间对每个所述二维场景图像组进行身体特征点匹配，得到所述身体特征点的三维特征信息包括：提取所述二维场景图像组中的每个二维场景图像中身体特征点；基于提取出的所述身体特征点，对每个所述二维场景图像组中的至少两个所述二维场景图像进行身体特征点匹配，得到至少一个身体特征点组；确定每个所述身体特征点组在所述目标三维空间对应的三维特征点；根据同一时刻每个所述三维特征点得到所述身体特征点对应的三维特征信息。3.根据权利要求2所述的方法，其中，所述确定每个所述身体特征点组在所述目标三维空间对应的三维特征点包括：对于每个所述特征点组，确定采集其中每个身体特征点对应二维场景图像的图像采集装置的外参；根据每个所述身体特征点对应图像采集装置的外参和在所述二维场景图像中的位置确定在所述目标三维空间中的映射线；确定每个所述身体特征点组中至少两个所述身体特征点的映射线交点为三维特征点。4.根据权利要求1‑3中任一项所述的方法，其中，所述根据至少一个所述身体特征点的三维特征信息检测对应的乘员的状态包括：根据至少一个所述身体特征点对应的三维特征信息确定所述乘员的三维动作；根据所述三维动作对至少一个所述乘员进行状态检测。5.根据权利要求4所述的方法，其中，所述根据至少一个所述身体特征点的三维特征信息检测对应的乘员的状态包括：根据由时序连续的多个二维场景图像组分别确定的所述至少一个所述身体特征点在预定时间段内的三维特征信息，检测对应的乘员的动态动作；根据所述动态动作确定所述乘员的状态。6.根据权利要求4或5所述的方法，其中，所述状态检测包括手势检测和疲劳检测中至少一种。7.根据权利要求1‑6中任一项所述的方法，其中，所述根据所述目标三维空间对每个所述二维场景图像组进行身体特征点匹配，得到所述身体特征点的三维特征信息，包括：对每一个所述二维场景图像组中的第一二维场景图像和第二二维场景图像，响应于第一二维场景图像中的目标身体特征点在第二二维场景图像中不存在匹配的身体特征点，根据所述第一二维场景图像中的目标身体特征点的特征信息，确定所述目标身体特征点的三维特征信息。2CN114495072A权利要求书2/2页8.根据权利要求7所述的方法，其中，所述根据所述第一二维场景图像中的目标身体特征点的特征信息，确定所述目标身体特征点的三维特征信息，包括：根据所述第一二维场景图像中的目标身体特征点的特征信息，以及所述目标身体特征点的邻近身体特征点的三维特征信息，估计所述目标身体特征点的三维特征信息。9.根据权利要求1‑6中任一项所述的方法，其中，所述至少两个图像采集