用于确定注视区域的方法、车辆控制方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035499A(43)申请公布日2022.09.09(21)申请号202210609672.7G06V10/82(2022.01)(22)申请日2022.05.31G06F3/01(2006.01)(71)申请人上海商汤临港智能科技有限公司地址200232上海市自由贸易试验区临港新片区泥城镇秋山路1775弄29、30号2楼01室(72)发明人龙博谭杰林君仪(74)专利代理机构北京中知恒瑞知识产权代理事务所(普通合伙)11889专利代理师袁忠林(51)Int.Cl.G06V20/59(2022.01)G06V40/18(2022.01)G06V40/16(2022.01)G06V10/80(2022.01)权利要求书3页说明书17页附图4页(54)发明名称用于确定注视区域的方法、车辆控制方法及装置(57)摘要本公开提供了一种用于确定注视区域的方法、车辆控制方法及装置，其中，所述用于确定注视区域的方法包括：获取预定空间内的多个不同视角的图像采集装置同步采集的目标对象的多幅人脸图像；基于至少两幅所述人脸图像，确定所述目标对象的预定人脸关键点的三维位置信息；基于所述多幅人脸图像，确定所述目标对象的融合视线信息；基于所述预定人脸关键点的三维位置信息以及所述融合视线信息，确定所述目标对象在所述预定空间内的注视区域信息。CN115035499ACN115035499A权利要求书1/3页1.一种用于确定注视区域的方法，包括：获取预定空间内的多个不同视角的图像采集装置同步采集的目标对象的多幅人脸图像；基于至少两幅所述人脸图像，确定所述目标对象的预定人脸关键点的三维位置信息；基于所述多幅人脸图像，确定所述目标对象的融合视线信息；基于所述预定人脸关键点的三维位置信息以及所述融合视线信息，确定所述目标对象在所述预定空间内的注视区域信息。2.根据权利要求1所述的方法，其中，所述基于至少两幅所述人脸图像，确定所述目标对象的预定人脸关键点的三维位置信息，包括：针对至少两幅所述人脸图像中的每一幅，进行人脸关键点检测，获得预定人脸关键点在所述人脸图像中的第一位置；基于采集所述人脸图像的图像采集装置的内参和外参，将所述第一位置转换至世界坐标系下获得所述预定人脸关键点的第二位置；融合由至少两幅所述人脸图像获得的预定人脸关键点的第二位置，得到所述预定人脸关键点的三维位置信息。3.根据权利要求1或2所述的方法，其中，所述基于所述多幅人脸图像，确定所述目标对象的融合视线信息，包括：基于多幅所述人脸图像分别进行视线方向检测，并对多幅所述人脸图像的视线方向检测结果进行融合得到融合视线信息。4.根据权利要求3所述的方法，其中，所述基于多幅所述人脸图像分别进行视线方向检测，并对多幅所述人脸图像的视线方向检测结果进行融合得到融合视线信息，包括：针对所述多幅人脸图像中的每一幅进行视线方向检测，获得视线方向检测结果，所述视线方向检测结果包括表征所述目标对象的视线方向的视线向量；基于对多幅所述人脸图像进行视线方向检测获得的多个所述视线向量进行融合，得到所述融合视线信息。5.根据权利要求4所述的方法，其中，所述视线方向检测结果还包括所述视线向量的置信度信息；所述基于对多幅所述人脸图像进行视线方向检测获得的多个所述视线向量进行融合，得到所述融合视线信息，包括：基于所述置信度信息，确定各幅人脸图像的视线向量对应的权重信息；将对多幅所述人脸图像进行视线方向检测获得的所述视线向量按照对应的权重信息进行加权，得到所述融合视线信息。6.根据权利要求4或5所述的方法，其中，所述视线方向检测结果还包括所述人脸图像中目标对象的眼部可见状态；所述基于对多幅所述人脸图像进行视线方向检测获得的多个视线向量进行融合，得到所述融合视线信息，包括：基于多幅所述人脸图像中，对应的眼部可见状态为可见的目标人脸图像的对应的所述视线向量，确定所述融合视线信息。7.根据权利要求4所述的方法，其中，所述基于对多幅所述人脸图像进行视线方向检测2CN115035499A权利要求书2/3页获得的视线向量进行融合，得到所述融合视线信息，包括：基于多幅所述人脸图像分别对应的以下至少一项确定各幅所述人脸图像对应的权重信息：图像采集装置的位置、目标对象在人脸图像中的头部角度、像清晰度、目标对象的眼部可见状态；将对多幅所述人脸图像进行视线方向检测获得的视线向量按照对应的权重信息进行加权融合，确定所述融合视线信息。8.根据权利要求1或2所述的方法，其中，所述基于所述多幅人脸图像，确定所述目标对象的融合视线信息，包括：将所述多幅所述人脸图像输入视线检测模型，得到所述目标对象的融合视线信息；其中，所述视线检测模型预先基于包含同一对象的多个不同视角的人脸图像的数据集训练得到。9.根据