基于视线估计的目标注视识别方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113947804A(43)申请公布日2022.01.18(21)申请号202111047180.5G06V10/40(2022.01)(22)申请日2021.09.08G06V10/82(2022.01)G06N3/04(2006.01)(71)申请人合肥工业大学G06N3/08(2006.01)地址230009安徽省合肥市包河区屯溪路193号申请人合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）(72)发明人孙晓高升汪萌(74)专利代理机构北京久诚知识产权代理事务所(特殊普通合伙)11542代理人余罡(51)Int.Cl.G06V40/18(2022.01)G06V40/19(2022.01)G06V40/16(2022.01)权利要求书2页说明书8页附图2页(54)发明名称基于视线估计的目标注视识别方法及系统(57)摘要本发明提供一种基于视线估计的目标注视识别方法及系统，涉及目标注视预测技术领域。本发明提取原图像和原图像的翻转图像的脸部特征和头部位置特征后，将脸部特征和头部位置特征通过特征拼接获得二维特征，然后基于二维特征获取注视视线区域的特征图，最后基于注视视线区域特征图和原图像，利用基于BoTNet网络的特征金字塔网络，获取注视热力图，从而实现图像中人物目标注视的识别和检测。本发明不受限于应用场景的限制，硬件条件约束较少，实际操作时简单方便，且目标注视识别和检测结果准确。CN113947804ACN113947804A权利要求书1/2页1.一种基于视线估计的目标注视识别方法，其特征在于，所述方法包括：提取原图像中的脸部特征和头部位置特征；所述脸部特征包括原图像中的脸部特征和原图像经过翻转后的翻转脸部特征；将所述脸部特征和头部位置特征通过特征拼接获得二维特征；基于所述二维特征获取注视视线区域的特征图；基于所述注视视线区域特征图和原图像，利用基于BoTNet网络的特征金字塔网络获取注视热力图；所述BoTNet网络为利用多头Self‑Attention替换ResNet网络中的3x3convolution后的网络。2.如权利要求1所述的方法，其特征在于，所述提取原图像中的脸部特征包括：利用ResNet模型提取原图像中的脸部特征。3.如权利要求2所述的方法，其特征在于，所述利用ResNet模型提取原图像中的脸部特征包括：S11、将原图像中眼睛坐标加减0.15得到脸部坐标，然后根据脸部坐标裁剪得到脸部图像；S12、利用ResNet模型基于脸部图像提取原图像中的脸部特征；S13、将原图像经过水平翻转后获取原图像的翻转图像，并将翻转图像经过所述S11和S12步骤提取翻转脸部特征。4.如权利要求1所述的方法，其特征在于，所述基于所述注视视线区域特征图和原图像，利用基于BoTNet网络的特征金字塔网络获取注视热力图；所述BoTNet网络为利用多头Self‑Attention替换ResNet网络中的3x3convolution后的网络包括：利用多头Self‑Attention替换ResNet网络中的3x3convolution后得到BoTNet网络，并将注视视线区域特征图和原图像一同送入以BoTNet网络为主干网络的特征金字塔网络的Heatmappathway中，生成注视热力图。5.如权利要求1所述的方法，其特征在于，所述方法还包括：在获取注视热力图之前对基于BoTNet网络的特征金字塔网络进行训练。6.一种基于视线估计的目标注视识别系统，其特征在于，所述系统包括：特征提取模块，用于提取原图像中的脸部特征和头部位置特征；所述脸部特征包括原图像中的脸部特征和原图像经过翻转后的翻转脸部特征；特征拼接模块，用于将所述脸部特征和头部位置特征通过特征拼接获得二维特征；视线区域特征图获取模块，用于基于所述二维特征获取注视视线区域的特征图；注视热力图获取模块，用于基于所述注视视线区域特征图和原图像，利用基于BoTNet网络的特征金字塔网络获取注视热力图；所述BoTNet网络为利用多头Self‑Attention替换ResNet网络中的3x3convolution后的网络。7.如权利要求6所述的系统，其特征在于，所述特征提取模块提取原图像中的脸部特征包括：利用ResNet模型提取原图像中的脸部特征。8.如权利要求7所述的系统，其特征在于，所述特征提取模块利用ResNet模型提取原图像中的脸部特征包括：S11、将原图像中眼睛坐标加减0.15得到脸部坐标，然后根据脸部坐标裁剪得到脸部图2CN113947804A权利要求书2/2页像；S12、利用ResNet模型基于脸部图像提取原图像中的脸部特征；S13、将原图像经过水平翻转后获取原图像的翻转图像，并将翻转图像经过所述S1