一种基于伪标签的视线估计方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114973356A(43)申请公布日2022.08.30(21)申请号202210484571.1(22)申请日2022.05.06(71)申请人中国科学院上海微系统与信息技术研究所地址200050上海市长宁区长宁路865号(72)发明人李嘉茂车何框亿朱冬晨林敏静李航张晓林(74)专利代理机构上海泰博知识产权代理有限公司31451专利代理师钱文斌(51)Int.Cl.G06V40/16(2022.01)G06V40/18(2022.01)G06V10/774(2022.01)G06V10/764(2022.01)权利要求书1页说明书4页附图1页(54)发明名称一种基于伪标签的视线估计方法(57)摘要本发明涉及一种基于伪标签的视线估计方法，包括以下步骤：获取面部图像；将所述面部图像输入至训练好的视线评估模型中进行预测得到预测视线；其中，所述视线评估模型在训练时，使用少量有标签的真实训练集对模型进行训练，得到预训练模型，根据增加了随机失活层的所述预训练模型对无标签的数据打上伪标签，计算所述伪标签的不确定值，并保留所述不确定值小于阈值的伪标签对应的数据，将保留的伪标签对应的数据和真实训练集一起重新训练模型，如此循环迭代直至训练完毕，得到所述视线评估模型。本发明大大减轻了视线估计对人工标签的依赖性。CN114973356ACN114973356A权利要求书1/1页1.一种基于伪标签的视线估计方法，其特征在于，包括以下步骤：获取面部图像；将所述面部图像输入至训练好的视线评估模型中进行预测得到预测视线；其中，所述视线评估模型在训练时，使用少量有标签的真实训练集对模型进行训练，得到预训练模型，根据增加了随机失活层的所述预训练模型对无标签的数据打上伪标签，计算所述伪标签的不确定值，并保留所述不确定值小于阈值的伪标签对应的数据，将保留的伪标签对应的数据和真实训练集一起重新训练模型，如此循环迭代直至训练完毕，得到所述视线评估模型。2.根据权利要求1所述的基于伪标签的视线估计方法，其特征在于，所述根据增加了随机失活层的所述预训练模型对无标签的数据打上伪标签具体为：将同一个无标签的数据多次输入打开随机失活层的所述预训练模型中得到的多个伪标签。3.根据权利要求2所述的基于伪标签的视线估计方法，其特征在于，所述计算所述伪标签的不确定值具体为：计算多个伪标签的均值，将所述均值作为所述无标签的数据的视线伪标签；计算多个所述伪标签的标准差，将所述标准差作为所述伪标签的不确定值。4.根据权利要求1所述的基于伪标签的视线估计方法，其特征在于，所述模型的损失函数为：其中，是模型对真实训练集图像的预测结果，ytrain是真实训练集的真实标签，是模型对伪标签数据的预测结果，ypseudo是保留的伪标签，α是伪标签数据的权重信息。5.根据权利要求1所述的基于伪标签的视线估计方法，其特征在于，所述视线评估模型包括：主干网络，用于从所述面部图像中提取出特征表示；全连接层，用于从所述特征表示中回归出预测视线；在对无标签的数据打上伪标签时，所述随机失活层设置在所述主干网络和全连接层之间。2CN114973356A说明书1/4页一种基于伪标签的视线估计方法技术领域[0001]本发明涉及视线估计技术领域，特别是涉及一种基于伪标签的视线估计方法。背景技术[0002]视线估计方法可以分为基于模型的方法和基于表观的方法，基于模型的方法从人眼或人脸图像中计算关键点，结合三维人眼模型预测视线；基于表观的方法直接从人眼或人脸图像中提取特征以预测视线。基于模型的方法准确率高，但依赖于红外相机等专业设备，通常局限于室内场景；基于表观的方法不依赖于专业设备，在室内室外场景都适用，但准确率相对较低。[0003]得益于深度学习的发展，基于表观的深度学习方法在精度上有了巨大的提升，已经超越了传统机器学习的方法，但是深度学习依赖于大规模的数据集，现有的视线估计数据集场景单一，图像数量相对较少，制约了算法性能的进一步提升，如何在现有数据集上生成更多的有标签数据成了研究重点。[0004]直观的想法就是给无标签的数据打上伪标签，这样就能以较低的代价得到大量有标签数据。Ghosh等人先检测出眼部关键点，然后使用关键点结合人眼三维模型估计视线伪标签；这种方法严重依赖于眼部关键点检测算法，而且不同人的眼部生理结构存在差异，用同一个人眼模型无法兼顾个体的差异。Kothari等人利用人在交谈时相互看着对方的特性，设计了眼部视线的伪标签，但是这些方法依赖于特定场景，无法保证交谈者时刻盯着对方。[0005]Cheng等人首次将VisionTransformer(ViT)引入到视线估计领域，他们首先用残差网络提取面部图像的特征图，然后将特征图作为transforme