视线预测方法、装置、系统和可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110008835A(43)申请公布日2019.07.12(21)申请号201910163152.6(22)申请日2019.03.05(71)申请人成都旷视金智科技有限公司地址611730四川省成都市郫都区德源镇(菁蓉镇)红旗大道北段223号申请人北京旷视科技有限公司(72)发明人罗堃铭刘东昊赵姗刘帅成(74)专利代理机构北京华进京联知识产权代理有限公司11606代理人朱五云(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书16页附图7页(54)发明名称视线预测方法、装置、系统和可读存储介质(57)摘要本申请涉及一种视线预测方法、装置、系统和可读存储介质。所述方法包括：获取待处理的目标眼睛图像；将所述目标眼睛图像输入预先训练的视线预测模型，输出所述目标眼睛图像的预测视线向量；其中，所述视线预测模型是基于眼睛渲染图像训练样本的重构损失和预测视线损失、以及眼睛真实图像训练样本的重构损失训练得到的；所述预测视线损失包括：所述眼睛渲染图像训练样本的预测视线向量和标注视线向量之间的损失，所述眼睛渲染图像训练样本的预测视线向量是从所述眼睛渲染图像训练样本的眼睛图像中提取眼睛特征并预测得到的。采用本方法能够实现渲染域与真实域的跨域，可以提高视线预测的准确性。CN110008835ACN110008835A权利要求书1/3页1.一种视线预测方法，其特征在于，所述方法包括：获取待处理的目标眼睛图像；将所述目标眼睛图像输入预先训练的视线预测模型，输出所述目标眼睛图像的预测视线向量；其中，所述视线预测模型是基于眼睛渲染图像训练样本的重构损失和预测视线损失、以及眼睛真实图像训练样本的重构损失训练得到的；所述重构损失包括：各训练样本的眼睛图像和重构后的眼睛图像之间的损失，所述重构后的眼睛图像是从各训练样本的眼睛图像中提取眼睛特征并重构得到的；所述预测视线损失包括：所述眼睛渲染图像训练样本的预测视线向量和标注视线向量之间的损失，所述眼睛渲染图像训练样本的预测视线向量是从所述眼睛渲染图像训练样本的眼睛图像中提取眼睛特征并预测得到的。2.根据权利要求1所述的方法，其特征在于，所述眼睛渲染图像训练样本包括：眼睛渲染图像和标注视线向量；所述眼睛真实图像训练样本包括：眼睛真实图像；当所述视线预测模型的输入为所述眼睛渲染图像时，输出为所述眼睛渲染图像的预测视线向量和重构后的眼睛渲染图像；当所述视线预测模型的输入为所述眼睛真实图像时，输出为重构后的眼睛真实图像。3.根据权利要求2所述的方法，其特征在于，所述视线预测模型的训练方式，包括：获取眼睛渲染图像训练样本和眼睛真实图像训练样本；将所述眼睛渲染图像和眼睛真实图像分别输入初始的视线预测模型，得到重构后的眼睛渲染图像和重构后的眼睛真实图像，以及所述眼睛渲染图像的预测视线向量；根据所述眼睛渲染图像和重构后的眼睛渲染图像，计算所述眼睛渲染图像训练样本的重构损失；根据所述眼睛真实图像和重构后的眼睛真实图像，计算所述眼睛真实图像训练样本的重构损失；以及根据所述眼睛渲染图像的预测视线向量和标注视线向量，计算所述眼睛渲染图像训练样本的预测视线损失；根据所述眼睛渲染图像训练样本的重构损失和预测视线损失、以及所述眼睛真实图像训练样本的重构损失，对所述初始的视线预测模型进行训练，得到所述视线预测模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述眼睛渲染图像训练样本的重构损失和预测视线损失、以及所述眼睛真实图像训练样本的重构损失，对所述初始的视线预测模型进行训练，得到所述视线预测模型，包括：根据重构损失和预测视线损失，计算预训练损失函数，以及根据所述预训练损失函数对所述初始的视线预测模型进行训练，得到预训练视线预测模型；所述重构损失包括所述眼睛渲染图像训练样本的重构损失和所述眼睛真实图像训练样本的重构损失；根据重构损失和预测视线损失，计算目标训练损失函数，以及根据所述目标训练损失函数对所述预训练视线预测模型再次进行训练，得到所述视线预测模型；所述目标训练损失函数中重构损失的比重小于所述预训练损失函数中重构损失的比重。5.根据权利要求4所述的方法，其特征在于，所述预训练损失函数包括：Lg+β1Lr，其中，Lg为预测视线损失，Lr为重构损失，β1为预训练损失函数中重构损失和预测视线损失之间的偏置项；所述目标训练损失函数包括：Lg+β2Lr，其中，β2为目标训练损失函数中重构损失和预测视线损失之间的偏置项，且β1>β2>0。2CN110008835A权利要求书2/3页6.根据权利要求3所述的方法，其特征在于，所述视线预测模型包括：特征提取子模型、视线预测子模型和重构