用于生成信息的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112329718A(43)申请公布日2021.02.05(21)申请号202011342733.5G06K9/62(2006.01)(22)申请日2020.11.26G06Q30/02(2012.01)(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人王璟璟吴江旭胡淼枫张然聂铭君石立权马事伟耿宗杰赵希民石金玉刘永文刘革冯静(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)权利要求书4页说明书12页附图5页(54)发明名称用于生成信息的方法和装置(57)摘要本申请公开了用于生成信息的方法和装置，具体实现方案为：从包括人体图像的待检测图像中，确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像；基于头肩图像、待检测图像和头肩边框的位置坐标，对待检测图像中人体图像对应的用户进行分析，得到待检测图像中人体图像对应的用户行为数据，其中，用户行为数据包括：用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳，用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成。该方案通过计算机视觉技术定位用户，利用图像处理技术获取用户注视点位置，从而实现用户行为检测方法。CN112329718ACN112329718A权利要求书1/4页1.一种用于生成信息的方法，所述方法包括：从包括人体图像的待检测图像中，确定所述人体图像对应的头肩边框的位置坐标和所述头肩边框的位置坐标对应的头肩图像，其中，所述待检测图像为某个区域内若干待检测图像其中之一；基于所述头肩图像、所述待检测图像和所述头肩边框的位置坐标，对所述待检测图像中所述人体图像对应的用户进行分析，得到所述待检测图像中所述人体图像对应的用户行为数据，其中，所述用户行为数据包括：所述用户的用户标识、所述用户的属性信息、所述用户所在地点的位置坐标、所述用户的注视点信息和时间戳，所述用户的注视点信息通过将所述头肩图像、所述待检测图像和所述头肩边框的位置坐标输入至预先训练的注视点预测模型而生成，所述注视点预测模型用于表征对所述用户眼睛注视的位置点坐标进行检测。2.根据权利要求1所述的方法，其中，所述从包括人体图像的待检测图像中，确定所述人体图像对应的头肩边框的位置坐标和所述头肩边框的位置坐标对应的头肩图像，包括：将所述待检测图像输入至预先训练的位置检测模型，生成所述待检测图像中人体图像对应的头肩边框的位置坐标，其中，所述位置检测模型用于表征对所述待检测图像中人体图像的人体头部和人体肩部的结合进行位置检测；基于生成的所述头肩边框的位置坐标和所述待检测图像，确定所述待检测图像中与所述头肩边框的位置坐标对应的头肩图像。3.根据权利要求1所述的方法，其中，所述注视点预测模型通过如下方式训练得到：获取训练样本集，其中，所述训练样本集中的训练样本包括所述待检测图像、所述待检测图像中人体图像对应的头肩边框的位置坐标、与所述头肩边框的位置坐标对应的所述头肩图像和所述待检测图像中人体图像对应的所述用户的注视点信息；利用机器学习算法，将所述训练样本集中的训练样本包括的所述待检测图像、所述待检测图像中人体图像对应的所述头肩边框的位置坐标、与所述头肩边框的位置坐标相对应的所述头肩图像作为输入数据，将所述待检测图像中人体图像对应的所述用户的注视点信息作为期望输出数据，训练得到所述注视点预测模型。4.根据权利要求1和3中任一项所述的方法，其中，所述注视点预测模型包括：第一特征提取子模型、第二特征提取子模型和注视点预测子模型；所述用户的注视点信息的生成过程，包括：将所述待检测图像和所述待检测图像对应的掩模图像输入至所述第一特征提取子模型，生成所述待检测图像对应的第一特征图，其中，所述第一特征提取子模型用于表征针对所述待检测图像与所述掩模图像的叠加图像进行特征信息提取，所述掩模图像基于所述头肩边框的位置坐标对所述待检测图像进行图像掩模而得到；将所述头肩图像输入至所述第二特征提取子模型，生成所述头肩图像对应的第二特征图；将所述第一特征图中的特征信息和所述第二特征图中的特征信息进行叠加，得到叠加后的第三特征图；将所述第三特征图输入至所述注视点预测子模型，生成所述待检测图像中人体图像对应的所述用户的注视点信息。5.根据权利要求4所述的方法，其中，在所述将所述第三特征图输入至所述注视点预测2CN112329718A权利要求书2/4页子模型，生成所述待检测图像中人体图像对应的所述用