用于生成信息的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112307947A(43)申请公布日2021.02.02(21)申请号202011179663.6G16H50/70(2018.01)(22)申请日2020.10.29(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人谢佩赵俊(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G16H50/30(2018.01)权利要求书4页说明书12页附图5页(54)发明名称用于生成信息的方法和装置(57)摘要本公开的实施例公开了用于生成信息的方法和装置。该方法的一具体实施方式包括：从待评估视频中采样出第一预设数量的图像帧；基于各图像帧的时间戳对各图像帧排序，得到图像帧序列；从图像帧中确定出评估对象面部的关键点；对关键点的坐标进行归一化，并基于归一化后的关键点坐标从图像帧中提取出如下特征：面部运动、双眼注视方向、鼻尖关键点与上嘴唇关键点的距离、左右嘴角关键点之间的距离、嘴部区域面积以及该图像帧中各关键点相对于参考帧中各关键点的偏移量，参考帧为图像帧序列中时间戳最小的图像帧；对图像帧中提取出的特征编码，得到图像帧的特征向量；将各图像帧的特征向量输入预先训练的抑郁程度预测模型，估计出评估对象的抑郁指数。CN112307947ACN112307947A权利要求书1/4页1.一种用于生成信息的方法，其中，包括：从待评估视频中采样出第一预设数量的图像帧，所述图像帧中包括评估对象的面部图像；基于各图像帧的时间戳，对所述各图像帧排序，得到图像帧序列；对于所述图像帧序列中的每一个图像帧，分别执行如下特征提取步骤，确定出每一个图像帧的特征向量：从所述图像帧中确定出所述评估对象面部的关键点；对所述关键点的坐标进行归一化，并基于归一化后的关键点坐标从所述图像帧中提取出如下特征：面部运动、双眼注视方向、鼻尖关键点与上嘴唇关键点的距离、左右嘴角关键点之间的距离、嘴部区域面积以及该图像帧中各关键点相对于参考帧中各关键点的偏移量，所述参考帧为所述图像帧序列中时间戳最小的图像帧；对所述图像帧中提取出的特征编码，得到所述图像帧的特征向量；将各所述图像帧的特征向量输入预先训练的抑郁程度预测模型，估计出所述评估对象的抑郁指数，所述抑郁指数用于表征所述评估对象的抑郁程度。2.根据权利要求1所述的方法，其中，所述待评估视频经由如下步骤获取：向所述评估对象呈现预先构建的交互问题；实时采集所述评估对象回答所述交互问题时的视频，并将所述视频确定为所述待评估视频。3.根据权利要求2所述的方法，其中，从待评估视频中采样出第一预设数量的图像帧，包括：基于所述评估对象回答各所述交互问题的时长，从所述待评估视频中确定出第二预设数量的视频片段，每个所述视频片段对应一个所述交互问题；分别从每个所述视频片段中提取出第三预设数量的图像帧，得到各所述视频片段对应的图像帧集合；基于所述图像帧的时间戳，分别对各所述图像帧集合中的图像帧排序，得到每个所述视频片段对应的图像帧序列；以及，将各所述图像帧的特征向量输入预先训练的抑郁程度预测模型，估计出所述评估对象的抑郁指数，包括：对同一个图像帧序列中的各图像帧的特征向量编码，得到该图像帧序列的特征向量序列；将所述特征向量序列输入所述预先训练的抑郁程度预测模型。4.根据权利要求1所述的方法，对所述关键点的坐标进行归一化之前，所述方法还包括：采用仿射变换，将所述图像帧中所述评估对象的面部图像的朝向调整至与所述图像帧的法向量一致。5.根据权利要求1至4之一所述的方法，其中，所述抑郁程度预测模型为基于自注意力机制的时间卷积神经网络，包括输入层、隐藏层、注意力层以及输出层，其中，所述输入层用于接收各所述图像帧的特征向量，并从各所述图像帧的特征向量中提取特征序列；所述隐藏层用于对所述特征序列编码，输出编码后的特征序列；所述注意力层用于获取各所述隐藏层输出的编码后的特征序列，并基于自注意力机制对各所述隐藏层输出的编码后的特征序列进行加权，确定各所述隐藏层输出的编码后的特征序列的加权和；2CN112307947A权利要求书2/4页所述输出层对所述加权和进行逻辑回归，估计出所述抑郁指数。6.根据权利要求5所述的方法，其中，所述基于自注意力机制的时间卷积神经网络经由如下步骤训练得到：构建第一初始时间卷积神经网络，其中，所述初始时间卷积神经网络包括输入层、隐藏层、注意力层和输出层，所述第一初始时间卷积神经网络的输出层为全连接层，所述全连接层基于