视频图像处理方法、装置和终端设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107343211A(43)申请公布日2017.11.10(21)申请号201610694625.1(22)申请日2016.08.19(71)申请人北京市商汤科技开发有限公司地址100084北京市海淀区中关村东路1号院3号楼7层710-712房间(72)发明人王雷栾青许亲亲(74)专利代理机构北京金律言科知识产权代理事务所(普通合伙)11461代理人张雪飞纪烈超(51)Int.Cl.H04N21/2668(2011.01)H04N21/44(2011.01)H04N21/458(2011.01)H04N21/81(2011.01)权利要求书2页说明书17页附图5页(54)发明名称视频图像处理方法、装置和终端设备(57)摘要本发明实施例提供一种视频图像处理方法、装置和终端设备。所述方法包括：从视频图像中检测至少一个目标对象，并确定所述至少一个目标对象的特征点；根据所述至少一个目标对象的特征点，确定多个待展示的关联业务对象在所述视频图像中相应的展示位置；在所述相应的展示位置采用计算机绘图方式分别绘制所述多个关联业务对象。采用本发明实施例，允许保留视频图像中视频主体(如主播)等信息的同时，多角度展示业务对象，从而吸引了观众的注意力，进而提高了业务对象的影响力。并且，节约了网络资源和客户端的系统资源。CN107343211ACN107343211A权利要求书1/2页1.一种视频图像处理方法，其特征在于，所述方法包括：从视频图像中检测至少一个目标对象，并确定所述至少一个目标对象的特征点；根据所述至少一个目标对象的特征点，确定多个待展示的关联业务对象在所述视频图像中相应的展示位置；在所述相应的展示位置采用计算机绘图方式分别绘制所述多个关联业务对象。2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个目标对象的特征点，确定多个待展示的关联业务对象在所述视频图像中相应的展示位置，包括：根据所述至少一个目标对象的特征点，使用预先训练的、用于确定业务对象在视频图像中的展示位置的卷积网络模型，确定所述多个待展示的关联业务对象在所述视频图像中相应的展示位置。3.根据权利要求2所述的方法，其特征在于，对所述卷积网络模型的预先训练包括：获取待训练的业务对象样本图像的特征向量，其中，所述特征向量中包含有所述业务对象样本图像中的业务对象的位置信息和/或置信度信息；对所述特征向量进行卷积处理，获取特征向量卷积结果；判断所述特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足收敛条件；若满足，则完成对所述卷积网络模型的训练；若不满足，则根据所述特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息，调整所述卷积网络模型的参数并根据调整后的所述卷积网络模型的参数对所述卷积网络模型进行迭代训练，直至迭代训练后的业务对象的位置信息和/或置信度信息满足所述收敛条件。4.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个目标对象的特征点，确定多个待展示的关联业务对象在所述视频图像中相应的展示位置，包括：根据所述至少一个目标对象的特征点，确定所述至少一个目标对象的类型；根据所述至少一个目标对象的类型，确定所述多个待展示的关联业务对象相应的展示区域；根据所述多个待展示的关联业务对象相应的展示区域，确定所述多个待展示的关联业务对象在所述视频图像中相应的展示位置。5.根据权利要求4所述的方法，其特征在于，所述根据所述至少一个目标对象的类型，确定所述多个待展示的关联业务对象相应的展示区域，包括：当所述目标对象的类型为人脸类型时，确定待展示的关联业务对象的展示区域包括以下至少之一：视频图像中人物的头发区域、额头区域、脸颊区域、下巴区域、头部以外的身体区域；和/或，当所述目标对象的类型为背景类型时，确定待展示的关联业务对象的展示区域包括：视频图像中的背景区域；和/或，当所述目标对象的类型为手部类型时，确定待展示的关联业务对象的展示区域包括：视频图像中以手部所在的区域为中心的、设定范围内的区域；和/或，当所述目标对象的类型为动作类型时，确定待展示的关联业务对象的展示区域包括：视频图像中预先设定的区域。2CN107343211A权利要求书2/2页6.根据权利要求1-5任一项所述的方法，其特征在于，所述多个关联业务对象包括以下至少之一：用于展示同一业务对象主题的包含有语义信息的多个特效、包含有语义信息的同一特效的多个展示部分、属于同一业务对象提供者提供的包含有语义信息的多个特效。7.根据权利要求6所述的方法，其特征在于，所述特效为包含广告信息的二维贴纸特效、三维特效、粒子特效中任意一种。8.根据权利要求1-7任一项所述的方法，其特征在于，所述相应的展示位置包括以下至少之一：视频图