视频流的实时绘制.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109716781A(43)申请公布日2019.05.03(21)申请号201780056702.3(74)专利代理机构北京市中咨律师事务所1(22)申请日2017.07.181247代理人刘都杨晓光(30)优先权数据15/213,1862016.07.18US(51)Int.Cl.H04N21/44(2006.01)(85)PCT国际申请进入国家阶段日G06K9/00(2006.01)2019.03.14H04N21/84(2006.01)(86)PCT国际申请的申请数据G06F3/0484(2006.01)PCT/US2017/0426362017.07.18(87)PCT国际申请的公布数据WO2018/017592EN2018.01.25(71)申请人斯纳普公司地址美国加利福尼亚州(72)发明人Y·莫纳斯提尔申I·图卢波夫权利要求书4页说明书21页附图11页(54)发明名称视频流的实时绘制(57)摘要提供了用于在视频流的帧内实时地生成图形表示的系统、装置、媒介和方法。系统和方法接收描绘面部的部分的帧，识别用户输入，识别与用户输入对应的面部的部分上的位置。系统和方法生成链接到面部的部分上的位置的用户输入的图形表示，以及在视频流的帧内实时地渲染图形表示。CN109716781ACN109716781A权利要求书1/4页1.一种方法，包括：由一个或多个处理器接收视频流的一个或多个帧，所述一个或多个帧的至少一部分描绘面部的至少一部分；识别计算装置的输入装置上的用户输入；识别与所述用户输入对应的所述面部的部分上的一个或多个位置；将所述用户输入链接到所述面部的所述部分上的所述一个或多个位置；生成所述用户输入的图形表示，所述用户输入的所述图形表示被链接到所述面部的所述部分上的所述一个或多个位置；以及在所述视频流的一个或多个后续帧内在所述面部的所述部分上渲染所述图形表示，所述图形表示被呈现在所述一个或多个位置处的所述面部的所述部分上。2.根据权利要求1所述的方法，其中，识别所述用户输入进一步包括：确定在所述视频流的帧中所述面部的所述部分到所述计算装置的图像采集装置的第一相对距离；基于所述面部的所述部分的所述第一相对距离来确定所述图形表示的尺寸特征；以及基于所述面部的所述部分在所述视频流的后续帧中从所述第一相对距离到第二相对距离的移动来缩放所述图形表示的所述尺寸特征。3.根据权利要求2所述的方法，其中，缩放所述图形表示的所述尺寸特征进一步包括：识别在所述第一相对距离处所述图形表示的第一线条宽度；确定所述图形表示上的至少一个点和所述面部的所述部分上描绘的两个或更多个面部界标的第一相对位置；确定在所述第二相对距离处的所述两个或更多个面部界标之间的距离的变化；以及基于所述两个或更多个面部界标之间的距离的所述变化来修改所述图形表示的所述第一线条宽度，以生成所述图形表示的第二线条宽度。4.根据权利要求1所述的方法，其中，识别与所述用户输入对应的所述面部的所述部分上的所述一个或多个位置进一步包括：确定所述面部的所述部分上的面部网格，所述面部网格识别所述面部的所述部分内描绘的一个或多个面部界标；识别所述用户输入的一个或多个坐标；以及将所述一个或多个坐标映射到所述一个或多个面部界标的至少一部分。5.根据权利要求1所述的方法，进一步包括：生成位于所述面部的所述部分前面的图形平面；将所述图形平面上的一个或多个点链接到所述面部的所述部分上描绘的一个或多个面部界标；以及跟踪所述一个或多个面部界标的移动，并将所述一个或多个面部界标的所述移动与所述图形平面的移动相匹配。6.根据权利要求5所述的方法，其中，所述图形平面被设定轮廓使得链接到所述图形平面上的坐标的图形表示包括相对于所述面部的所述部分的两个或更多个三维位置。7.根据权利要求5所述的方法，其中，所述图形平面是透明的，从所述面部向外延伸，并且具有关于所述图形平面分布的一组坐标，并且进一步包括：2CN109716781A权利要求书2/4页确定所述用户输入从所述面部的所述部分向外延伸；确定与所述用户输入的位置对应的所述一组坐标的一个或多个坐标；将所述用户输入链接到所述图形平面上的所述一个或多个坐标；以及在所述视频流的一个或多个后续帧内渲染在所述图形平面上从所述面部向外延伸的所述图形表示。8.根据权利要求7所述的方法，其中，所述图形平面是相对于所述面部的所述部分的位于第一三维位置处的第一图形平面，并且所述图形表示是第一图形表示，并且进一步包括：生成相对于所述面部的所述部分在第二三维位置处的第二图形平面；确定位于所述视频流的帧内的第二用户输入；将所述第二用户输入链接到所述第二图形平面上的一个或多个坐标；生成在所述第二图形平面上的所述一个或多个