特效处理方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953504A(43)申请公布日2023.04.11(21)申请号202211667509.2(22)申请日2022.12.23(71)申请人北京字跳网络技术有限公司地址100190北京市海淀区紫金数码园4号楼2层0207(72)发明人李倩艺卢智雄方山城刘玮(74)专利代理机构北京远智汇知识产权代理有限公司11659专利代理师刘欣(51)Int.Cl.G06T11/40(2006.01)G06F3/04845(2022.01)G06T11/20(2006.01)权利要求书2页说明书16页附图4页(54)发明名称特效处理方法、装置、电子设备及存储介质(57)摘要本公开实施例提供了一种特效处理方法、装置、电子设备及存储介质。所述方法包括：响应于特效触发操作，展示特效绘制画布；接收触发对象作用于所述特效绘制画布的绘制操作，展示与所述绘制操作对应的绘制轮廓图，并在所述绘制轮廓图中填充第一内容进行展示；在达到预设展示条件的情况下，在所述绘制轮廓图中填充第二内容，得到特效效果图，并展示所述特效效果图。本公开实施例的技术方案，实现对特效纹理图的个性化定制以及趣味性体验，丰富了图像的填充内容，提高用户使用体验的效果。CN115953504ACN115953504A权利要求书1/2页1.一种特效处理方法，其特征在于，包括：响应于特效触发操作，展示特效绘制画布；接收触发对象作用于所述特效绘制画布的绘制操作，展示与所述绘制操作对应的绘制轮廓图，并在所述绘制轮廓图中填充第一内容进行展示；在达到预设展示条件的情况下，在所述绘制轮廓图中填充第二内容，得到特效效果图，并展示所述特效效果图。2.根据权利要求1所述的特效处理方法，其特征在于，所述第二内容包括纹理信息，所述特效效果图包括特效纹理图；所述在所述绘制轮廓图中填充第二内容，得到特效效果图，并展示所述特效效果图，包括：基于所述绘制轮廓图生成网格图；将所述网格图输入至预训练的生成模型中，以使所述生成模型在所述网格图中填充纹理信息，得到与所述绘制轮廓图对应的特效纹理图，展示所述特效纹理图，其中，所述生成模型基于样本纹理图以及与样本纹理图对应的样本文本对预先建立的扩散模型训练得到。3.根据权利要求2所述的特效处理方法，其特征在于，所述基于所述绘制轮廓图生成网格图，包括：对所述绘制轮廓图进行下采样，得到预设尺寸的缩放图；针对所述缩放图中的像素点，按照每间隔第一预设数量的像素点将第二预设数量的像素点设置为预设颜色的方式进行处理；将处理后的所述缩放图放大至所述绘制轮廓图的原始尺寸，得到网格图。4.根据权利要求2所述的特效处理方法，其特征在于，所述基于所述绘制轮廓图生成网格图，包括：在所述绘制轮廓图小于第一尺寸的情况下，将所述绘制轮廓图放大至第二尺寸，并基于所述第二尺寸的所述绘制轮廓图生成网格图；在所述得到与所述绘制轮廓图对应的特效纹理图之后，所述展示所述特效纹理图之前，还包括：将所述特效纹理图调整至与所述绘制轮廓图相同的尺寸。5.根据权利要求2所述的特效处理方法，其特征在于，所述扩散模型分解为UNet网络、VAE编码网络、VAE解码网络和Clip文本编码网络进行部署。6.根据权利要求2所述的特效处理方法，其特征在于，所述扩散模型的模型优化参数至少包括控制生成的特效纹理图的效果的参数、控制特效纹理图跟输入网格图的相关性和生成的特效纹理图的精致程度的参数以及控制生成的特效纹理图的轮数。7.根据权利要求1所述的特效处理方法，其特征在于，所述展示所述特效效果图，包括：从预先建立的检索库中检索与所述绘制轮廓图匹配的参考轮廓图，将所述参考轮廓图对应的特效效果图作为与所述绘制轮廓图对应的特效效果图，展示所述特效效果图。8.根据权利要求1所述的特效处理方法，其特征在于，所述展示所述特效效果图，包括：获取与所述绘制轮廓图对应的特效效果图，对所述特效效果图进行后处理，展示后处理后的特效效果图，其中，所述后处理包括二值化处理、抠图处理、去除背景处理中的至少一种。2CN115953504A权利要求书2/2页9.根据权利要求1所述的特效处理方法，其特征在于，所述在所述绘制轮廓图中填充第二内容，得到特效效果图，包括：在所述绘制轮廓图中填充预设类型的第一对象，和/或，填充与所述第一对象关联的第二对象，得到特效效果图。10.根据权利要求1所述的特效处理方法，其特征在于，所述触发对象包括鼻尖、脚趾、肘部、单个手指或两个呈剪刀状的手指中的至少一种。11.一种特效处理装置，其特征在于，包括：画布展示模块，用于响应于特效触发操作，展示特效绘制画布；轮廓展示模块，用于接收触发对象作用于所述特效绘制画布的绘制操作，展示与所述绘制操作对应的绘制轮廓图，并在所述绘制轮廓图中填充第一内容进行展示