一种对抗生成网络模型、以及基于所述对抗生成网络模型的散景效果渲染方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112183727A(43)申请公布日2021.01.05(21)申请号202011053131.8(22)申请日2020.09.29(71)申请人中科方寸知微（南京）科技有限公司地址211000江苏省南京市江宁区麒麟科技创新园创研路266号人工智能产业园3号楼203B室申请人中国科学院自动化研究所南京人工智能芯片创新研究院(72)发明人冷聪李成华林嘉珉程健(74)专利代理机构南京泰普专利代理事务所(普通合伙)32360代理人张磊(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图3页(54)发明名称一种对抗生成网络模型、以及基于所述对抗生成网络模型的散景效果渲染方法及系统(57)摘要本发明提出了一种基于对抗生成网络的散景效果渲染方法，通过设计一个轻量化的网络，并同时使用TensorFlowLite框架支持的算子重新实现了实例归一化，确保提出的一个由眼镜形状的端到端生成器以及多感受野判别器组成的对抗生成网络来训练散景渲染模型的所有算子都能在智能手机的GPU上进行计算，且不占用很大的资源。本发明同时还达到了不依赖于先验的方法的同时，还可以显著的检测出待聚焦区域，使得失焦区域的模糊效果也很自然，适用于多场景的情况而非只能处理人像等特定场景的目的。CN112183727ACN112183727A权利要求书1/3页1.一种对抗生成网络模型，其特征在于，包括判决器和生成器；所述判决器用于接收图片并进行神经的网络训练，监督生成图像块与数据集中散景图像块的差异；所述生成器为端到端的卷积神经网络，用于输出进行散景渲染后的图片。2.根据权利要求1所述的一种对抗生成网络模型，其特征在于，所述判决器进一步为：多感受视野判决器，用于接收拥有丰富场景的图片数据集，并对所在神经网络进行训练；同时用于监督生成图像块与对应数据集中散景图像块的差异，关注同一位置不同大小图像块的细节；所述图片集包含丰富的场景且成对出现；所述成对出现为图片集中每张无虚化效果的图片都对应有一张带有散景效果的图片，其中不带有散景效果的图片作为训练集，带有散景效果的图片作为有监督学习的标签集。3.根据权利要求1所述的一种对抗生成网络模型，其特征在于，所述生成器进一步为两个阶段的网络，且两个网络均采用编码器与解码器组成的结构；其中所述两个阶段划分为第一阶段与第二阶段，在第一阶段，训练网络学习从没有虚化效果的图像到输入图像和对应的有散景效果图像的残差的映射；在第二阶段，细化产生逼真的散景效果；其中在第一阶段时，网络的基础通道数为16，最大通道数为128；输入图像I与对应标签集中输出图像为有散景效果的O和残差R之间的关系为R＝I-O，所以I-R表示粗糙的具有散景渲染效果的图片；该阶段网络中产生的残差R具有一定的深度信息，即无需额外的深度信息作为先验知识；其中在第二阶段时，网络的基础通道数为32，最大通道数为256；对第一阶段产生的粗糙具有散景渲染效果的图片进行细化，产生逼真效果的散景效果图；其中生成器组成结构中，由所述编码器组成的编码器块为步长为预设定长度的卷积层，包含三个下采样层，并用于输出特征图；其中生成器组成结构中，由所述解码器组成的解码器块为预设定数量个步长为预设定长度的转置卷积层，用于接收由残差块转换的特征图；所述残差块转换的特征图为采用预设定数量个残差块对编码器块输出的特征图进行转换而得到的特征图；所述残差块依次连接conv、ReLU、instancenorm、conv、ReLU层，且输入与输出间存在一个加性连接；所述编码器块的卷积层和解码器块的转置卷积层都由ReLU激活，两个阶段网络的输出层都是通过步长为预设定长度的卷积再加上tanh来实现的，在卷积层及其镜像的转置卷积层之间均有skipconnection用于增强输出图像的细节。4.一种基于权利要求1～3中任一项所述的对抗生成网络模型的散景效果渲染方法，其特征在于，包括：首先，获取用于训练的图片；然后，将获取的图片放入权利要求1～3任意一项所述的一个用于训练散景渲染的对抗生成网络模型进行网络训练；最后获得一个用于产生散景渲染效果的网络模型；其中所述训练图片在构建的训练集中存在一一对应一个标签图片，所述标签图片为有监督学习中对应的，且具有散景效果的图片；在网络训练的过程中利用TensorFlowLite框架支持的算子对生成器中的残差块里存在的实例进行归一化；其中训练过程中涉及的损失函数为Ltotal。5.根据权利要求4所述的散景效果渲染方法，其特征在于，所述神经网络进一步为：用于训练的神经网络为一个由眼镜形状的端到端生成器以及多感受野判别器组成的2CN112183727A权利要求书2/3