图像生成方法、装置、电子设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082639A(43)申请公布日2022.09.20(21)申请号202210683211.4(22)申请日2022.06.15(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人陈睿智(74)专利代理机构中科专利商标代理有限责任公司11021专利代理师吕朝蕙(51)Int.Cl.G06T17/20(2006.01)G06T15/55(2011.01)G06T7/70(2017.01)权利要求书3页说明书12页附图5页(54)发明名称图像生成方法、装置、电子设备和存储介质(57)摘要本公开提供了一种图像生成方法、装置，涉及人工智能领域，具体涉及增强现实、虚拟现实、计算机视觉和深度学习等技术领域，可应用于元宇宙等场景。图像生成方法的具体实现方案为：获取第一空间中场景的场景图像及采集场景图像的视角信息；根据视角信息和针对目标对象的神经辐射场，生成针对视角信息的目标图像，目标图像包括目标对象，目标对象位于第二空间中；以及融合目标图像和场景图像，得到待显示图像。CN115082639ACN115082639A权利要求书1/3页1.一种图像生成方法，包括：获取第一空间中场景的场景图像及采集所述场景图像的视角信息；根据所述视角信息和针对目标对象的神经辐射场，生成针对所述视角信息的目标图像，所述目标图像包括所述目标对象，所述目标对象位于第二空间中；以及融合所述目标图像和所述场景图像，得到待显示图像。2.根据权利要求1所述的方法，其中，所述融合所述目标图像和所述场景图像，得到待显示图像包括：根据针对所述目标对象的神经辐射场输出的点云数据，生成针对所述目标对象的三维对象模型；其中，所述三维对象模型为由多个多边形网格拼接形成的面片模型；所述多个多边形网格的顶点构成所述三维对象模型的表面顶点；根据所述场景图像和所述三维对象模型的表面顶点的法向量，确定针对所述目标对象的辐射亮度信息；根据所述辐射亮度信息调整所述目标图像，得到调整后图像；以及融合所述调整后图像和所述场景图像，得到所述待显示图像。3.根据权利要求2所述的方法，其中，所述根据所述场景图像和所述三维对象模型的表面顶点的法向量，确定针对所述目标对象的辐射亮度信息包括：采用预定神经网络对所述场景图像进行处理，得到针对场景的球谐光照参数；以及根据所述球谐光照参数和所述三维对象模型的表面顶点的法向量，采用球谐函数确定针对所述目标对象的辐射亮度信息。4.根据权利要求1所述的方法，还包括通过以下方式来根据针对多个预定视角的所述目标对象的多个视角图像，构建针对所述目标对象的神经辐射场：响应于获取到所述多个视角图像，确定针对所述多个视角图像中每个视角图像的相机位姿信息；以及根据所述多个视角图像和针对所述多个视角图像的多个相机位姿信息，构建针对所述目标对象的神经辐射场。5.根据权利要求4所述的方法，其中，所述根据所述多个视角图像，确定针对所述多个视角图像中每个视角图像的相机位姿信息包括：采用深度特征提取算法提取所述每个视角图像的特征图；以及根据所述多个视角图像中在两个相邻位置上采集的两个视角图像的两个特征图之间的映射关系，确定针对所述每个视角图像的相机位姿信息。6.根据权利要求4所述的方法，其中，所述根据所述多个视角图像和针对所述多个视角图像的多个相机位姿信息，构建针对所述目标对象的神经辐射场包括：针对所述每个视角图像，根据针对所述每个视角图像的相机位姿信息对所述每个视角图像进行采样，得到针对所述每个视角图像的一组三维采样点；以及以针对所述多个视角图像的多组三维采样点和多个相机位姿信息作为训练数据训练初始神经辐射场，得到针对所述目标对象的神经辐射场。7.根据权利要求6所述的方法，其中，所述以针对所述多个视角图像的多组三维采样点和多个相机位姿信息作为训练数据训练初始神经辐射场，得到针对所述目标对象的神经辐射场包括：2CN115082639A权利要求书2/3页以所述多组三维采样点和所述多个相机位姿信息作为训练数据，采用基于多分辨率哈希编码的即时神经图形基元技术对所述初始神经辐射场进行训练，得到针对所述目标对象的神经辐射场。8.根据权利要求4所述的方法，其中，对于所述多个视角图像中在两个相邻位置上采集的两个图像，所述两个图像的两个视野之间的重合率大于等于重合率下限值，且小于等于重合率上限值。9.一种图像生成装置，包括：信息获取模块，用于获取第一空间中场景的场景图像及采集所述场景图像的视角信息；图像生成模块，用于根据所述视角信息和针对目标对象的神经辐射场，生成针对所述视角信息的目标图像，所述目标图像包括所述目标对象，所述目标对象位于第二空间中；以及图像融合模块，用于融合所述目标图像和所述场景图像