图像生成方法、装置、电子设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115100339A(43)申请公布日2022.09.23(21)申请号202210683212.9(22)申请日2022.06.15(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人陈睿智刘星(74)专利代理机构中科专利商标代理有限责任公司11021专利代理师吕朝蕙(51)Int.Cl.G06T15/00(2011.01)G06T15/06(2011.01)G06T17/20(2006.01)权利要求书3页说明书13页附图4页(54)发明名称图像生成方法、装置、电子设备和存储介质(57)摘要本公开提供了一种图像生成方法、装置，涉及人工智能领域，具体涉及增强现实、虚拟现实、计算机视觉和深度学习等技术领域，可应用于元宇宙等场景。图像生成方法的具体实现方案为：根据针对场景的神经辐射场所输出的场景数据，生成场景的三维场景模型；根据目标对象的三维对象模型和三维场景模型，生成包含三维对象模型的三维场景信息；根据场景数据和目标视角，确定三维场景信息中三维对象模型的环境光信息；以及根据场景数据、环境光信息和三维场景信息进行图像渲染，生成目标视角的目标图像，其中，目标图像包括目标对象和场景。CN115100339ACN115100339A权利要求书1/3页1.一种图像生成方法，包括：根据针对场景的神经辐射场所输出的场景数据，生成所述场景的三维场景模型；根据目标对象的三维对象模型和所述三维场景模型，生成包含所述三维对象模型的三维场景信息；根据所述场景数据和目标视角，确定所述三维场景信息中所述三维对象模型的环境光信息；以及根据所述场景数据、所述环境光信息和所述三维场景信息进行图像渲染，生成针对所述目标视角的目标图像，其中，所述目标图像包括所述目标对象和所述场景。2.根据权利要求1所述的方法，其中，所述场景数据包括所述三维场景模型中多个表面顶点各自的颜色数据；所述根据所述场景数据和目标视角，确定所述三维场景信息中所述三维对象模型的环境光信息包括：基于所述三维场景信息和所述目标视角，采用光线追踪法确定所述三维场景模型中与所述三维对象模型的第一表面顶点对应的第二表面顶点；根据所述三维场景模型，确定所述第二表面顶点的法向量；以及根据所述第二表面顶点的法向量和所述第二表面顶点的颜色数据，确定所述第一表面顶点的环境光信息。3.根据权利要求1所述的方法，还包括通过以下方式来根据所述场景的多个场景图像，构建针对所述场景的神经辐射场：根据所述多个场景图像，确定针对所述多个场景图像中每个场景图像的相机位姿信息；以及根据所述多个场景图像和针对所述多个场景图像的多个相机位姿信息，构建针对所述场景的神经辐射场。4.根据权利要求3所述的方法，其中，所述根据所述多个场景图像，确定针对所述多个场景图像中每个场景图像的相机位姿信息包括：采用深度特征提取算法提取所述每个场景图像的特征图；以及根据所述多个场景图像中在采集顺序上相邻的两个场景图像的两个特征图之间的映射关系，确定针对所述每个场景图像的相机位姿信息。5.根据权利要求3所述的方法，其中，所述根据所述多个场景图像和针对所述多个场景图像的多个相机位姿信息，构建针对所述场景的神经辐射场包括：针对所述每个场景图像，根据针对所述每个场景图像的相机位姿信息对所述每个场景图像进行采样，得到针对所述每个场景图像的一组三维采样点；以及以针对所述多个场景图像的多组三维采样点的坐标值和多个相机位姿信息作为训练数据训练初始神经辐射场，得到针对所述场景的神经辐射场。6.根据权利要求5所述的方法，其中，所述以针对所述多个场景图像的所述多组三维采样点和多个所述相机位姿信息作为训练数据训练初始神经辐射场，得到针对所述场景的神经辐射场包括：以所述多组三维采样点和所述多个相机位姿信息作为训练数据，采用基于多分辨率哈希编码的即时神经图形基元技术对所述初始神经辐射场进行训练，得到针对所述场景的神2CN115100339A权利要求书2/3页经辐射场。7.根据权利要求3所述的方法，其中，所述多个场景图像中针对在采集顺序上相邻的两个场景图像的两个视野之间的重合率大于等于重合率下限值，且小于等于重合率上限值。8.根据权利要求2所述的方法，其中：所述根据针对场景的神经辐射场所输出的场景数据，生成所述场景的三维场景模型包括：根据所述场景数据，采用等值面提取算法生成所述场景的三维场景模型；其中，所述三维场景模型由多个多边形网格拼接形成；所述根据所述三维场景模型，确定所述第二表面顶点的法向量包括：确定所述多个多边形网格中以所述第二表面顶点为顶点的目标网格；以及根据所述目标网格的法向量，确定所述第二表面顶点的法向量。9.根据权利要求1所述的方法，其中，所述根据目标