训练数据生成方法、生成装置及其图像语义分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107690672A(43)申请公布日2018.02.13(21)申请号201780001794.5(51)Int.Cl.(22)申请日2017.07.25G06T7/50(2017.01)G06T7/11(2017.01)(85)PCT国际申请进入国家阶段日G06T15/50(2011.01)2017.12.07G06K9/34(2006.01)(86)PCT国际申请的申请数据G06K9/62(2006.01)PCT/CN2017/0943122017.07.25(71)申请人深圳前海达闼云端智能科技有限公司地址518000广东省深圳市前海深港合作区前湾一路1号A栋201室（入驻深圳市前海商务秘书有限公司）(72)发明人王恺廉士国王洛威(74)专利代理机构深圳市爱迪森知识产权代理事务所(普通合伙)44341代理人何婷权利要求书2页说明书8页附图5页(54)发明名称训练数据生成方法、生成装置及其图像语义分割方法(57)摘要本发明实施例公开了一种训练数据生成方法、生成装置及其图像语义分割方法。所述训练数据生成方法包括：为三维立体场景中的物体模型设置对应的类别标签；通过改变所述三维立体场景的场景参数，获取对应的若干张场景图；将所述物体模型渲染为与物体模型的类别标签对应的单色材质；基于渲染后的物体模型获取与每一张场景图对应的语义分割图；将每一张场景图和与对应的场景图对应的语义分割图存储为一组训练数据。该方法能够快速的产生大量满足使用要求的，反映不同时间的场景图片和语义分割图片，极大的节省了时间和人力。CN107690672ACN107690672A权利要求书1/2页1.一种训练数据生成方法，其特征在于，包括：为三维立体场景中的物体模型设置对应的类别标签；通过改变所述三维立体场景的场景参数，获取对应的若干张场景图；将所述物体模型渲染为与物体模型的类别标签对应的单色材质；基于渲染后的物体模型,获取与每一张场景图对应的语义分割图；将每一张场景图和与对应的场景图对应的语义分割图存储为一组训练数据。2.根据权利要求1所述的方法，其特征在于，所述获取所述三维立体场景的若干张场景图，包括：动态调整所述三维立体场景中的光照情况；通过虚拟摄像机采集不同光照情况下的场景图。3.根据权利要求1所述的方法，其特征在于，所述通过改变所述三维立体场景的场景参数，获取对应的若干张场景图，包括：设定虚拟摄像机的拍摄轨迹；当所述虚拟摄像机沿所述拍摄轨迹运行时，采集位于不同的观察视角的场景图。4.根据权利要求1所述的方法，其特征在于，所述基于渲染后的物体模型获取与每一张场景图对应的语义分割图，具体包括：在所述三维立体场景的光照关闭时，基于渲染后的物体模型获取与每一张场景图对应的语义分割图。5.根据权利要求1所述的方法，其特征在于，所述将所述物体模型渲染为与物体模型的类别标签对应的单色材质，包括：确定物体模型在场景图中的深度顺序；按照所述深度顺序，依次将所述物体模型渲染为与物体模型的分类标签对应的单色材质。6.根据权利要求1所述的方法，其特征在于，所述将所述物体模型渲染为与物体模型的类别标签对应的单色材质，包括：判断透明物体模型是否对在后的物体模型具有遮挡作用；当所述透明物体模型具有遮挡作用时，将所述透明物体模型进行标记分类并渲染为对应的单色材质；当所述透明物体模型不具有遮挡作用时，在所述语义分割图中维持所述透明物体模型为透明或者删除所述透明物体模型。7.一种训练数据生成装置，其特征在于，包括：分类模块，用于为三维立体场景中的物体模型设置对应的类别标签；场景图生成模块，用于通过改变所述三维立体场景的场景参数，获取对应的若干张场景图；渲染模块，用于将所述物体模型渲染为与物体模型的类别标签对应的单色材质；语义分割图生成模块，用于基于渲染后的物体模型，获取与每一张场景图对应的语义分割图；存储模块，用于将每一张场景图和与对应场景图对应的语义分割图存储为一组训练数据。2CN107690672A权利要求书2/2页8.根据权利要求7所述的装置，其特征在于，包括：所述场景图生成模块具体包括：光照调整单元以及虚拟摄像机控制单元；所述光照调整单元，用于动态调整所述三维立体场景中的光照情况；所述虚拟摄像机控制单元，用于通过虚拟摄像机采集不同光照情况下的场景图。9.根据权利要求7所述的装置，其特征在于，所述场景图生成模块具体用于：设定虚拟摄像机的拍摄轨迹；当所述虚拟摄像机沿所述拍摄轨迹运行时，采集位于不同的观察视角的场景图。10.根据权利要求7所述的装置，其特征在于，所述渲染模块具体用于；在所述三维立体场景的光照关闭时，获取与每一张场景图对应的语义分割图。11.根据权利要求7所述的装置，其特征在于，所述渲染模块具体用