校准装置、校准系统和校准方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111095923A(43)申请公布日2020.05.01(21)申请号201880058435.8(74)专利代理机构北京市柳沈律师事务所(22)申请日2018.05.0911105代理人张晓明(30)优先权数据PCT/JP2017/0325632017.09.08JP(51)Int.Cl.H04N17/00(2006.01)(85)PCT国际申请进入国家阶段日G06T7/80(2006.01)2020.03.09(86)PCT国际申请的申请数据PCT/JP2018/0180152018.05.09(87)PCT国际申请的公布数据WO2019/049421JA2019.03.14(71)申请人索尼互动娱乐股份有限公司地址日本东京都(72)发明人山下纪之大场章男权利要求书3页说明书24页附图34页(54)发明名称校准装置、校准系统和校准方法(57)摘要校准装置10中的捕获图像获取单元30获取使用鱼眼成像装置12对校准图表成像获得的图像的数据。畸变校正单元34对成像装置的参数进行假设，考虑到投影方法来进行校正，并且调整参数直到获得原始图表的图像。伪图像绘制单元42使用图表模型数据来绘制伪捕获图像。视点调整单元44将伪图像和捕获图像进行比较，并根据标记位置或图案间隔之间的差异来调整虚拟相机的视点位置，以识别成像装置12的位置。CN111095923ACN111095923A权利要求书1/3页1.一种校准装置，包括：捕获图像获取单元，其从包含鱼眼镜头的成像装置获取校准图表的捕获图像的数据；以及校正单元，其基于与所述鱼眼镜头相对应的屏幕上的位置和在所述位置处成像的所述图表的表面上的位置之间的关系，校正由所述镜头引起的畸变，并且评估校正图像以导出并输出关于所述成像装置的参数的值。2.根据权利要求1所述的校准装置，其中，所述校正单元将通过对所述成像装置的视角做出假设校正由所述镜头引起的所述畸变而获得的图像与所述图表的图案进行比较，以评估所述图像，并且基于所述评估的结果导出所述视角。3.根据权利要求1或2所述的校准装置，其中，所述校正单元还对所述成像装置的姿势做出假设，以执行所述校正图像的投影变换，并且将所述图像与所述图表的所述图案进行比较以进行评估，以基于所述评估的结果导出所述姿势。4.根据权利要求1至3中任一项所述的校准装置，还包括：伪图像绘制单元，其在虚拟三维空间中布置虚拟相机和所述图表的对象模型，并且使用所述参数的值来执行与所述校正单元相反的处理，以生成所述捕获图像的伪图像，作为由所述虚拟相机捕获的图像；以及视点调整单元，其将生成的伪图像和所述捕获图像进行比较，以导出所述成像装置相对于所述图表的位置。5.根据权利要求4所述的校准装置，其中，所述校正单元将与应用于所述捕获图像的校正相同的校正应用于所述生成的伪图像，并且所述视点调整单元将所述校正图像进行比较，以导出所述成像装置的所述位置。6.根据权利要求1至5中任一项所述的校准装置，其中，所述校正单元基于由到所述捕获图像中的每个像素位置的视线向量和光轴形成的角进行校正，然后基于从与镜头中心相对应的位置到每个像素位置的距离进行校正。7.根据权利要求1至5中任一项所述的校准装置，其中，所述校正单元为所述捕获图像的每个像素获得三维空间中中心位于所述成像装置的视点处的球面上的位置坐标，所述三维空间由平行于所述图表的表面的图像平面和垂直于所述图表的表面的线定义；并且基于与所述位置坐标相对应的所述球面的经度和纬度坐标，将所述位置坐标变换为所述图像平面的空间中的位置坐标，从而校正由所述镜头引起的所述畸变。8.根据权利要求7所述的校准装置，其中，所述捕获图像获取单元获取通过对以不同角度显示在多个表面中的每一个上的所述图表进行一次成像而获得的图像的数据，并且所述校正单元为所述图表的每个表面定义对应的三维空间，以校正由所述镜头引起的所述畸变，以导出所述参数的所述值。9.根据权利要求1至8中任一项所述的校准装置，其中，2CN111095923A权利要求书2/3页所述校正单元在调整所述参数的同时进行校正，并且重复对所述校正图像中的预定采样点的评估，以确定所述参数的所述值。10.根据权利要求1所述的校准装置，其中，所述校正单元根据所述成像装置的所述视角的范围分别校正由所述镜头引起的所述畸变。11.根据权利要求1至10中任一项所述的校准装置，其中，所述捕获图像获取单元获取包括网格线的所述图表的所述捕获图像的所述数据，所述网格线包括在所述图像平面的水平方向和垂直方向延伸的多条直线，并且包括预定形状的标记，所述标记被布置在由所述直线包围的矩形区域中的预定位置处的矩形区域中。12.根据权利要求1至9中任一项所述的校准装置，其中，所述捕获图像获