在真实场景中显示虚拟对象.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116057581A(43)申请公布日2023.05.02(21)申请号202180062145.2(74)专利代理机构中国专利代理(香港)有限公(22)申请日2021.07.07司72001专利代理师钟茂建吕传奇(30)优先权数据20185290.22020.07.10EP(51)Int.Cl.G06T19/00(2006.01)(85)PCT国际申请进入国家阶段日2023.03.10(86)PCT国际申请的申请数据PCT/IB2021/0560942021.07.07(87)PCT国际申请的公布数据WO2022/009117EN2022.01.13(71)申请人爱色丽欧洲有限公司地址瑞士雷根斯多夫(72)发明人M·鲁姆普权利要求书3页说明书16页附图4页(54)发明名称在真实场景中显示虚拟对象(57)摘要在用于显示虚拟对象(140)的方法中，对场景(100)成像。该场景包括目标设备(120)。目标设备包括具有已知反射性质的一组颜色目标元件(121)和具有多个已知表面法线的至少一个照射目标元件(122)。处理场景的至少一个图像，以确定颜色目标元件的测得颜色以及场景的照射和观察条件。通过比较颜色目标元件的测得颜色和已知反射性质来计算颜色变换参数。针对所确定的照射和观察条件来渲染虚拟对象。将渲染的虚拟对象与场景对准。对成像的场景和/或对虚拟对象应用颜色变换，并且在照射和/或观察条件改变时，在显示装置(220)上实时显示渲染的虚拟对象与成像的场景的叠加。CN116057581ACN116057581A权利要求书1/3页1.一种用于在成像的场景(100)中显示虚拟对象(140)的方法，所述方法包括：a)使用成像装置(210)对场景(100)成像，所述场景包括目标设备(120)，所述目标设备(120)包括具有已知反射性质的一组颜色目标元件(121)和具有相对于所述颜色目标元件(121)的多个已知表面法线的一组一个或多个照射目标元件(122)；b)使用成像的目标设备(120)处理所述场景(100)的至少一个图像，以确定所述场景(100)的照射和观察条件；c)处理所述场景(100)的至少一个图像，以确定所述颜色目标元件(121)的测得颜色；d)考虑到所确定的照射和观察条件，基于所述颜色目标元件(121)的测得颜色和已知反射性质的比较来计算颜色变换参数；e)针对所确定的照射和观察条件渲染所述虚拟对象(140)；f)将渲染的虚拟对象(140)与成像的场景(100)对准；g)使用计算的颜色变换参数将颜色变换应用于成像的场景(100)或者将逆颜色变换应用于虚拟对象(140)；以及h)在显示装置(220)上显示渲染的虚拟对象(140)的至少一部分与成像的场景(100)的至少一部分的叠加。2.根据权利要求1所述的方法，其中，所述场景(100)包括样本对象(110)，并且其中，与样本对象(110)的非平面表面部分相邻地显示渲染的虚拟对象(140)的非平面表面部分，渲染的虚拟对象(140)的非平面表面部分具有对应于样本对象(110)的非平面表面部分的连续延续的形状。3.根据权利要求2所述的方法，其中，所述目标设备(120)位于样本对象(110)的表面上。4.根据前述权利要求中的任一项所述的方法，其中，渲染的虚拟对象(140)的显示部分被显示在显示装置(220)上所述目标设备(120)位于成像的场景(100)中的位置中。5.根据前述权利要求中的任一项所述的方法，包括：j)改变所述场景的照射和/或观察条件；以及k)对于改变的照射条件和/或观察条件，至少重复步骤a)、b)和e)至g)。6.根据权利要求5所述的方法，其中，至少步骤a)、b)和e)至g)被连续重复，使得渲染的虚拟对象(140)的至少一部分与成像的场景(100)的至少一部分的叠加以连续视频流的形式显示在显示装置(220)上，特别是在照射条件和/或观察条件改变时实时显示。7.根据前述权利要求中的任一项所述的方法，其中，采用移动电子装置(200)用于成像和显示两者，所述移动电子装置(200)包括成像装置(210)和显示装置(220)。8.根据前述权利要求中的任一项所述的方法，包括：将描述样本对象(110)的元数据传输到服务器；以及响应于所传输的元数据，从服务器返回虚拟对象(140)的外观属性。9.一种用于在成像的场景(100)中显示虚拟对象(140)的系统，所述系统包括：目标设备(120)，所述目标设备(120)包括具有已知反射性质的一组颜色目标元件(121)和具有多个已知表面法线的至少一个照射目标元件(122)：成像装置(210)；显示装置(220)；以及2CN116057581A权利要求书2/3页计算机系统，其被配置为执行以下步骤：a)