用于增强现实中用户交互的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110895433A(43)申请公布日2020.03.20(21)申请号201910850664.X(22)申请日2019.09.10(30)优先权数据16/128,8602018.09.12US(71)申请人精工爱普生株式会社地址日本东京都(72)发明人郭翔(74)专利代理机构北京三友知识产权代理有限公司11127代理人黄纶伟李辉(51)Int.Cl.G06F3/01(2006.01)G06F3/0481(2013.01)权利要求书2页说明书16页附图14页(54)发明名称用于增强现实中用户交互的方法和装置(57)摘要用于增强现实中用户交互的方法和装置。该方法包括以下步骤：由摄像头获取真实场景中具有已知几何结构的对象的图像帧；并且估计该对象在图像帧中相对于摄像头的姿态。通过在3D坐标系中的3D位置处渲染光标，在显示器上显示光标。在对象的预定部分落在该3D位置处时，向用户呈现输出。输出的内容基于对象的预定部分。CN110895433ACN110895433A权利要求书1/2页1.一种由一个或更多个处理器在具有摄像头和显示器的装置中实施的方法，该方法包括以下步骤：由所述摄像头获取真实场景中具有已知几何结构的对象的图像帧；估计所述对象在所述图像帧中相对于所述摄像头的姿态；通过在3D坐标系中的3D位置处渲染光标，在所述显示器上显示所述光标；在所述对象的预定部分落在所述3D位置处时，向用户呈现输出，所述输出的内容基于所述对象的所述预定部分。2.根据权利要求1所述的方法，其中，估计所述对象的姿态的步骤包括使用以下至少一项来估计所述对象在所述图像帧中相对于所述摄像头的姿态：(i)与处于一个或更多个已知姿态的所述对象对应的模板数据；以及(ii)从所述图像帧之前的另一图像帧得到的另一姿态。3.根据权利要求1所述的方法，其中，向用户呈现输出的步骤包括借助耦接到所述装置的用户接口硬件部件向用户呈现输出。4.根据权利要求3所述的方法，其中，向用户呈现输出的步骤包括借助用户接口硬件部件向用户呈现输出，该用户接口硬件部件包括所述显示器、音频扬声器和/或触觉装置。5.根据权利要求1所述的方法，所述方法还包括以下步骤：跟踪用户眼睛的方位；以及基于所跟踪的所述用户眼睛的方位确定所述3D坐标系中的所述3D位置。6.根据权利要求5所述的方法，其中，基于所跟踪的所述用户眼睛的方位确定所述3D坐标系中的所述3D位置的步骤包括：确定从处于所跟踪的方位的所述用户眼睛延伸的假想线的交点；并且将所确定的交点设置为在所述3D坐标系中渲染所述光标的所述3D位置。7.根据权利要求1所述的方法，其中，在所述显示器上显示光标的步骤包括通过在3D位置处渲染光标来在所述显示器上显示所述光标，该3D位置在3D坐标系的至少两个维度上固定。8.根据权利要求1所述的方法，其中，所述装置包括头戴式显示装置，该头戴式显示装置包括所述摄像头和所述显示器，并且所述显示器包括光学透视显示器。9.根据权利要求1所述的方法，其中，在所述对象的预定部分落在所述3D位置处时向用户呈现输出的步骤包括在所述对象的预定部分落在所述3D位置处的时间长于预定量的时间时，向用户呈现输出。10.根据权利要求1所述的方法，其中，在所述对象的预定部分落在所述3D位置处时向用户呈现输出的步骤包括在所述对象的预定部分落在离所述3D位置的距离小于预定距离的位置处时，向用户呈现输出。11.一种由一个或更多个处理器在具有摄像头和显示器的装置中实施的方法，该方法包括以下步骤：由所述摄像头获取真实场景中的对象的图像帧；估计所述对象在所述图像帧中相对于所述摄像头的姿态；在所述对象的所述姿态落在预定姿态内时，向用户呈现输出，所述输出的内容基于所述预定姿态。12.根据权利要求11所述的方法，其中，估计所述对象的姿态的步骤包括使用以下至少2CN110895433A权利要求书2/2页一项来估计所述对象在所述图像帧中相对于所述摄像头的姿态：(i)与处于一个或更多个已知姿态的所述对象对应的模板数据；以及(ii)从所述图像帧之前的另一图像帧得到的另一姿态。13.根据权利要求11所述的方法，其中，向用户呈现输出的步骤包括借助耦接到所述装置的用户接口硬件部件向用户呈现输出。14.根据权利要求13所述的方法，其中，向用户呈现输出的步骤包括借助用户接口硬件部件向用户呈现输出，该用户接口硬件部件包括所述显示器、音频扬声器和/或触觉装置。15.根据权利要求11所述的方法，其中，所述装置包括头戴式显示装置，该头戴式显示装置包括所述摄像头和所述显示器，并且所述显示器包括光学透视显示器。16.根据权利要求11所述的方法，其中，在所述对象的所述姿态落在预定姿态内时向用户呈现输出的步骤包括在所述对象的所述