增强现实环境下的控制应用程序的开发.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108628595A(43)申请公布日2018.10.09(21)申请号201810218598.X(51)Int.Cl.(22)申请日2018.03.16G06F8/20(2018.01)G06F3/01(2006.01)(30)优先权数据62/472,2222017.03.16US15/918,0812018.03.12US(71)申请人西门子股份公司地址德国慕尼黑(72)发明人王玲云哈桑·锡南·班克马列伊克·克里茨勒帕尼·拉姆·库马尔·库鲁冈蒂纳温·库马尔·辛加吴子彦(74)专利代理机构北京集佳知识产权代理有限公司11227代理人高岩杨林森权利要求书2页说明书10页附图4页(54)发明名称增强现实环境下的控制应用程序的开发(57)摘要公开了一种用于开发用于在自动化系统中使用的控制器的控制应用的系统和方法。在控制应用程序的执行期间控制器接收与第一真实部件的感知相关联的传感器信号。模拟虚拟部件的活动，所述活动包括与第一真实部件的交互，虚拟部件是针对工作环境而设计的第二真实部件的数字孪生且在工作环境中不存在。响应于所模拟的虚拟部件的活动来生成虚拟数据。控制应用模块利用针对第一真实部件的传感器信号和虚拟数据来确定用于开发控制应用程序的参数。在控制应用程序的执行期间，基于虚拟数据的数字表示来渲染和显示用于工作环境的增强现实显示信号。CN108628595ACN108628595A权利要求书1/2页1.一种基于计算机的方法，所述方法用于开发用于在自动化系统中使用的控制器的控制应用程序，所述方法包括：在所述控制应用程序的执行期间，由所述控制器接收与在工作环境中第一真实部件的感知相关联的传感器信号；模拟虚拟部件的活动，所述活动包括与所述第一真实部件的交互，其中，所述虚拟部件是针对所述工作环境而设计的第二真实部件的数字孪生且在所述工作环境中不存在，并且所模拟的活动与由所述控制应用程序控制的任务相关；响应于所模拟的所述虚拟部件的活动来生成虚拟数据；利用针对所述第一真实部件的所述传感器信号和所述虚拟数据来确定用于开发所述控制应用程序的参数；在所述控制应用程序的执行期间，基于所述虚拟数据的数字表示来渲染用于所述工作环境的增强现实显示信号；以及在增强现实设备上显示所渲染的增强现实显示信号。2.根据权利要求1所述的方法，还包括：接收来自所述增强现实设备的用户界面的输入，以在对所述第一真实部件与所述虚拟部件之间的交互的重复模拟期间改变所述控制应用程序的参数。3.根据权利要求1所述的方法，还包括：响应于从所述增强现实设备接收到用户输入而中断所述控制应用程序的执行；以及利用从所述增强现实设备获得的知识来调整用于所述控制应用程序的控制参数。4.根据权利要求1所述的方法，还包括：利用增强现实仿真的真实-真实模式来测试所述控制应用程序，其中，执行所述控制应用程序包括处理与存在于所述工作环境中的第二真实部件的感知相关联的传感器信号并且替换在所述工作环境中的所述虚拟部件；以及在所述控制应用程序的执行期间渲染包括叠加在所述工作环境上的虚拟对象的增强现实显示信号。5.根据权利要求1所述的方法，还包括：利用增强现实仿真的真实-真实模式来测试所述控制应用程序，其中，执行所述控制应用程序包括处理与存在于所述工作环境中的第二真实部件的感知相关联的传感器信号并且替换在所述工作环境中的所述虚拟部件；以及将包括所述第二真实部件的虚拟路径或运动的增强现实显示信号渲染成所述控制应用程序的执行的视觉预测。6.根据权利要求1所述的方法，其中，所述传感器信号对应于用于以下工作环境元件中的一个或更多个的传感器：工件、机器人单元、工作表面或视觉系统。7.根据权利要求1所述的方法，其中，所述传感器信号包括以下感测的参数中的一个或更多个：运动、振动、温度、压力、视觉、音频或速度。8.根据权利要求1所述的方法，其中，所述虚拟数据模仿到所述控制器的真实传感器输入。9.一种系统，包括：用于自动化系统的控制器，所述控制器包括控制应用程序，所述控制应用程序包括被2CN108628595A权利要求书2/2页配置成执行所述自动化系统中的一个或更多个部件的控制任务的第一模块，其中，所述第一模块被配置成：接收与工作环境中的第一真实部件的感知相关联的传感器信号；包括第二模块的服务器，所述第二模块被配置成：模拟虚拟部件的活动，所述活动包括与所述第一真实部件的交互，其中，所述虚拟部件是针对所述工作环境而设计的第二真实部件的数字孪生且在所述工作环境中不存在，并且所模拟的活动与由所述控制应用程序控制的任务相关；以及响应于所模拟的所述虚拟部件的活动来生成虚拟数据；其中，所述第一模块被配置成利用针对所述第一真实部件的所述传感器信号和所述虚拟数据来确定用于