一种基于增强现实的实物编程方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108279878A(43)申请公布日2018.07.13(21)申请号201711381394.X(22)申请日2017.12.20(71)申请人中国科学院软件研究所地址100190北京市海淀区中关村南四街4号申请人中国科学院自动化研究所(72)发明人王丹力邓小舟金乔(74)专利代理机构北京君尚知识产权代理事务所(普通合伙)11200代理人司立彬(51)Int.Cl.G06F8/20(2018.01)G06F8/33(2018.01)G09B19/00(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于增强现实的实物编程方法及系统(57)摘要本发明公开了一种基于增强现实的实物编程方法及系统。本方法为：按照当前任务和设定的语法规则摆放实物编程块，得到一实物编程块序列；移动端增强现实编程处理单元调用移动端的摄像头捕捉当前所述实物编程块序列的图像，根据实物编程块的ID和语义的对应表将从所述图像中识别出的实物编程块序列转化为对应的程序指令，并将程序指令的运行效果叠加在真实场景中，构造增强现实的编程环境。本发明通过将实物编程和增强现实环境相结合来提高了系统的趣味性和娱乐性。在编程阶段，通过增强现实技术来为用户提供视觉实时反馈从而来帮助用户更容易地进行编程。CN108279878ACN108279878A权利要求书1/2页1.一种基于增强现实的实物编程方法，其步骤包括：按照当前任务和设定的语法规则摆放实物编程块，得到一实物编程块序列；移动端增强现实编程处理单元调用移动端的摄像头捕捉当前所述实物编程块序列的图像，根据实物编程块的ID和语义的对应表将从所述图像中识别出的实物编程块序列转化为对应的程序指令，并将程序指令的运行效果叠加在真实场景中，构造增强现实的编程环境。2.如权利要求1所述的方法，其特征在于，在编程阶段，包括编程区和迷宫提示区；其中，在编程区，移动端增强现实编程处理单元调用所述摄像头捕捉实物编程块序列的图像，并对实物编程块序列对应的程序进行分析，如果存在错误，则在真实环境中的实物编程块序列上叠加提示效果；所述提示效果包括指向错误编程块的图片提示或文字提示；在迷宫提示区，显示的当前任务对应的迷宫地图信息的缩略图。3.如权利要求1所述的方法，其特征在于，基于Unity3D环境开发所述移动端增强现实编程处理单元，基于安卓环境开发用于对所述实物编程序列的图像进行分析的计算机视觉识别程序；将所述计算机视觉识别程序编译为Unity3D的安卓插件嵌入到所述移动端增强现实编程处理单元，所述安卓插件将所述实物编程块序列的图像以JSON数据格式发送给所述移动端增强现实编程处理单元；所述JSON数据格式包含一个二维JSON数组，按图像中实物编程块的摆放顺序存放实物编程块的ID、横坐标和纵坐标。4.如权利要求1所述的方法，其特征在于，所述实物编程块包括开始编程块、结束编程块、方向编程块、循环控制编程块、分支控制编程块和函数编程块；所述循环控制编程块包括循环开始编程块、循环次数编程块、循环动作编程块和循环结束编程块，所述分支控制编程块包括分支编程块和条件编程块；所述函数编程块的不同面上设有不同的标识，每一标识对应一不同的子程序；编写不同子程序时，根据该子程序调整所述函数编程块的朝向，并将所述函数编程块放在该子程序首位。5.如权利要求1所述的方法，其特征在于，如果根据当前任务，当前编写的程序是主程序，则需要将开始编程块放置在程序的第一位置，结束编程之后，将结束编程块放置在程序的最后位置；所述循环控制编程块的摆放规则为“循环开始编程块+循环次数编程块+若干循环动作编程块+循环结束编程块”；所述分支控制编程块的摆放规则为首先放置分支编程块，然后在分支编程块的一侧放置条件编程块。6.一种基于增强现实的实物编程系统，其特征在于，包括若干实物编程块和一个移动端增强现实编程处理单元；其中，移动端增强现实编程处理单元，用于调用移动端的摄像头捕捉实物编程块序列的图像，根据实物编程块的ID和语义的对应表将从所述图像中识别出的实物编程块序列转化为对应的程序指令，并将程序指令的运行效果叠加在真实场景中，构造增强现实的编程环境；所述实物编程块序列为按照当前任务和设定的语法规则摆放所述实物编程块得到的实物编程块序列。7.如权利要求6所述的实物编程系统，其特征在于，在编程阶段，包括编程区和迷宫提示区；其中，在编程区，移动端增强现实编程处理单元调用所述摄像头捕捉实物编程块序列的图像，并对实物编程块序列对应的程序进行分析，如果存在错误，则在真实环境中的实物编程块序列上叠加提示效果；所述提示效果包括指向错误编程块的图片提示或文字提示；在迷宫提示区，显示的当前任务对应的迷宫地图信息的缩略图。