基于混合现实技术变电站智能运检辅助系统人机交互方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111367221A(43)申请公布日2020.07.03(21)申请号202010206387.1(22)申请日2020.03.23(71)申请人国网江苏省电力有限公司镇江供电分公司地址212001江苏省镇江市电力路182号申请人杭州梅格森测控技术有限公司(72)发明人孙海渤王智睿魏刚唐健阮爱民胡航李迎涛刘牛刘善军孙建中王昊炜徐溯(74)专利代理机构南京经纬专利商标代理有限公司32200代理人楼高潮(51)Int.Cl.G05B19/042(2006.01)权利要求书2页说明书5页附图3页(54)发明名称基于混合现实技术变电站智能运检辅助系统人机交互方法(57)摘要本发明公开了一种基于混合现实技术变电站智能运检辅助系统人机交互方法，包括二维码扫描模块、设备虚拟拆装模块和实时三维可视化模块；本发明实现变电站运检辅助系统的设备虚拟拆装，实时三维可视化，远程专家辅助功能，以二维码作为模块的入口标识。通过扫描二维码，系统获取设备的信息，调用设备的三维模型和动画，通过GGV交互，实现对设备的移动、旋转、拆装、还原等设备虚拟拆装操作，方便运维人员了解设备内部结构和操作方法，提高技术水平和工作效率及安全性。通过扫描二维码，获取URL地址，系统调用浏览器实现实时数据显示、超限报警等实时三维可视化功能，实现运维智能化、自动化。CN111367221ACN111367221A权利要求书1/2页1.一种基于混合现实技术变电站智能运检辅助系统人机交互方法，所述基于混合现实技术变电站智能运检辅助系统基于微软混合现实平台HoloLens，包括设备虚拟拆装模块、实时三维可视化模块；其特征在于，混合现实技术变电站智能运检辅助系统以二维码作为人工标识，用以识别电力设备以及URL地址，扫描二维码方法包括：步骤S1，当激活二维码识别程序后，系统启动摄像头，如果启动不成功，则提示打开摄像头失败，并重启摄像头，如果启动成功，则显示扫描方框，并文字提示用户在此范围内扫描；步骤S2，摄像头启动成功后，摄像头开始捕获单击手势，如果捕获未成功，则重新捕获单击手势，如果捕获成功，则获取一帧摄像机图像数据；步骤S3，对图像进行裁剪，保留二维码区域；步骤S4，求世界坐标系中二维码扫描坐标；步骤S5，将投影坐标转换成为PhotoCapture拍摄的图像上的坐标；步骤S6，将图像进行垂直反转；步骤S7，调用zxing库对二维码图像进行解码，如果解码失败，则摄像头重新捕获单击手势；步骤S8，如果解码成功，则根据解析的字符串，查找对应场景；步骤S9，如果没有对应场景，则摄像头重新捕获单击手势，如果有对应场景，则加载对应场景；设备虚拟拆装模块使用语音识别实现对设备三维模型虚拟拆装，语音识别虚拟拆装方法包括：步骤S1，当激活设备虚拟拆装模块后，系统加载模型到场景中；步骤S2，监听语音输入；步骤S3，当消息为第一语音时，如果模型为注视焦点，则响应模型移动手势，用户可使用拖拽手势移动模型到合适位置，如果模型不是注视焦点，则不响应手势；步骤S4，当消息为第二语音时，如果模型为注视焦点，则响应模型旋转手势，用户可使用拖拽手势旋转模型，进行全方位观察，如果模型不是注视焦点，则不响应手势；步骤S5，当消息为第三语音时，将设备三维模型分解，此时当模型部件为注视焦点时，可响应模型移动手势；步骤S6，当消息为第四语音时，解体的设备三维模型恢复原状；实时三维可视化模块对设备运行状态实时三维显示报警，三维可视化方法包括：步骤S1，当设备端程序激活时，传感器开始采集数据；步骤S2，将采集到的数据发送给PLC设备；步骤S3，如果通信超时，则对命令帧分析，然后清除缓冲区；当通信不超时，判断是否集满一帧数据；步骤S4，如果帧数据不满，则PLC继续接收字符，如果满一帧，则进行命令帧分析；步骤S5，如果命令帧错误，则发送错误响应帧，然后清除缓冲区；步骤S6，如果命令帧正确，则发送帧至后台，最后清除缓冲区；步骤S7，当后台程序激活时，后台服务器开始接收电力设备状态信息；2CN111367221A权利要求书2/2页步骤S8，对数据进行封装，生成JSON数据；步骤S9，建立WebSoket服务，监听服务请求。步骤S10，当前端程序激活时，前端页面开始加载三维模型；步骤S11，发出WebSoket通信请求，如果请求未响应，则继续发送WebSoket通信请求；步骤S12，当请求被响应时，前端接收后台发送的JSON数据；步骤S13，当数据未超限时，模型和数据正常显示，当数据超限时，相关模型部件以红色警示。2.如权利要求1所述的基于混合现实技术变电站智能运检辅助系统人机交互方法，其特征在于，扫描二维码方法，利用C#语言编写程序，在Unity和VisualStud