盲人智能终端交互辅助系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107093353A(43)申请公布日2017.08.25(21)申请号201710508698.1(22)申请日2017.06.28(71)申请人西安电子科技大学地址710068陕西省西安市太白南路2号(72)发明人吴家宝余文韬王晶王子彧许肇源付家瑄梁展浩雍佳慧魏雨薇晋宇飞沈杨(74)专利代理机构西安铭泽知识产权代理事务所(普通合伙)61223代理人俞晓明(51)Int.Cl.G09B21/00(2006.01)权利要求书1页说明书5页附图3页(54)发明名称盲人智能终端交互辅助系统(57)摘要本发明公开了盲人智能终端交互辅助系统，涉及智能终端技术领域，提出了将图形界面分析整理转化成盲文显示的概念，并且能够对较长文本自动摘要。同时系统将盲文显示技术与语音识别、按键输入相结合，为盲人与智能设备间提供了多样化的交互方式，极大地满足了盲人用户在不同场合对智能设备的使用需求。这样智能且综合的交互辅助系统的应用必将对盲人与智能设备的交互方式产生全新的影响。本发明功能实用，性能稳定，使用灵活，成本为现有盲文点显器价格的1/20，随着智能设备的普及，本设备能够在盲人辅助设备市场产生可观的经济效益。此外本系统基于Android这一开放性平台，不仅针对智能手机，还可应用于平板电脑、导航仪等多种智能设备，适用范围广阔。CN107093353ACN107093353A权利要求书1/1页1.一种盲人智能终端交互辅助系统，其特征在于，包括移动终端和外部设备，所述移动终端上安装有APP应用程序，该APP应用程序包括UI分析、汉盲转换和语音助手三个模块；所述UI分析模块利用AccessibilityService服务接口对所述移动终端上显示的图形界面进行分析并整理，所述汉盲转换模块将整理后的汉字信息转换为盲文信号然后通过蓝牙设备传输到所述外部设备上，所述语音助手模块调用科大讯飞语音识别引擎进行语音信息的处理；所述外部设备分为电刺激盲文显示和键盘两个模块，所述电刺激盲文显示模块借鉴电子针灸技术，将获取的盲文信号解析并控制每个触点脉冲信号的输出，盲人通过触摸电极产生的电刺激感来识别盲文，所述键盘模块通过选择显示信息、盲文输入和快捷功能控制所述移动终端的显示和输入。2.如权利要求1所述的盲人智能终端交互辅助系统，其特征在于，所述UI分析模块将所述移动终端上显示的界面上的所有窗口信息获取，并根据窗口中原有的属性进行分类，生成完整的UI布局数据树，所述UI布局数据树即为多个文本组成的树形结构；对于所述UI布局数据树中字数超过一定数量的文本，所述UI分析模块还使用TextRank算法对长文本进行自动摘要，得到中文摘要文本。3.如权利要求2所述的盲人智能终端交互辅助系统，其特征在于，得到文本后，所述汉盲转换模块首先根据汉字字库对文本进行自动分词，得到多个汉语分词，然后根据汉语拼音库将汉语分词转换为对应的汉语拼音，接着根据汉语拼音-盲文拼音库将汉语拼音转换为对应的盲文拼音，最终得到盲文文本，将盲文文本通过蓝牙设备传输至电刺激盲文显示模块予以显示。4.如权利要求3所述的盲人智能终端交互辅助系统，其特征在于，在将汉语分词转换为汉语拼音前，所述汉盲转换模块会首先判断分词中的字是否为多音字，如果是多音字，则使用多音字字符库按照多音字识别规则来判断哪个音节最符合该字；如果不是多音字，则直接根据汉语拼音库将每个汉字转换为相应的拼音，把一个分词中每个字的拼音组成拼音组后输出为汉语拼音。5.如权利要求1所述的盲人智能终端交互辅助系统，其特征在于，所述语音助手模块先通过移动终端的麦克风接收盲人的语音输入，然后使用科大讯飞语音处理引擎将语音输入转换为对应的文字，接着对文字进行分析，识别其中的关键词，判断识别得到的关键词是否为预设命令，如果是预设命令，则按照命令表执行，如果不是预设命令，则作为字符串输入。2CN107093353A说明书1/5页盲人智能终端交互辅助系统技术领域[0001]本发明涉及智能终端技术领域，特别是涉及盲人智能终端交互辅助系统。背景技术[0002]视力残疾俗称“盲"，它涵盖了我们日常生活中所说的盲和低视力两类。据世界卫生组织(WHO)2010年统计，全球2.85亿人视力受损，其中盲人占3900万，低视力者占2.46亿。中国是世界上盲人最多的国家，约有825万盲人，占世界盲人人口数目的21％。人口增长和老龄化加快，眼科专业医护人员缺少，防盲治盲意识缺乏以及医学技术落后，是我国盲人人数不断上升的主要原因。每年我国约有45万人失明，几乎每分钟就会增加一例新的盲人。按照这种发展趋势，预期中国盲人数量到2020年将增加4倍。因此，越来越庞大的盲人群体，需要社会各界更多的关爱和支持。视力残疾者是指由于各种