自然手语翻译器系统设计和实现.docx

自然手语翻译器系统设计和实现摘要：为了更好的服务好聋人群体社会做了很多努力。但手语普及和学习的困难影响了服务的实际效果。为了解决这个问题文章提出了一套聋人自然手语资源建设、服务平台开发和手机终端APP实现的综合方案。该方案在电子化自然手语资源的基础上综合运用了自然语言处理、知识管理、3D动画建模、移动互联技术、Android开发等技术开发了聋人自然手语翻译器。整个系统由自然手语生成子系统、自然手语资源管理子系统和手语展示客户端组成。自然手语生成子系统包括自然语言处理、自然手语动画自动生成等模块；自然手语资源管理子系统完成对自然手语相关资源的管理包括自然语言语义知识、自然手语转换语义知识、手语资源氰该系统经济实用应用广泛使用便捷前景广阔可用于手语学习、手语虚拟主持人有助于手语的学习和推广'促进和谐社会的建设与发展。关键词：手语翻译；自然语言处理；动画自动生成；知识管理0引言根据第六次全国人口普查我国总人口数以及第二次全国残疾人抽样调查我国残疾人数占全国总人口数的比例和各类残疾人数占残疾人总人数的比例推算2014年末我国聋人总人数2700万人。中国社会对聋人群体非常关心彭丽嫒女士曾多次到特殊学校看望聋人儿童给其带去社会的关爱。然而由于手语学习比较困难很少有志愿者懂得手语可以和聋人进行交流很大影响了社会服务的效果也不利于聋人融入社会。1现状分析为了解决手语学习上的困境国内外的学者进行了一些尝试如微软亚洲研究院和中科院的Kinect手语翻译系统和东芝公司的手语机器人等。（1）微软亚洲研究院和中科院的Kinect手语翻译系统：能将手语翻译成口语。（2）日本东芝公司的手语机器人：名AikoChihira拥有逼真的外观内置Android系统可以自我介绍、眨眼和微笑可以模拟出各种手语和人交流。这些软件或系统为手语翻译的研究带来了新的理念和技术但是并不能真正用于中国聋人群体中主要原因在于这些软件或系统要么是一个真正的机器人不能推广到普通家庭要么实现了手语手势的识别不能直接用于手语学习。本文在自然手语专家积累的自然手语资源的基础上综合运用了自然语言处理、知识管理、3D动画建模、移动互联网、Android开发等技术以用户体验为核心设计开发了聋人自然手语翻译器。2总体设计自然手语翻译器系统的模块结构如图l所示。自然手语翻译器系统的主要功能包括：（1）自然语言处理模块：包括语义理解、纠错、全简称识别等功能。能完成汉语文字到自然手语词汇序列的翻译。（2）自然手语动画自动生成（也称：手语合成）：利用自然手语调序语义规则、自然手语动画生成语义规则等对资源库手语动画（手语词汇动画）进行最优组合形成完整的自然手语动画或图片。（3）手语资源管理子系统提供了对手语调序语义规则、自然手语动画生成语义规则的管理同时提供了其他手语专家和聋人建设的手语资源的接入和同步功能。本系统主要包括以下3个部分如图2所示。（1）自然手语生成子系统：为手机APP和其他接入的手语展示应用提供自然手语资源的服务。主要功能包括：①自然语言处理；②手语动画自动生成。（2）自然手语资源管理子系统：对自然手语资源库中的各种资源进行管理。自然手语资源库包括2类资源的管理。①自然手语资源：手语图片库、手语视频库和手语动画库；②自然手语资源服务中所需的其他资源：日常对话、语素、词语短语、同义词、术语语义网、自然手语文法和自然语言文法等。（3）手语展示客户端：在手语展示客户端（目前主要针对手机APP）展示手语如动画或图片等。自然语言处理技术包括如何进行语义理解、纠错、拼音术语全简称等的识别。首先建设了日常生活中的手语句子、词汇的语义库该库包含了这些词汇的同义词词典词汇上下文信息词典等各种词典和手语句子的文法信息；然后进行了综合最大前向和最大后向的分词并在此基础上进行拼音和纠错；最后进行了基于文法的句子含义自动匹配和生成。自然手语的3D动画建模技术包括自然手语的角色模型建设和手语动作、面部表情等的建模、手Key动作优化等。团队首先选择了3DsMax作为动画建模软件利用这个软件构建3个人物角色模型包括：成人男、成人女、小孩。然后进行了动作建模。已经通过手key的方式建了30个动作模型。拟利用国内最先进的动作捕获设备将日常对话300句中涉及的所有自然手语由手语专家分别进行表演并进行动作捕获从而生成原始的动画并拍摄手语视频；然后对这些动画进行人工的调优形成可用的动画。手语动画自动生成技术：将自然手语词汇序列的每一个自然手语词汇对应的手语动画自动拼接形成完整的手语动画。利用Unit