一种基于互联网、表情识别和语音识别的教学系统及其实现方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107203953A(43)申请公布日2017.09.26(21)申请号201710599607.X(22)申请日2017.07.14(71)申请人深圳极速汉语网络教育有限公司地址518000广东省深圳市南山区粤海街道科苑路11号金融科技大厦A座五楼D单元科技园创业孵化器(72)发明人卢旭峰(74)专利代理机构成都顶峰专利事务所(普通合伙)51224代理人赵正寅(51)Int.Cl.G06Q50/20(2012.01)G06K9/00(2006.01)G10L15/02(2006.01)H04L29/08(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于互联网、表情识别和语音识别的教学系统及其实现方法(57)摘要本发明公开了一种基于互联网、表情识别和语音识别的教学系统及其实现方法，实现方法包括：S1、第一终端进行教学课程内容播放；S2、播放中，采集用户的视频数据信息、语音数据信息和用户操作；S3、发送至主控处理器；S4、主控处理器提取用户面部特征和发音特征送入分析处理器；S5、分析处理器将面部特征和发音特征分别与标准模板进行比较；S6、主控处理器根据用户当前操作和分析处理器的反馈，动态调整播放的教学课程的内容或/和教学流程，或通过云平台实时发送比较结果至第二终端。本发明是一款具有移动性、娱乐性和社交性等特点的教学软件，可以提供给学生课外随时随地自学的机会，辅助真人在线教学模式，从而改进传统的对外汉语教学模式。CN107203953ACN107203953A权利要求书1/2页1.一种基于互联网、表情识别和语音识别的教学系统，其特征在于，包括云平台、第一终端、第二终端、分析处理器、主控处理器；云平台，用于从该云平台下载与用户身份对应的教学课程至内容呈现模块，并保存用户信息至数据库；第一终端包括以下模块；内容呈现模块，将下载的教学课程的内容和用户的三维头像呈现给用户；音频播放模块，将教学课程的录音和用户的语音播放出来；视频信息采集模块，在教学课程播放时采集用户的视频数据信息；语音信息采集模块，在教学课程播放时采集用户的语音数据信息；用户输入模块，收集用户的操作信息；分析处理器，获取用户的视频数据信息中的面部特征和语音数据信息中的发音特征并与数据库中的标准模板进行比较，并将比较结果发送至主控处理器；主控处理器，对用户视频数据信息和语音数据信息进行预处理，提取用户面部特征和发音特征发送至分析处理器，并根据当前用户操作和分析处理器返回的比较结果动态调整显示的教学课程的内容或/和教学流程，或实时发送比较结果至云平台；第二终端，与云平台通信，实时获取比较结果信息。2.根据权利要求1所述的一种基于互联网、表情识别和语音识别的教学系统，其特征在于，所述内容呈现模块为第一终端的屏幕；音频播放模块为第一终端的扬声器；视频信息采集模块为第一终端的摄像头；语音信息采集模块为第一终端的语音采集器；用户输入模块为第一终端的键盘或触摸屏。3.根据权利要求1所述的一种基于互联网、表情识别和语音识别的教学系统，其特征在于，所述第一终端和第二终端均为电脑、手机或平板电脑。4.根据权利要求1所述的一种基于互联网、表情识别和语音识别的教学系统，其特征在于，还包括统计模块，用于统计用户的历史学习信息，并存储在数据库中。5.根据权利要求1-4任意一项所述的一种基于互联网、表情识别和语音识别的教学系统的实现方法，其特征在于，包括如下步骤：S1、第一终端进行教学课程内容播放；S2、播放中，视频信息采集模块采集用户的视频数据信息，语音信息采集模块采集用户的语音数据信息，用户输入模块采集用户操作；S3、将采集的视频数据信息和语音数据信息解码后发送至主控处理器；S4、主控处理器进行预处理，提取用户面部特征和发音特征送入分析处理器；S5、分析处理器将面部特征和发音特征分别与数据库中的标准模板进行比较，并将比较结果反馈至主控处理器；S6、主控处理器根据用户当前操作和分析处理器的反馈，动态调整播放的教学课程的内容或/和教学流程，或通过云平台实时发送比较结果至第二终端。6.根据权利要求5所述的一种基于互联网、表情识别和语音识别的教学系统的实现方法，其特征在于，还包括如下步骤：2CN107203953A权利要求书2/2页S7、将用户的视频数据信息、语音数据信息、操作信息、发生的时间及主控处理器相应的处理结果通过网络传输存储至云平台；S8、统计用户的历史学习信息并存储在数据库中。7.根据权利要求5所述的一种基于互联网、表情识别和语音识别的教学系统的实现方法，其特征在于，所述步骤S5中，面部特征与数据库中标准模板进行比较，得出愉快、不耐烦、疑惑、失望、疲劳、兴奋、期待、生气或反感的表情；发音特征与