预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共14页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110364260A(43)申请公布日2019.10.22(21)申请号201910605995.7G06N3/08(2006.01)(22)申请日2019.07.05(71)申请人昆山杜克大学地址215300江苏省苏州市昆山市杜克大道8号申请人中山大学附属第三医院(72)发明人邹小兵潘悦然蔡昆京(74)专利代理机构佛山帮专知识产权代理事务所(普通合伙)44387代理人颜春艳(51)Int.Cl.G16H50/30(2018.01)G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书9页附图2页(54)发明名称基于指示性语言范式的孤独症早期评估装置及系统(57)摘要本发明提出了一种基于指示性语言范式的孤独症早期评估装置和系统,所述装置包括:数据获取模块,用于获取实验环境内试验过程中的多模态音视频数据;预处理模块,用于基于时间戳同步对齐所获取的多模态音视频数据,并通过语音识别获取指示性语言发出后预设时间内的特定多模态音视频数据;特征获取模块,用于根据特定多模态音视频数据,获取指示性语言内容所针对对象的位置信息,并逐帧获取视频帧中被试者的相关特征信息;训练分类器模块,确定相关特征信息是否与指示性语言内容所针对对象相关,并根据分析结果进行训练分类器;预测评估模块,通过孤独症预测模型对被试者进行预测评估,并得出评估结果。CN110364260ACN110364260A权利要求书1/2页1.一种基于指示性语言范式的孤独症早期评估装置,其特征在于,包括数据获取模块,用于获取实验环境内指示性语言范式试验过程中的被试者、评估者、照顾者及指示道具的多模态音视频数据;预处理模块,用于基于时间戳同步对齐所获取的多模态音视频数据,并通过语音识别获取指示性语言发出后预设时间内的特定多模态音视频数据;特征获取模块,用于根据预处理模块处理后的特定多模态音视频数据,获取指示性语言内容所针对对象的位置信息,并逐帧获取视频帧中被试者的相关特征信息,所述相关特征信息包括面部朝向信息、眼神朝向信息、手势信息、姿势信息中的一种或多种;训练分类器模块,根据所述相关特征信息,并结合指示性语言内容所针对对象的位置信息进行分析,确定相关特征信息是否与指示性语言内容所针对对象相关,并根据分析结果进行训练分类器,得到孤独症预测模型;预测评估模块,用于根据指示性语言内容所针对的人或物的位置信息及被试者的相关特征信息,通过孤独症预测模型进行预测评估,并得出评估结果。2.如权利要求1所述基于指示性语言范式的孤独症早期评估装置,其特征在于,特征获取模块包括声纹识别单元,用于通过声纹识别对音频数据中说话人进行身份识别,以确定被试者及照顾者身份,进而再通过面部朝向信息获取单元、眼神朝向信息获取单元、手势信息获取单元、姿势信息获取单元和/或位置信息获取单元获取被试者及照顾者的相应特征信息;语音内容信息获取单元,用于通过语音识别将说话者的语音进行文本转换,以获取语音内容信息;面部朝向信息获取单元,用于通过脸部检测获取脸部特征点,并确定其空间的3D特征点云;通过脸部特征点的3D特征点云确定脸部平面的法线向量,从而获取面部朝向信息;眼神朝向信息获取单元,用于根据视频帧中双眼特征点的像素点坐标和深度数据,确定双眼特征点的空间3D坐标;并以双眼特征点的空间3D坐标作为目光追踪神经网络模型的输入,从而获取眼神方向信息;手势信息获取单元,用于通过物体检测神经网络所训练的手势检测器,获取视频帧中的手势及手指指向信息;姿势信息获取单元,用于通过训练好的卷积神经网络对被试者的人体关键点进行估计,各关键点连结成骨架图进而识别人体姿势;位置信息获取单元,用于获取指示性语言内容所针对对象的位置信息。3.如权利要求2所述基于指示性语言范式的孤独症早期评估装置,其特征在于,特征获取模块还包括反应时间获取单元,用于获取指示性语音发出后被试者的反应时间。4.如权利要求2所述基于指示性语言范式的孤独症早期评估装置,其特征在于,还包括身份重识别单元,用于根据在视频帧中所获取的指示性语言内容所针对对象进行身份重识别。5.如权利要求4所述基于指示性语言范式的孤独症早期评估装置,其特征在于,所述身份识别单元包括识别子单元,用于通过语音识别指示性语言内容所针对对象;2CN110364260A权利要求书2/2页检测子单元,用于根据预设算法模型在视频帧中截取所针对对象的矩形框;重识别子单元,用于通过深度神经网络将检测子单元中所截取的矩形框内容与预先设置的矩形框内容作为输入提取特征后进行特征比对,计算二者的欧式距离,根据欧拉距离确定检测子单元中的矩形框内容是否为指示性语言内容所针对对象;其中,通过对