基于鹦鹉学舌语言范式行为分析的孤独症评估装置及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110353703A(43)申请公布日2019.10.22(21)申请号201910605991.9G16H50/20(2018.01)(22)申请日2019.07.05(71)申请人昆山杜克大学地址215300江苏省苏州市昆山市杜克大道8号申请人中山大学附属第三医院(72)发明人邹小兵潘悦然蔡昆京(74)专利代理机构佛山帮专知识产权代理事务所(普通合伙)44387代理人颜春艳(51)Int.Cl.A61B5/16(2006.01)G06K9/00(2006.01)G06K9/62(2006.01)G06K9/66(2006.01)权利要求书2页说明书8页附图2页(54)发明名称基于鹦鹉学舌语言范式行为分析的孤独症评估装置及系统(57)摘要本发明提出了一种基于鹦鹉学舌语言范式行为分析的孤独症评估装置及系统，所述装置包括数据获取模块，用于获取试验过程中被试者及照顾者的音频数据、视频数据；特征获取模块，根据声纹识别说话人身份，逐帧获取在确定照顾者发出诱导语音后预设时间内视频帧中被试者的相关特征信息；分类器训练模块，用于根据所述相关特征信息，并结合诱导语音内容所对应的回答词句库进行分析，对被试者的反应进行分类，并训练分类器，得到孤独症预测模型；预测评估模块，用于根据被试者的所述相关特征信息进行孤独症评估。本发明根据被试者在照顾者提出开放性问题后的语言及其他行为模式进行分析，客观地对被试者进行孤独症谱系障碍评估，使评估更加准确与方便。CN110353703ACN110353703A权利要求书1/2页1.一种基于鹦鹉学舌语言范式行为分析的孤独症评估装置，其特征在于，包括数据获取模块，用于获取试验过程中被试者及照顾者的音频数据、视频数据；特征获取模块，用于根据声纹识别说话人身份，逐帧获取在确定照顾者发出诱导语音后预设时间内视频帧中被试者的相关特征信息，所述相关特征信息包括语音内容信息、语音情绪信息、目光朝向信息、头部朝向信息和面部表情信息中的一种或多种；分类器训练模块，用于根据所述相关特征信息，并结合诱导语音内容所对应的回答词句库进行分析，对被试者的反应进行分类；根据被试者的反应类别及相应获取的特征信息训练分类器，得到孤独症预测模型；其中，被试者的反应类别及该类别相应获取的特征作为分类器的输入，被试者是否患有孤独症作为分类器的输出；预测评估模块，用于根据被试者的所述相关特征信息，通过孤独症预测模型进行预测评估，并得出评估结果。2.如权利要求1所述基于鹦鹉学舌语言范式行为分析的孤独症评估装置，其特征在于，还包括数据预处理模块，用于基于时间戳将视频数据与音频数据在时间轴上同步对齐。3.如权利要求1所述基于鹦鹉学舌语言范式行为分析的孤独症评估装置，其特征在于，特征获取模块包括声纹识别单元、语音内容信息获取单元、语音情绪信息获取单元、目光朝向信息获取单元、头部朝向信息获取单元和面部表情信息获取单元，其中声纹识别单元，用于通过声纹识别对音频数据中说话人进行身份识别，以确定被试者及照顾者身份；并用于在确定照顾者在发出诱导语音后，再根据预设时间内视频帧内容从语音内容信息获取单元、语音情绪信息获取单元、目光朝向信息获取单元、头部朝向信息获取单元和/或面部表情信息获取单元中获取被试者的相应特征信息；语音内容信息获取单元，用于通过语音识别将说话者的语音进行文本转换，以获取语音内容信息；语音情绪信息获取单元，用于通过深度神经网络获取包含情感信息的嵌入层信息进行情感的分类，以获取语音情绪信息；目光朝向信息获取单元，用于获取被试者在预设时间内是否看向照顾者的信息；头部朝向信息获取单元，用于通过脸部检测获取脸部特征点，并确定其空间的3D特征点云；通过脸部特征点的3D特征点云确定脸部平面的法线向量，从而获取头部朝向信息；面部表情信息获取单元，用于对视频帧中的被试者进行人脸识别，获取人脸矩形框并对齐后作为表情识别模型的输入，以获取被试者的表情分类。4.如权利要求3所述基于鹦鹉学舌语言范式行为分析的孤独症评估装置，其特征在于，特征获取模块还包括坐标位置信息获取单元，用于获取被试者和/或照顾者的坐标位置信息。5.如权利要求4所述基于鹦鹉学舌语言范式行为分析的孤独症评估装置，其特征在于，坐标位置信息获取单元，用于根据视频帧中相应像素点的横坐标、纵坐标以及对应深度图中的深度数据，并结合预先获取的摄像头组件光学参数，确定该像素点相对摄像机坐标系的3D坐标。6.如权利要求1所述基于鹦鹉学舌语言范式行为分析的孤独症评估装置，其特征在于，分类器训练模块中，被试者的反应分类类别包括求助类别、正确回应-不懂类别、正确回应-2CN110353703A权利要求书2/2页回答正确类别、鹦鹉学舌类别、答非所问类别、没有反