基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110313923A(43)申请公布日2019.10.11(21)申请号201910606482.8(22)申请日2019.07.05(71)申请人昆山杜克大学地址215300江苏省苏州市昆山市杜克大道8号申请人中山大学附属第三医院(72)发明人邹小兵潘悦然蔡昆京(74)专利代理机构佛山帮专知识产权代理事务所(普通合伙)44387代理人颜春艳(51)Int.Cl.A61B5/16(2006.01)A61B5/00(2006.01)G16H50/30(2018.01)权利要求书2页说明书7页附图2页(54)发明名称基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统(57)摘要本发明公开了一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，通过采集评估者及被试者的音视频多模态数据并加以分析，以评估预测孤独症谱系障碍，包括数据采集模块，用于对试验过程中被试者、评估者的音视频多模态数据进行多视角多声道的数据采集；预处理模块同步采集的音视频数据，并使用语音识别检测和标记评估者发出指令的时间，截取该时间点后的音视频进行分析；特征提取模块对预处理后的音视频数据进行特征提取，获取语音内容、面部情感等特征；训练分类模块，将提取的组合特征作为机器学习分类器的输入进行训练，得到预测孤独症的分类器模型；预测模块，利用训练所得的分类器模型对被采集数据的被试者进行孤独症分类预测。CN110313923ACN110313923A权利要求书1/2页1.一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，其特征在于，包括：数据采集模块，用于对联合注意能力测试试验过程中被试者、评估者和道具的音视频多模态数据进行多视角多声道的同步数据采集；预处理模块，用于将所有采集的音视频数据进行同步对齐，采用语音识别检测处理音频数据，检测评估者发出注意力指引指令及互动指令的时间，并以此为起始端点截取视频一段时间后的内容，作为视频分析数据；特征提取模块，用于对预处理获取的多角度多声道音视频数据段落，进行逐帧分析处理，获取语音内容、面部情感、面部朝向、目光、手势、姿势和坐标特征；训练分类模块，用于对提取的特征进行分析，使用机器学习训练并得到针对本测试的孤独症预测分类器模型；预测模块，用于利用分类器模型对新的被试者测试音视频中提取的语音内容、语音情感、面部情感、面部朝向、目光、手势和人物或物体坐标特征进行分析，对被试者的孤独症风险进行评估预测。2.根据权利要求1所述的孤独症早期筛查系统，其特征在于，所述数据采集模块包括遥控器、多个RGB-D摄像头、麦克风阵列和/或可穿戴麦克风，所述遥控器用于吸引儿童注意力的可控制可动作无声物体、控制动作物体进行动作；多个所述RGB-D摄像头多角度地隐蔽地布置在场景中，同步输出高质量像素的RGB图像和深度图像；所述麦克风阵列和/或可穿戴麦克风采集高质量的多通道的被试者、评估者的语音并抑制噪声和回声。3.根据权利要求1所述的孤独症早期筛查系统，其特征在于，所述特征提取模块包括声纹识别单元、语音识别单元、情感识别单元、坐标估计单元、目光朝向估计单元、手势检测单元、姿态估计单元；所述坐标估计单元对场景中的被试者以及评估者的空间位置进行估计，首先进行人物检测，然后进行人物身份重识别，最后再对人物矩形框进行空间转换进行位置估计；所述语音识别单元将说话者的语音转换为文本内容；所述声纹识别单元根据声纹识别说话人身份；所述情感识别单元对被试者实施语音情感以及面部表情的识别，语音情感识别使用基于深度神经网络提取包含情感信息的特征进行情感的分类，而面部表情同样使用深度神经网络模型，输入被试者的脸部矩形框图像，输出其表情分类；所述目光朝向估计单元对被试者的脸部朝向以及目光注视方向进行估计，能够提取被试者转头反应时间、转头角度、眼神注视方向、眼神注视时间；所述手势检测单元检测被试者的的手指物动作，使用物体检测模型框架进行指东西手势的检测，当被试者出现指物手势的时候，返回该手势的RGB图像矩形框以及增加一次计数；所述姿势识别单元对被试者使用深度神经网络进行估计人体姿态的分析估计。4.根据权利要求1所述的孤独症早期筛查系统，其特征在于，所述联合注意能力测试试验的设计包含如下：第一类测试为自发性相互注意力测试；第二类测试为响应性相互协调注意力测试；2CN110313923A权利要求书2/2页第三类测试为相互性社会互动要求行为测试；第四类测试为相互性展示与分享测试；通过上面四类测试试验的一种或几种组合对被试者的孤独症风险进行评估预测，每一类测试分别评估被试者不同的孤独症表现形式，进而全面评估被试者的孤独症风险。5.根据权利要求4所述的孤独症早期筛查系统，其特征在于，所述联合注意能力