基于微笑范式和音视频行为分析的孤独症早期筛查系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110363129A(43)申请公布日2019.10.22(21)申请号201910605990.4G10L25/66(2013.01)(22)申请日2019.07.05(71)申请人昆山杜克大学地址215300江苏省苏州市昆山市杜克大道8号申请人中山大学附属第三医院(72)发明人邹小兵潘悦然蔡昆京(74)专利代理机构佛山帮专知识产权代理事务所(普通合伙)44387代理人颜春艳(51)Int.Cl.G06K9/00(2006.01)G16H50/20(2018.01)G16H50/30(2018.01)G10L15/26(2006.01)权利要求书2页说明书8页附图1页(54)发明名称基于微笑范式和音视频行为分析的孤独症早期筛查系统(57)摘要本发明公开了一种基于微笑范式和音视频行为分析的孤独症早期筛查系统，包括：数据采集模块，用于采集试验全程的音视频数据；预处理模块，用于同步对齐采集的音视频，分段落标记不同逗笑刺激的时间和类型；特征提取模块，对预处理获取数据，分别进行逐帧分析各项特征；训练分类模块，用于对分段落视频数据提取的特征训练分类器，及整个范式训练孤独症风险系数预测分类器模型；预测模块，对提取的特征通过使用分类器模型，分段落打分，并对整个范式打分。本发明使用与孤独症的早期筛查，使筛查试验更标准化、结构化，试验评估更准确更易读易解释。CN110363129ACN110363129A权利要求书1/2页1.一种基于微笑范式和音视频行为分析的孤独症早期筛查系统，其特征在于，包括：数据采集模块，用于采集逗笑试验过程中被试者、评估者和道具的多个RGB-D摄像头视角多声道的音视频多模态数据；预处理模块，用于同步采集到的多视角多声道的音视频数据，检测并标记不同逗笑刺激发出的时间以供后续分析；特征提取模块，用于对预处理获取的被试者、评估者全部角度的视频数据段落，分别进行逐帧分析处理，获取脸部、朝向、目光和手势的特征；训练分类模块，对分段落视频数据提取的特征进行训练，得到分段落范式打分的分类器模型及整个范式的孤独症预测分类器模型；预测模块，采用特征提取模块对整个范式视频进行分段落的脸部、朝向、目光和手势特征提取，并使用分类器模型对范式分段落进行打分，对测试者的孤独症风险进行评估预测。2.根据权利要求1所述的孤独症早期筛查系统，其特征在于，所述RGB-D摄像头隐秘布置在试验场地中，多角度全方位采集试验场地深度视频，通过麦克风阵列和/或分别佩戴于被试验者、评估者身上的可穿戴麦克风多声道采集说话人的说话语音和环境声音。3.根据权利要求1所述的孤独症早期筛查系统，其特征在于，所述特征提取模块包括表情识别单元、头部姿态估计单元、目光追踪单元、手势检测与识别单元，所述表情识别单元对预处理所得视频进行检测，对获取的人脸正脸识别出表情；所述头部姿态估计单元使用正脸检测获取脸部特征点，根据脸部特征点计算脸部平面的法线向量并转化为头部朝向；所述目光追踪单元对预处理所得视频进行检测，根据获取的被检测人眼部数据得到被检测人的目光朝向，得到眼神特征；所述手势检测与识别单元检测手部的矩形框，并给出手势的分类。4.根据权利要求3所述的孤独症早期筛查系统，其特征在于，所述表情识别单元使用残差神经网络在人脸表情数据库上训练表情模型，模型输出多种不同的表情对应的概率得分，其中概率得分最大的即为分类表情；对RGB视频的每帧图像使用正脸人脸检测算法获得脸部矩形框，然后对脸部框做人脸对齐之后，输入到表情识别模型，输出得到每张人脸的表情分类。5.根据权利要求3所述的孤独症早期筛查系统，其特征在于，所述头部姿态估计单元识别人的脸部朝向，先使用正脸检测算法检测RGB视频图像帧中的人脸，获取脸部的landmark标记点，之后得到对应的深度图中的深度，根据公式对标记点计算每个点的世界空间坐标系的3D坐标，每个点组合起来就得到脸部在空间中的点云，根据脸部特征点的点云坐标，计算脸部平面的法线向量，然后将法线向量转化为表示头部朝向的欧拉角。6.根据权利要求3所述的孤独症早期筛查系统，其特征在于，所述目光追踪单元用来跟踪被试者以及评估者的眼神注视方向，首先利用正脸检测算法获取RGB视频帧中的脸部特征点，从中选取出双眼的特征点，然后利用空间坐标变换计算出双眼特征点的世界坐标系3D坐标；把双眼的3D坐标输入到目光追踪神经网络模型中，输出目光的朝向。7.根据权利要求3所述的孤独症早期筛查系统，其特征在于，所述手势检测与识别单元标注手势，标注结果包含手部的矩形框的四角坐标以及手势的分类，然后使用物体检测分类器训练出一个手势的检测器，检测器检测画面中的手部并识别手势，并给出其矩形框坐2CN110363129A权利要求书2/2页标以