基于不当行为观测分析的孤独症谱系障碍评估装置及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110349674A(43)申请公布日2019.10.18(21)申请号201910605989.1(22)申请日2019.07.05(71)申请人昆山杜克大学地址215300江苏省苏州市昆山市杜克大道8号申请人中山大学附属第三医院(72)发明人邹小兵潘悦然蔡昆京(74)专利代理机构佛山帮专知识产权代理事务所(普通合伙)44387代理人颜春艳(51)Int.Cl.G16H50/30(2018.01)G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书9页附图2页(54)发明名称基于不当行为观测分析的孤独症谱系障碍评估装置及系统(57)摘要本发明提出了一种基于不当行为观测分析的孤独症谱系障碍评估装置及系统，所述装置包括：数据获取模块，用于获取实验环境内试验过程中的音频数据及视频数据；特征获取模块，用于根据音频数据及视频数据获取试验过程中被试者及照顾者的相关特征信息；模型训练模块，用于根据所获取的特征，依次使用机器学习算法训练多个弱分类器，并将所述弱分类器级联成孤独症谱系障碍评估模型；预测评估模块，用于根据被试者的所述相关特征信息，通过孤独症谱系障碍评估模型进行预测评估，并得出评估结果。本发明可帮助医生真实、完整地获取儿童的各项能力状态，能更客观地对儿童是否患有孤独症系障碍进行评估。CN110349674ACN110349674A权利要求书1/2页1.一种基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，包括数据获取模块，用于获取实验环境内试验过程中的音频数据及视频数据；特征获取模块，用于根据音频数据及视频数据获取试验过程中被试者及照顾者的相关特征信息，所述特征包括眼神方向信息、头部朝向信息、手势姿势信息、手指指向信息、面部表情信息、位置坐标信息、语言情绪信息和语音内容信息中的一种或多种；模型训练模块，用于根据所获取的特征，依次使用机器学习算法训练多个弱分类器，并将所述多个弱分类器级联成孤独症谱系障碍评估模型；其中，所述多个弱分类器包括活动轨迹不恰当弱分类器、姿势手势不恰当弱分类器、眼部动作不恰当弱分类器、语言表达不恰当弱分类器、物品使用不恰当弱分类器、社会参照范式不恰当弱分类器和兴趣趋向不恰当弱分类器中的任意组合；预测评估模块，用于根据被试者的所述相关特征信息，通过孤独症谱系障碍评估模型进行预测评估，并得出评估结果。2.如权利要求1所述基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，还包括预处理模块，用于基于时间戳将视频数据与音频数据在时间轴上同步对齐。3.如权利要求1所述基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，预测评估模块，还用于根据试验过程中被试者的相关特征信息，对被试者进行孤独症风险系数和/或能力分析评估；其中，进行评估的内容包括自我的动作、对物品的使用、思想和感觉，所述自我的动作、对物品的使用、思想和感觉可用于表示孤独症解释的不同维度，以对孤独症进行分析。4.如权利要求1所述基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，所述孤独症谱系障碍评估模型Ft(x)的表达式为：其中，ft(x)为根据机器学习算法进行训练所得到的弱分类器，αt为相应不恰当弱分类器的权重，et为弱分类器对相应训练样本集的错误率。5.如权利要求1所述基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，所述特征获取模块包括声纹识别单元、眼神方向信息获取单元、头部朝向信息获取单元、面部表情信息获取单元、手势姿势信息获取单元、语言情绪信息获取单元、语音内容信息获取单元和位置坐标信息获取单元，其中声纹识别单元，用于通过声纹识别对音频数据中说话人进行身份识别，以确定被试者及照顾者身份，进而再通过眼神方向信息获取单元、头部朝向信息获取单元、面部表情信息获取单元、手势姿势信息获取单元、语言情绪信息获取单元、语音内容信息获取单元和/或位置坐标信息获取单元获取被试者及照顾者的相应特征信息；眼神方向信息获取单元，用于根据视频帧中双眼特征点的像素点坐标和深度数据，确定双眼特征点的空间3D坐标；并以双眼特征点的空间3D坐标作为目光追踪神经网络模型的2CN110349674A权利要求书2/2页输入，从而获取眼神方向信息；头部朝向信息获取单元，用于通过脸部检测获取脸部特征点，并确定其空间的3D特征点云；通过脸部特征点的3D特征点云确定脸部平面的法线向量，从而获取头部朝向信息；面部表情信息获取单元，用于对视频帧中的被试者进行人脸识别，获取人脸矩形框并对齐后作为表情识别模型的输入，以获取被试者的表情分类；手势姿势信息获取单元，用于通过物体检测神经网络所训练的手势检测器，获取视频帧中的手势