基于非社会性声音刺激行为范式的孤独症初级筛查装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109431523A(43)申请公布日2019.03.08(21)申请号201811220432.8(22)申请日2018.10.19(71)申请人昆山杜克大学地址215300江苏省苏州市昆山市杜克大道8号申请人中山大学附属第三医院（中山大学肝脏病医院）(72)发明人李明邹小兵(74)专利代理机构佛山帮专知识产权代理事务所(普通合伙)44387代理人颜德昊(51)Int.Cl.A61B5/16(2006.01)A61B5/00(2006.01)权利要求书1页说明书6页附图2页(54)发明名称基于非社会性声音刺激行为范式的孤独症初级筛查装置(57)摘要本发明公开一种基于非社会性声音刺激行为范式的孤独症初级筛查装置，包括采集模块：用于吸引儿童注意力的可控制发声物体，控制发声物体发声的遥控器及摄像头，以采集参与实验儿童对非社会性声音刺激及医生指令的行为反应的音视、视频数据；预处理模块：采用语音活动检测处理音频数据，检测发声物体开始发声时间，并以此为起始端点截取视频数十秒后内容作为视频分析数据；特征提取模块：对视频数据逐帧分析处理，获取面部、眼神和手势特征；训练分类模块：利用已获得的特征训练分类器，得到预测ASD的分类器模型；预测模块：采用特征提取模块计算出的面部、眼神以及手势特征对测试者ASD进行评估预测。本发明适用于ASD行为外表型早期筛查和辅助诊断。CN109431523ACN109431523A权利要求书1/1页1.一种基于非社会性声音刺激行为范式的孤独症初级筛查装置，其特征在于，包括：采集模块：用于吸引儿童注意力的可控制发声物体，控制发声物体发声的遥控器以及摄像头，用以采集参与实验儿童对非社会性声音刺激及医生指令的行为反应的音视、视频数据；预处理模块：采用语音活动检测处理音频数据，检测发声物体开始发声的时间，并以此为起始端点截取视频数十秒后的内容，作为视频分析数据；特征提取模块：对视频数据逐帧分析处理，获取面部、眼神和手势的特征；训练分类模块：利用已获得的特征训练分类器，得到预测ASD的分类器模型；预测模块：采用特征提取模块计算出的面部、眼神以及手势特征对测试者的ASD进行评估预测。2.根据权利要求1所述的基于非社会性声音刺激行为范式的孤独症初级筛查装置，其特征在于，所述特征提取模块包括正脸检测单元、目光追踪单元、手势检测单元；所述正脸检测单元对已提取的视频数据，检测儿童的正脸，得到面部特征，若儿童看向该发声物体，并被发声物体旁的摄像头检测到正脸，将再针对面部区域生成一个只包含面部的较小窗口，作为后续图像分析数据；所述目光追踪单元对已提取的正脸图像数据，进一步判断目光是否集中在物体上，得到眼神特征；所述手势检测单元对视频数据逐帧分析，定位实验人员位置，剔除背景色彩，对手部进行定位并切分出手部图片数据，对已提取的数据进行训练得到手势分类器模型，在此模型的基础上检测手势指向，得到手势特征。3.根据权利要求2所述的基于非社会性声音刺激行为范式的孤独症初级筛查装置，其特征在于，所述手势检测单元通过以下步骤完成定位儿童的手在视频每一帧画面中的位置，其包括：步骤S1：使用训练好的基于图像的目标检测与识别算法模型将医生与受测儿童在图像中的位置提取出来获取到医生和受测儿童的位置；步骤S2：根据人的皮肤色彩范围，保留画面中的色彩度处于这个范围的部分，并将范围之外的区域置黑，从而做到将画面按照色彩值过滤，完成背景色彩剔除；步骤S3：使用基于Haar特征的级联分类器进行最终定位，其中级联分类器由若干个弱分类器级联而成，在构建弱分类器时，检测窗口在画面中由左向右、由上至下滑动，每个滑动窗口判断一种特征并计算结果数值，得到结果后与阈值做比较以判断该窗口是否符合此特征并进行分类，当窗口内的图像顺利通过分类器的检验，认为该窗口内就是预期的目标。4.根据权利要求1所述的基于非社会性声音刺激行为范式的孤独症初级筛查装置，其特征在于，所述训练分类模块使用监督学习分类器对已标记的特征进行训练分类。5.根据权利要求1所述的基于非社会性声音刺激行为范式的孤独症初级筛查装置，其特征在于，所述预测模块分别采用有监督学习分类器方法和加权相加方法来预测孤独症的风险系数。2CN109431523A说明书1/6页基于非社会性声音刺激行为范式的孤独症初级筛查装置技术领域[0001]本发明涉及多媒体音视频处理领域，尤其涉及到一种基于非社会性声音刺激行为范式的孤独症初级筛查装置，基于语音处理，计算机视觉，采集被试观测人的面部，眼神以及手势信息并加以分析，以评估孤独症谱系障碍风险系数的早期筛查装置。背景技术[0002]孤独症谱系障碍(autismspectrumdisorder,ASD)，是一种神经发育性疾病