基于虚拟现实的孤独症早期筛查评估系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111081371A(43)申请公布日2020.04.28(21)申请号201911185393.7(22)申请日2019.11.27(71)申请人昆山杜克大学地址215300江苏省苏州市昆山市杜克大道8号(72)发明人李明潘悦然蔡昆京程铭(74)专利代理机构佛山帮专知识产权代理事务所(普通合伙)44387代理人曾凤云(51)Int.Cl.G16H50/20(2018.01)G06T19/00(2011.01)G06F3/01(2006.01)G06K9/00(2006.01)G10L17/26(2013.01)权利要求书2页说明书11页附图1页(54)发明名称基于虚拟现实的孤独症早期筛查评估系统及方法(57)摘要本发明公开了一种基于虚拟现实的孤独症早期筛查评估系统及方法，该系统包括：人物形象采集模块，用于采集被融入人物的语音、图像资料；真实融入模块，用于学习所述人物形象采集模块中的被融入人物的语音和图像形象，模拟合成试验场景中人物虚拟形象的图像和声音，并融入到虚拟现实的场景中；试验数据采集模块，用于采集试验过程中得用户的活动音频、视频、传感器数据；特征追踪模块，用于追踪用户在试验过程中的头部、眼部、手部、动作、位置、声音的特征信息；训练模块，用于根据特征追踪模块追踪分析获得的特征数据，通过机器学习方法，训练打分模型；预测模块，用于通过所述训练模型训练的结果预测用户的孤独症风险系数及试验的项目得分。CN111081371ACN111081371A权利要求书1/2页1.一种基于虚拟现实的孤独症早期筛查评估系统，其特征在于，包括：人物形象采集模块，用于采集被融入人物的语音、图像资料；真实融入模块，利用深度学习技术提取人物形象采集模块采集所得的被融入人物的音视频特征，在虚拟现实的场景中模拟被融入人物的虚拟形象，并使其具有被融入人物的外貌和声音，并能使用被融入的外貌作出不同表情和动作，使用被融入声音说出不同语言；试验数据采集模块，用于采集筛查评估试验过程中所得的用户的活动音频、视频和多项运动传感器数据；特征追踪模块，用于追踪用户在筛查评估试验过程中的头部、眼部、手部、动作、位置、声音的特征信息；训练模块，用于根据特征追踪模块追踪分析获得的特征数据，通过机器学习方法，训练打分模型；预测模块，用于通过所述训练模型训练的结果预测用户的孤独症风险系数及试验的项目得分。2.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述人物形象采集模块包括声音采集单元和图像采集单元：所述声音采集单元，用于采集被融入人物的说话音频数据；所述图像采集单元，用于采集被融入人物的多角度2D影像资料或采集含有RGBD的图像数据，以获得完整、立体的人物图像形象。3.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述真实融入模块通过融入真实形象，提供接近真实的场景，包括声音合成单元和图像合成单元，其中，所述声音合成单元利用成熟语音识别系统识别提供的音频得到相对粗糙的发音标注，通过人工校验得到音频对应的精准发音标注，最后将标注好的音频-标注对送入一个由标准音色训练好的语音合成模型，作特定说话人自适应训练，最终得到特定人音色的语音合成模型；所述图像合成单元，根据提供的视频数据提取头部和动作的图像信息，通过深度学习方法将2D平面图像重建为3D立体图像，合成融入虚拟现实场景的虚拟合成人物活动图像。4.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述试验数据采集模块的采集设备包括麦克风、腔内外摄像头、手柄或手套、陀螺仪、红外传感器、加速传感器、光电传感器，其中所述麦克风采集用户说话声音数据，腔内外摄像头采集用户面部活动数据，所述手柄或手套采集用户手部活动数据，红外传感器和/或腔内外摄像头配合采集用户眼睛活动数据，红外传感器和/或光电传感器配合采集手部精确位置数据，光电传感器和/或加速度传感器配合采集用户头部数据，加速传感器和/或陀螺仪配合采集用户位置数据。5.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述特征追踪模块包括：头部追踪单元，用于获取运动时头部朝向的三维变化；眼动追踪单元，用于监控用户眼睛的运动并及时检测到用户的目光朝向；面部表情追踪单元，用于获取并计算用户在使用中的面部表情数据；动作追踪单元，用于获取用户在试验中的动作和姿态变化数据；语音内容追踪单元，用于追踪用户在试验中说话的内容；2CN111081371A权利要求书2/2页语音情感追踪单元，用于获取用户在试验中声音的情感分类；位置追踪单元，用于通过传感器跟踪获取用户位置信息和方向信息的变化。6.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述训练模块使用机器学习方法通过专业医疗人员对