一种语音识别系统的测试方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115440192A(43)申请公布日2022.12.06(21)申请号202110627045.1(22)申请日2021.06.04(71)申请人科大讯飞股份有限公司地址230088安徽省合肥市高新区望江西路666号(72)发明人刘国涛花云飞(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师王云晓(51)Int.Cl.G10L15/01(2013.01)G10L15/26(2006.01)权利要求书5页说明书35页附图2页(54)发明名称一种语音识别系统的测试方法、装置、设备及存储介质(57)摘要本申请提供了一种语音识别系统的测试方法、装置、设备及存储介质，其中，测试方法包括：将被测系统的测试项对应的测试数据集中的测试语音输入被测系统，获取被测系统在测试项上的运行数据，根据被测系统在测试项上的运行数据确定被测系统在测试项上的测试结果。由于被测系统的测试数据总集是在考虑被测系统的真实应用场景的基础上，以获得能够较为准确地反映被测系统能力的测试结果为目标构建，因此，基于构建的测试数据总集中的测试数据，采用本申请提供的测试流程对被测系统进行测试，能够获得较好的测试效果。本申请适用于智能语音服务提供商、用户和第三方检测机构对智能语音交互应用的语音识别系统或语音识别子系统测试的设计和实施。CN115440192ACN115440192A权利要求书1/5页1.一种语音识别系统的测试方法，其特征在于，包括：将被测系统的测试项对应的测试数据集中的测试语音输入所述被测系统，其中，所述测试数据集根据对应的测试项从所述被测系统的测试数据总集中获取，所述测试数据总集中测试语音的总量至少2000条，所述测试数据总集中包括多类质量不同的测试语音，分别为A类测试语音、B类测试语音、C类测试语音和D类测试语音，所述测试语音所属的类别由所述测试语音的语音种类和/或音频类型决定，所述测试数据总集中的每类测试语音中至少包含音频类型为弱噪声正常和/或截断音频的语音，音频类型为弱噪声正常的语音指的是，语音信噪比大于或等于20dB的语音，所述测试数据总集中A类测试语音的占比不宜小于70％，B类测试语音的占比不宜小于15％且不宜大于20％，C类测试语音的占比不宜小于5％且不宜大于10％，D类测试语音的占比不宜大于5％，所述测试数据总集中时长位于3至5秒的测试语音的占比在80％以上，每个语音种类的测试语音的发音人数量不宜少于30名；获取所述被测系统在所述测试项上的运行数据；根据所述被测系统在所述测试项上的运行数据，确定所述被测系统在所述测试项上的测试结果。2.根据权利要求1所述的测试方法，其特征在于，所述将被测系统的测试项对应的测试数据集中的测试语音输入所述被测系统，包括：利用语音回放设备播放所述被测系统的测试项对应的测试数据集中的测试语音，将所述语音回放设备播放的测试语音输入所述被测系统；其中，所述语音回放设备为第一回放设备或第二回放设备，所述第一回放设备为播放器，所述第二回放设备包括功率放大器和人工嘴；所述第一回放设备满足如下的参数要求：频率响应：74Hz～18kHz；最大声压级：102dB(A)；所述第二回放设备满足如下的参数要求：信噪比：90dB；增益控制：0dB～25dB；所述功率放大器的频率响应：20Hz～20kHz；所述人工嘴的频率响应：100Hz～10kHz；最大声压级：110dB(A)；利用所述语音回放设备播放所述被测系统的测试项对应的测试数据集中测试语音的环境满足：外界噪声不超过55dB(A)的情况下，室内本底噪声≤20dB(A)；所述测试方法还包括：在利用所述语音回放设备播放所述被测系统的测试项对应的测试数据集中的测试语音的同时，利用噪声回放设备播放所述测试语音的背景噪声，其中，所述背景噪声在所述被测系统的使用场景中录制，所述噪声回放设备满足如下参数要求：功率：70W(峰值125W)；频响：50Hz～21kHz；声压：≤113dBSPL@1m；输入阻抗：10KΩ；最大输入电平：22dBu；所述噪声回放设备经过频响均衡处理，所述被测系统的语音采集模块处的回放噪声与所述被测系统的使用场景中噪声的频响差异满足+3dB。3.根据权利要求1或2所述的测试方法，其特征在于，所述测试项包括功能测试项和/或性能测试项；所述功能测试项包括：语音信号采集功能、语音转文字功能、语音唤醒功能、前端信号2CN115440192A权利要求书2/5页处理功能、说话人分离功能、语言信息识别功能和语音识别后处理功能中的一个或多个；其中，所述语音唤醒功能包括以下功能中一种或多种：基于预定义唤醒词的唤醒功能、基于自定义唤醒词的唤醒功能、基于多唤醒词的唤醒功能、在执行语音唤醒的同时监听多个音频流的功能、基于语