设备性能测试方法、装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112631896A(43)申请公布日2021.04.09(21)申请号202011415458.5(22)申请日2020.12.02(71)申请人武汉旷视金智科技有限公司地址430073湖北省武汉市高新大道999号未来科技城F1栋11层申请人北京迈格威科技有限公司(72)发明人生壮高彦平石心(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人何少岩(51)Int.Cl.G06F11/36(2006.01)G06K9/03(2006.01)权利要求书4页说明书21页附图3页(54)发明名称设备性能测试方法、装置、存储介质及电子设备(57)摘要本申请涉及人脸识别技术领域，提供一种设备性能测试方法、装置、存储介质及电子设备。其中，性能测试方法包括：向待测试的人脸识别设备提供测试视频流；获取人脸识别设备输出的测试结果；基于测试结果与测试视频流的参考库中的数据计算人脸识别设备的性能指标，该参考库中的数据是根据测试视频流中的可抓拍对象确定的。上述方法在测试人脸识别设备的性能时，整个测试流程从提供视频流到计算性能指标都是自动完整的，显著提高了测试效率，也便于进行大量测试。并且，采用自动化流程还有利于避免手工统计中存在的错误，提高性能指标计算的精确性，此外，性能测试所使用的视频流可以反复使用，有利于从源头上改善测试的准确性。CN112631896ACN112631896A权利要求书1/4页1.一种设备性能测试方法，其特征在于，包括：向待测试的人脸识别设备提供测试视频流；获取所述人脸识别设备输出的测试结果；基于所述测试结果与所述测试视频流的参考库中的数据计算所述人脸识别设备的性能指标；其中，所述参考库中的数据是根据所述测试视频流中的可抓拍对象确定的。2.根据权利要求1所述的方法，其特征在于，所述测试结果包括所述测试视频流中的人脸的抓拍结果集，所述参考库包括所述测试视频流中的人脸的标准抓拍库，所述标准抓拍库包括预先从所述测试视频流中截取的所有可抓拍对象的人脸图片；所述基于所述测试结果与所述测试视频流的参考库中的数据计算所述人脸识别设备的性能指标，包括：基于所述抓拍结果集中的图片与所述标准抓拍库中的图片的比中情况计算所述人脸识别设备的性能指标。3.根据权利要求2所述的方法，其特征在于，所述标准抓拍库还包括所述可抓拍对象在所述测试视频流中出现的次数，所述人脸识别设备的性能指标包括漏抓次数、总漏抓次数、误抓次数、重复抓拍次数、总重复抓拍次数、第一正确抓拍次数、第二正确抓拍次数中的至少一个；其中，所述标准抓拍库中可抓拍对象的所述漏抓次数利用所述可抓拍对象在所述标准抓拍库中出现的次数减去其被所述抓拍结果集比中的次数得到；所述总漏抓次数为所述标准抓拍库中所有可抓拍对象的漏抓次数之和；所述误抓次数为所述抓拍结果集未比中所述标准抓拍库的次数；所述标准抓拍库中可抓拍对象的所述重复抓拍次数利用所述可抓拍对象被所述抓拍结果集比中的次数减去其在所述标准抓拍库中出现的次数得到；所述总重复抓拍次数为所述标准抓拍库中所有可抓拍对象的重复抓拍次数之和；所述第一正确抓拍次数利用所述抓拍结果集比中所述标准抓拍库的次数减去所述总重复抓拍次数得到；所述第二正确抓拍次数为所述抓拍结果集比中所述标准抓拍库的次数。4.根据权利要求3所述的方法，其特征在于，所述人脸识别设备的性能指标还包括抓拍召回率、漏抓率、重复抓拍率、准确抓拍率、误抓率中的至少一个；其中，所述抓拍召回率是根据所述标准抓拍库中所有可抓拍对象出现的总次数和所述总漏抓次数计算得到的；或者，所述抓拍召回率是根据所述标准抓拍库中所有可抓拍对象出现的总次数和所述第一正确抓拍次数计算得到的；所述漏抓率是根据所述标准抓拍库中所有可抓拍对象出现的总次数和所述总漏抓次数计算得到的；或者，所述漏抓率是根据所述标准抓拍库中所有可抓拍对象出现的总次数和所述第一正确抓拍次数计算得到的；所述重复抓拍率是根据所述标准抓拍库中所有可抓拍对象出现的总次数和所述总重复抓拍次数计算得到的；所述准确抓拍率是根据所述抓拍结果集对应的抓拍总次数和所述误抓次数计算得到的；或者，所述准确抓拍率是根据所述抓拍结果集对应的抓拍总次数和所述第二正确抓拍次数计算得到的；所述误抓率是根据所述抓拍结果集对应的抓拍总次数和所述误抓次数计算得到的；或2CN112631896A权利要求书2/4页者，所述误抓率是根据所述抓拍结果集对应的抓拍总次数和所述第二正确抓拍次数计算得到的。5.根据权利要求2‑4中任一项所述的方法，其特征在于，所述抓拍结果集以及所述标准抓拍库中均记录有图片的抓拍时间，所述抓拍结果集中的图片与所述标准抓拍库中的图片比中是指：两幅图片本身比中且两幅图片的抓拍时间之差小于第