预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共20页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114970883A(43)申请公布日2022.08.30(21)申请号202210749893.4(22)申请日2022.06.29(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦二层(72)发明人王常凯(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师罗岚(51)Int.Cl.G06N20/00(2019.01)G06N3/04(2006.01)G06N3/063(2006.01)G06N3/08(2006.01)权利要求书3页说明书11页附图5页(54)发明名称模型量化方法、装置、电子设备和存储介质(57)摘要本申请公开了模型量化方法、装置、电子设备和存储介质,涉及人工智能技术领域,具体为深度学习、图像处理、计算机视觉技术领域,可应用于智慧城市等场景。具体实现方案为:获取客户端发送的模型量化请求,其中,模型量化请求中包括待处理模型及待处理模型对应的量化配置信息;根据量化配置信息,确定待处理模型对应的目标芯片类型;根据量化配置信息和目标芯片类型,对待处理模型进行量化,以获取目标芯片类型对应的量化后的模型。该方法可以针对不同类型的芯片进行模型量化,从而实现不同芯片类型统一的模型量化流程。CN114970883ACN114970883A权利要求书1/3页1.一种模型量化方法,包括:获取客户端发送的模型量化请求,其中,所述模型量化请求中包括待处理模型及所述待处理模型对应的量化配置信息;根据所述量化配置信息,确定所述待处理模型对应的目标芯片类型;根据所述量化配置信息和所述目标芯片类型,对所述待处理模型进行量化,以获取所述目标芯片类型对应的量化后的模型。2.如权利要求1所述的方法,其中,所述根据所述量化配置信息和所述目标芯片类型,对所述待处理模型进行量化,以获取所述目标芯片类型对应的量化后的模型,包括:确定所述待处理模型的格式及所述目标芯片类型对应的目标模型格式;在所述待处理模型的格式与所述目标模型格式不匹配的情况下,对所述待处理模型进行格式转换,以获取所述目标模型格式的模型;根据所述量化配置信息,对所述目标模型格式的模型进行量化,以获取所述量化后的模型。3.如权利要求2所述的方法,其中,所述确定所述目标芯片类型对应的目标模型格式,包括:获取预设的各芯片类型与模型格式之间的对应关系;根据所述目标芯片类型,查询所述各芯片类型与模型格式之间的对应关系,以确定所述目标芯片类型对应的目标模型格式。4.如权利要求1所述的方法,其中,在所述根据所述量化配置信息和所述目标芯片类型,对所述待处理模型进行量化,以获取所述目标芯片类型对应的量化后的模型之后,还包括:获取在相同输入数据的情况下,所述待处理模型输出的第一预测结果和所述量化后的模型输出的第二预测结果;确定所述第一预测结果与所述第二预测结果之间的第一误差;在所述第一误差小于阈值的情况下,将所述量化后的模型发送给所述客户端。5.如权利要求4所述的方法,其中,所述方法还包括:在所述第一误差大于或等于所述阈值的情况下,对所述待处理模型重新量化;或者,在所述第一误差大于或等于所述阈值的情况下,生成提示信息,其中,所述提示信息用于提示输入新的量化配置信息;将所述提示信息发送给所述客户端。6.如权利要求1所述的方法,在所述根据所述量化配置信息和所述目标芯片类型,对所述待处理模型进行量化,以获取所述目标芯片类型对应的量化后的模型之后,还包括:获取在相同输入数据的情况下,所述待处理模型中各网络层的第一输出结果和所述量化后的模型中所述各网络层的第二输出结果;针对每个所述网络层,确定所述第一输出结果与所述第二输出结果之间的第二误差;将所述各网络层对应的第二误差发送给所述客户端,以使所述客户端以图形的形式展示所述各网络层对应的第二误差。7.如权利要求1所述的方法,其中,在所述根据所述量化配置信息和所述目标芯片类型,对所述待处理模型进行量化,以获取所述目标芯片类型对应的量化后的模型之前,还包2CN114970883A权利要求书2/3页括:获取所述目标芯片类型对应的各量化项的候选取值;确定所述量化配置信息与所述各量化项的候选取值匹配。8.一种模型量化装置,包括:第一获取模块,用于获取客户端发送的模型量化请求,其中,所述模型量化请求中包括待处理模型及所述待处理模型对应的量化配置信息;第一确定模块,用于根据所述量化配置信息,确定所述待处理模型对应的目标芯片类型;量化模块,用于根据所述量化配置信息和所述目标芯片类型,对所述待处理模型进行量化,以获取所述目标芯片类型对应的量化后的模型。9.如权利要求8所述的装置,其中,所述量化模块,用于:确定所述待处理模型的格式及所述目标芯片类型对应的目标模型格