神经网络压缩方法、图像处理方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110717578A(43)申请公布日2020.01.21(21)申请号201910891998.1(22)申请日2019.09.20(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人董弋锋李亮亮(74)专利代理机构北京钲霖知识产权代理有限公司11722代理人田飞飞熊玉兰(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图6页(54)发明名称神经网络压缩方法、图像处理方法及装置(57)摘要本公开提供了一种神经网络压缩方法、图像处理方法及装置。其中神经网络压缩方法包括：特征提取步骤，输入训练样本，基于神经网络的每个特征提取层的输出以及特征提取层对应的偏好参数得到调整输出，并正向传播得到网络输出结果，其中，偏好参数与神经网络的多个特征提取层一一对应；损失获取步骤，根据训练样本对应的标识以及网络输出结果，通过损失函数得到损失值；参数调整步骤，基于损失值，调整神经网络的权重以及偏好参数；压缩步骤，删除小于或等于第一阈值的偏好参数及其对应的特征提取层，得到压缩后的神经网络。通过设置偏好参数，偏好参数较小，说明对应的特征提取层对神经网络精度的提升较小，将该特征提取层删除以精简神经网络。CN110717578ACN110717578A权利要求书1/2页1.一种神经网络压缩方法，其中，所述方法包括：特征提取步骤，输入训练样本，基于所述神经网络的每个特征提取层的输出以及所述特征提取层对应的偏好参数，得到调整输出，并正向传播得到网络输出结果，其中，所述偏好参数与所述神经网络的多个所述特征提取层一一对应；损失获取步骤，根据所述训练样本对应的标识以及所述网络输出结果，通过损失函数得到损失值；参数调整步骤，基于所述损失值，调整所述神经网络的权重以及所述偏好参数；压缩步骤，删除小于或等于第一阈值的所述偏好参数及其对应的所述特征提取层，得到压缩后的神经网络。2.根据权利要求1所述的方法，其中，全部所述偏好参数形成一个偏好向量，所述损失函数包括：所述偏好向量的L1范数。3.根据权利要求2所述的方法，其中，所述损失函数还包括：正则化系数，所述正则化系数对所述L1范数正则化。4.根据权利要求1所述的方法，其中，在所述压缩步骤之前，所述方法还包括：第一判断步骤，若所述损失值大于第二阈值，则返回所述特征提取步骤，若所述损失值小于或等于所述第二阈值，则执行所述压缩步骤。5.根据权利要求1-4任一项所述的方法，其中，在所述压缩步骤之后，所述方法还包括：第二判断步骤，若所述神经网络未达到压缩目标，则返回所述特征提取步骤。6.根据权利要求5所述的方法，其中，所述神经网络未达到压缩目标，包括：所述神经网络运算速度小于速度阈值。7.根据权利要求5所述的方法，其中，所述神经网络未达到压缩目标，包括：所述神经网络剩余的所述特征提取层的数量大于层数阈值。8.根据权利要求5所述的方法，其中，所述第二判断步骤还包括：若所述神经网络达到所述压缩目标，则执行微调步骤；其中所述微调步骤包括：基于所述训练样本以及所述标识，调整所述神经网络的所述权重，使所述神经网络的损失值小于或等于第三阈值。9.一种图像处理方法，其中，所述方法包括：输入步骤，输入待测图像；处理步骤，通过神经网络对所述待测图像进行特征提取，其中，所述神经网络通过如权利要求1-8任一项所述的神经网络压缩方法压缩得到；输出步骤，输出所述待测图像的检测结果。10.一种神经网络压缩装置，其中，所述装置包括：特征提取模块，用于输入训练样本，基于所述神经网络的每个特征提取层的输出以及所述特征提取层对应的偏好参数，得到调整输出，并正向传播得到网络输出结果，其中，所述偏好参数与所述神经网络的多个所述特征提取层一一对应；损失获取模块，用于根据所述训练样本对应的标识以及所述网络输出结果，通过损失函数得到损失值；参数调整模块，用于基于所述损失值，调整所述神经网络的权重以及所述偏好参数；压缩模块，用于删除小于或等于第一阈值的所述偏好参数及其对应的所述特征提取层，得到压缩后的神经网络。2CN110717578A权利要求书2/2页11.一种图像处理装置，其中，所述装置包括：输入模块，用于输入待测图像；处理模块，用于通过神经网络对所述待测图像进行特征提取，其中，所述神经网络通过如权利要求1-8任一项所述的神经网络压缩方法压缩得到；输出模块，用于输出所述待测图像的检测结果。12.一种电子设备，其中，所述电子设备包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行如权利要求1-8中任一项所述的神经网络压缩方法或如权利要求9所述的图像