一种基于数据压缩的网络模型构建方法、系统和介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111008693A(43)申请公布日2020.04.14(21)申请号201911200896.7(22)申请日2019.11.29(71)申请人深动科技（北京）有限公司地址100080北京市海淀区海淀北二街8号中关村SOHO1219(72)发明人曹骁翔杨奎元(74)专利代理机构北京律远专利代理事务所(普通合伙)11574代理人全成哲(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06K9/62(2006.01)权利要求书2页说明书8页附图2页(54)发明名称一种基于数据压缩的网络模型构建方法、系统和介质(57)摘要一种基于数据压缩的网络模型构建方法、系统及介质，该方法包括：S100，构建用于对神经架构搜索的原始数据集进行数据压缩的蒸馏器；S200，将蒸馏器用于合成高密度蒸馏数据；S300，将合成的高密度蒸馏数据用于进行神经架构搜索，从而搜索出最优网络模型。本发明通过蒸馏器来压缩数据集，通过去除用于神经架构搜索的大规模数据集中的冗余信息，将大规模数据集转化为小规模数据集，并尽量多地保留大规模数据集中的信息。压缩后的小规模数据集能够极大地减少神经架构搜索中训练不同模型所需的计算量，加速模型搜索。CN111008693ACN111008693A权利要求书1/2页1.一种基于数据压缩的网络模型构建方法，包括：S100，构建用于对神经架构搜索的原始数据集进行数据压缩的蒸馏器；S200，将蒸馏器用于合成高密度蒸馏数据；S300，将合成的高密度蒸馏数据用于进行神经架构搜索，从而搜索出最优网络模型。2.根据权利要求1所述的方法，其中，S100，构建用于对神经架构搜索的原始数据集进行数据压缩的蒸馏器包括，S1110，提取原始数据集中每个训练样本的高维特征；S1120，对每个训练样本的高维特征进行聚类，从而获得原始数据集在高维特征空间的一个或多个团簇；S1130，估计每个团簇的密度；S1140，在一个或多个团簇中逐步选取不同密度、不同位置处的特征样本，直至达到预设终止条件。3.根据权利要求2所述的方法，其中，S1110，提取原始数据集中每个训练样本的高维特征包括，采用SOTA网络对原始数据集S进行前向推理，提取每个训练样本的高维特征，提取出的训练样本的高维特征数值表示为高维特征集F。4.根据权利要求2或3所述的方法，其中，S1120，对每个训练样本的高维特征进行聚类，从而获得原始数据集在高维特征空间的一个或多个团簇包括，S1121，选取聚类算法的距离公式；S1122，使用选取的聚类算法的距离公式，应用聚类算法对原始数据集的高维特征进行聚类。5.根据权利要求4所述的方法，其中，聚类算法的距离公式是余弦相似度，对于高维特征集F＝(F1,F2,...,Fk)，任意两个特征Fa、Fb之间的距离表示为：dist(Fa,Fb)＝dot(Fa,Fb)/(|Fa||Fb|)，其中dot为点积，|F|为F的二范数。6.根据权利要求1所述的方法，其中，S100，构建用于对神经架构搜索的原始数据集进行数据压缩的蒸馏器包括，S1210，将原始数据集的训练样本输入数据集蒸馏器，按照预定的蒸馏比得到与原始数据集维度一致的高密度信息；S1220，将数据集蒸馏器输出的高密度特征数据输入到SOTA网络，SOTA网络输出的交叉熵损失函数作为数据集蒸馏器的评价指标；S1230，如此迭代直至收敛。7.根据权利要求6所述的方法，其中，S1210，将原始数据集的训练样本输入数据集蒸馏器，按照预定的蒸馏比得到与原始数据集维度一致的高密度信息包括，将原始数据集的训练样本依照分类输入一个由神经网络构建的数据集蒸馏器，数据集蒸馏器按照预定的蒸馏比，得到与原数据集维度一致的高密度信息。8.根据权利要求6所述的方法，其中，在执行步骤S1210-S1230过程中，当梯度反传时，冻结SOTA网络的权重，只训练蒸馏器部分。9.一种基于数据压缩的网络模型构建系统，包括存储器和处理器，所述存储器存储指令；其特征在于，所述处理器用于根据存储在存储器中的指令，执行权利要求1-8中任一项2CN111008693A权利要求书2/2页所述的方法。10.一种计算机可读存储介质，所述存储介质中存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时实现如权利要求1至8任一所述的方法。3CN111008693A说明书1/8页一种基于数据压缩的网络模型构建方法、系统和介质所属技术领域[0001]本发明涉及图像处理领域，更具体地，特别是指一种神经网络模型的构建方法、设备以及可读存储介质。背景技术[0002]传统深度学习的算法模型设计，一般依赖资深算法开发人员长期实践并通过大量的试错过程。由于模型结构空间