一种基于迁移学习的神经网络模型复用方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113608736A(43)申请公布日2021.11.05(21)申请号202110876873.9(22)申请日2021.07.31(71)申请人云南电网有限责任公司信息中心地址650051云南省昆明市拓东路73号(72)发明人马文李辉张梅(74)专利代理机构陕西佳禾宏盛知识产权代理事务所(特殊普通合伙)61280代理人高美化(51)Int.Cl.G06F8/36(2018.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书3页附图2页(54)发明名称一种基于迁移学习的神经网络模型复用方法(57)摘要本发明公开了一种基于迁移学习的神经网络模型复用方法。根据MMD(最大平均差异)来度量目标域与源域两个分布的相似性。再根据假设检验来判断目标域与源域的分布是否相同。若假设检验判断为两分布相同，则对深度神经网络模型进行finetune调整，实现深度神经网络模型的复用。CN113608736ACN113608736A权利要求书1/1页1.一种基于迁移学习的神经网络模型复用方法，其特征在于，根据MMD来度量目标域与源域两个分布的相似性；再根据假设检验来判断目标域与源域的分布是否相同；若假设检验判断为两分布相同，则对深度神经网络模型进行finetune调整，实现深度神经网络模型的复用。2.根据权利要求1所述的一种基于迁移学习的神经网络模型复用方法，其特征在于，包括以下步骤：步骤1：当源域服从p分布、目标域服从q分布时，用MMD来度量两个分布的相似程度。步骤2：基于假设检验，判断源域p分布、目标域q分布是否相同。步骤3：根据假设检验的结果，若判定分布p、q为同分布，则可以进行基于finetune对神经网络模型进行迁移。步骤4：不同场景下的finetune方法。2CN113608736A说明书1/3页一种基于迁移学习的神经网络模型复用方法技术领域[0001]本发明属于神经网络算法模型复用领域，该技术基于迁移学习，使得在相似主题中，神经网络算法模型可以复用，供用户参考使用。背景技术[0002]随着业务数据量的增多，企业面对多方面的主题分析时往往将其视为独立的项目，即每次进行主题分析时均需重新获取数据、重新进行数据预处理、重新构建模型。在进行多主题分析时，这种方式往往导致主题间算法模型重用性差等问题。在实际的应用中，通常不会针对一个新任务，从头开始训练一个神经网络。这样的操作是非常耗时的。尤其是，训练数据不可能像ImageNet那么大，可以训练出泛化能力足够强的深度神经网络。即使有如此之多的训练数据，从头开始训练，其代价也是不可承受的。迁移学习告诉我们，利用之前已经训练好的模型，将它很好地迁移到新的模型训练任务上即可。发明内容[0003]本发明的目的是提供一种基于迁移学习的神经网络模型复用的方法，使得在相似主题中，神经网络模型可以共享复用，大大的提升模型利用的效率，节约分析成本。[0004]根据MMD(最大平均差异)来度量目标域与源域两个分布的相似性。再根据假设检验来判断目标域与源域的分布是否相同。若假设检验判断为两分布相同，则对深度神经网络模型进行finetune调整，实现深度神经网络模型的复用。[0005]为了解决以上问题，本发明的技术方案：[0006]一种基于迁移学习的神经网络模型复用方法，包括以下步骤：[0007]步骤1：当源域服从p分布、目标域服从q分布时，用MMD来度量两个分布的相似程度。[0008]步骤2：基于假设检验，判断源域p分布、目标域q分布是否相同。[0009]步骤3：根据假设检验的结果，若判定分布p、q为同分布，则可以进行基于finetune对神经网络模型进行迁移。[0010]步骤4：不同场景下的finetune方法。[0011]在本发明的一个优选实施例中，[0012]本发明具有以下有益效果：[0013](1)不需要针对新任务从头开始训练网络，节省了时间成本；[0014](2)神经网络的前3层基本都是generalfeature，进行迁移的效果会比较好；[0015](3)finetune可以比较好地克服数据之间的差异性；[0016](4)预训练好的模型通常都是在大数据集上进行的，无形中扩充了我们的训练数据，使得模型鲁棒性、泛化能力更好。3CN113608736A说明书2/3页附图说明[0017]图1为本发明的基于迁移学习的神经网络模型复用流程图；[0018]图2为本发明的有无finetune的模型精度对比图。具体实施方式[0019]以下结合附图对本发明的特征及其它相关特征作进一步详细说明，以便于同行业技术人员的理解。[0020]步骤1：当源域服从p分布、目标域服从q分布