神经网络的训练方法及装置、计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113837379A(43)申请公布日2021.12.24(21)申请号202111083941.2(22)申请日2021.09.14(71)申请人上海商汤智能科技有限公司地址200233上海市徐汇区桂平路391号3号楼1605A室(72)发明人林少波曾星宇陈大鹏赵瑞(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人马丽张颖玲(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书3页说明书22页附图3页(54)发明名称神经网络的训练方法及装置、计算机可读存储介质(57)摘要本公开实施例提供了一种神经网络的训练方法及装置、计算机可读存储介质，方法包括：基于初始元知识、每种任务的初始任务知识和任务损失函数，采用第一数据集中的每种任务的样本对初始网络进行迭代训练，得到每种任务的任务知识；第一数据集为包含初始任务类别的源域数据集；基于每种任务的任务知识、初始元知识和元损失函数，采用第一数据集中的各种任务对应的样本分别对初始网络进行迭代训练，得到最佳元知识；基于最佳元知识、每种任务的任务知识和任务损失函数，对第二数据集中的每种任务的样本对最佳元知识对应的网络进行迭代训练，得到每种任务的最佳任务知识，以及与最佳任务知识对应的目标网络。本公开提高了进行少量样本训练的泛化性。CN113837379ACN113837379A权利要求书1/3页1.一种神经网络的训练方法，其特征在于，所述方法包括：基于初始元知识、每种任务的初始任务知识和任务损失函数，采用第一数据集中的每种任务的样本对初始网络进行迭代训练，得到所述每种任务的任务知识；其中，所述第一数据集为包含初始任务类别的源域数据集；基于所述每种任务的任务知识、所述初始元知识和元损失函数，采用所述第一数据集中的各种任务对应的样本分别对所述初始网络进行迭代训练，得到最佳元知识；基于所述最佳元知识、所述每种任务的任务知识和所述任务损失函数，采用第二数据集中的每种任务的样本对最佳元知识对应的网络进行迭代训练，得到所述每种任务的最佳任务知识，以及与所述最佳任务知识对应的目标网络；其中，所述第二数据集为包含目标任务类别的目标域数据集，且所述初始任务类别中每种任务类别的样本量大于所述目标任务类别中每种任务类别的样本量。2.根据权利要求1所述的方法，其特征在于，所述基于初始元知识、每种任务的初始任务知识和任务损失函数，采用第一数据集中的每种任务的样本对初始网络进行迭代训练，得到所述每种任务的任务知识，包括：基于初始元知识和每种任务的初始任务知识，采用第一数据集中的每种任务的样本对所述初始网络进行迭代训练，得到第一训练结果；基于所述任务损失函数和所述第一训练结果，在确定每个样本对应的任务损失之和最小时，确定所述每种任务的任务知识。3.根据权利要求1所述的方法，其特征在于，所述基于所述每种任务的任务知识、所述初始元知识和元损失函数，采用所述第一数据集中的各种任务对应的样本分别对所述初始网络进行迭代训练，得到最佳元知识，包括：基于所述每种任务的任务知识和所述初始元知识，采用所述第一数据集中的各种任务对应的样本分别对所述初始网络进行迭代训练，得到第二训练结果；基于所述元损失函数和所述第二训练结果，在确定各种任务对应的元损失之和最小时，确定所述最佳元知识。4.根据权利要求1至3任一项所述的方法，其特征在于，在基于片段的少量样本的训练过程中，所述第一数据集包括片段对应的查询数据集和支持数据集；所述支持数据集用于任务知识的训练过程中；所述查询数据集用于元知识的训练过程中；其中，一个片段表征一种任务；所述查询数据集中包括M种任务，且每种任务下对应N个样本；所述支持数据集中包括H种任务，且每种任务下对应K个样本；所述M种任务与所述H种任务的种类不同；M为大于等于1的正整数，N为大于等于1的正整数；H为大于等于1的正整数，K为大于等于1的正整数；在基于片段的少量样本的测试过程中，所述第二数据集为与所述第一数据集的初始任务类别不同的目标任务类别的数据集；其中，所述第二数据集Q种任务总数，且每种任务下对应少量样本；Q为大于等于1的正整数。5.根据权利要求1至3任一项所述的方法，其特征在于，在基于预训练‑微调的少量样本的预训练过程中，所述第一数据集包括：M种任务，且每种任务下对应N个样本；M为大于等于1的正整数，N为大于等于1的正整数；在基于预训练‑微调的少量样本的微调过程中，所述第二数据集为与所述第一数据集2CN113837379A权利要求书2/3页的初始任务类别不同的目标任务类别的数据集；其中，所述第二数据集Q种任务总数，且每种任务下对应少量样本；Q为大于等于1的正整数。6.根据权利要求1至5任