模型训练方法、目标检测方法、装置、设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113657483A(43)申请公布日2021.11.16(21)申请号202110933482.6(22)申请日2021.08.14(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人陈子亮(74)专利代理机构北京市通商律师事务所11951代理人巩靖(51)Int.Cl.G06K9/62(2006.01)权利要求书3页说明书9页附图4页(54)发明名称模型训练方法、目标检测方法、装置、设备以及存储介质(57)摘要本公开提供了一种模型训练方法、目标检测方法、装置、设备以及存储介质，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。具体方案为：根据训练数据，训练第一目标检测模型以获得已训练第一目标检测模型；将训练数据输入到已训练第一目标检测模型和第二目标检测模型进行目标检测，通过已训练第一目标检测模型的多个中间层提取的特征对第二目标检测模型的多个中间层进行知识蒸馏；确定第二目标检测模型针对训练数据的目标检测过程的损失函数值，根据损失函数值调整第二目标检测模型的参数，以使损失函数值达到预设损失阈值，上述方案可以显著地提升第二目标检测模型针对目标的检测结果的准确率。CN113657483ACN113657483A权利要求书1/3页1.一种基于知识蒸馏的模型训练方法，包括：根据训练数据，训练第一目标检测模型从而获得已训练第一目标检测模型；将所述训练数据输入到所述已训练第一目标检测模型和第二目标检测模型进行目标检测，并通过所述已训练第一目标检测模型的多个中间层提取的特征对所述第二目标检测模型的多个中间层进行知识蒸馏；确定出所述第二目标检测模型针对所述训练数据的目标检测过程的损失函数值，根据所述损失函数值调整所述第二目标检测模型的参数，以使所述损失函数值达到预设损失阈值。2.根据权利要求1所述的方法，其中，所述通过所述已训练第一目标检测模型的多个中间层提取的特征对所述第二目标检测模型的多个中间层进行知识蒸馏，包括：确定出所述已训练第一目标检测模型的多个中间层分别提取的特征、以及第二目标检测模型的多个中间层分别提取的特征；计算所述已训练第一目标检测模型的每个中间层提取的特征与所述第二目标检测模型中对应的中间层提取的特征的差异结果，并基于所述差异结果调整所述第二目标检测模型中对应的中间层的参数。3.根据权利要求2所述的方法，在所述计算所述已训练第一目标检测模型的每个中间层提取的特征与所述第二目标检测模型中对应的中间层提取的特征的差异结果之前，还包括：通过所述第二目标检测模型的适应层，将所述第二目标检测模型中每个中间层提取的特征的属性参数，调整为与所述已训练第一目标检测模型中对应的中间层提取的特征的属性参数相同。4.根据权利要求3所述的方法，所述属性参数包括特征的空间数量和通道数量之中的至少一项。5.根据权利要求2所述的方法，其中，所述已训练第一目标检测模型的多个中间层至少包括主干网络层和瓶颈层，所述第二目标检测模型的多个中间层至少包括主干网络层和瓶颈层。6.根据权利要求1所述的方法，其中，所述确定出所述第二目标检测模型针对所述训练数据的目标检测过程的损失函数值，包括：利用所述已训练第一目标检测模型输出针对所述训练数据的第一目标检测结果、以及利用所述第二目标检测模型输出针对所述训练数据的第一目标检测结果；基于所述第一目标检测结果和所述第二目标检测结果，确定出所述第二目标检测模型针对所述训练数据的目标检测过程的损失函数值。7.一种目标检测方法，包括：将待检测数据输入到根据权利要求1至6中任一项所述的训练方法得到的第二目标检测模型；利用所述第二目标检测模型输出针对所述待检测数据的检测结果。8.一种基于知识蒸馏的模型训练装置，包括：预训练模块，用于根据训练数据，训练第一目标检测模型从而获得已训练第一目标检测模型；2CN113657483A权利要求书2/3页知识蒸馏模块，用于将所述训练数据输入到所述已训练第一目标检测模型和第二目标检测模型进行目标检测，并通过所述已训练第一目标检测模型的多个中间层提取的特征对所述第二目标检测模型的多个中间层进行知识蒸馏；参数调整模块，用于确定出所述第二目标检测模型针对所述训练数据的目标检测过程的损失函数值，根据所述损失函数值调整所述第二目标检测模型的参数，以使所述损失函数值达到预设损失阈值。9.根据权利要求8所述的装置，其中，所述知识蒸馏模块在用于通过所述已训练第一目标检测模型的多个中间层提取的特征对所述第二目标检测模型的多个中间层进行知识蒸馏时，具体用于：确定出所述已训练第一目标检测模型的多个中间层分别提取的特征、以及第二目标检测模型的多个中间层分