训练目标跟踪模型和目标跟踪的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114169425A(43)申请公布日2022.03.11(21)申请号202111464709.3G06V10/774(2022.01)(22)申请日2021.12.03G06V10/75(2022.01)(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人倪烽王冠中党青青邓凯鹏赖宝华刘其文于佃海胡晓光马艳军(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06K9/62(2022.01)G06V20/40(2022.01)G06T7/246(2017.01)权利要求书3页说明书11页附图6页(54)发明名称训练目标跟踪模型和目标跟踪的方法和装置(57)摘要本公开提供了训练目标跟踪模型和目标跟踪的方法和装置，涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：获取样本集，样本包括视频帧和真实框；构建目标跟踪模型，其中，目标跟踪模型的头部包括交并比头，用于计算交并比损失值；执行如下训练步骤：从样本集中选取样本；将选取的样本中的视频帧输入目标跟踪模型，输出预测框；根据选取的样本中的真实框和预测框的差异计算原始损失值和交并比损失值；若原始损失值和交并比损失值的加权和小于预定阈值，则确定出目标跟踪模型训练完成；否则，调整目标跟踪模型的网络参数，继续执行训练步骤。通过该实施方式能够提高生成的目标跟踪模型的跟踪精度和速度。CN114169425ACN114169425A权利要求书1/3页1.一种训练目标跟踪模型的方法，包括：获取样本集，其中，所述样本集中的样本包括视频帧和用于标注所述视频帧中目标对象的真实框；构建目标跟踪模型，其中，所述目标跟踪模型的头部包括交并比头，用于计算交并比损失值；执行如下训练步骤：从所述样本集中选取样本；将选取的样本中的视频帧输入所述目标跟踪模型，输出预测框；根据选取的样本中的真实框和所述预测框的差异计算原始损失值和交并比损失值；若所述原始损失值和所述交并比损失值的加权和小于预定阈值，则确定出所述目标跟踪模型训练完成；否则，调整所述目标跟踪模型的网络参数，继续执行所述训练步骤。2.根据权利要求1所述的方法，其中，所述构建目标跟踪模型，包括：获取原始目标跟踪模型；获取应用所述目标跟踪模型的终端的运算能力；若所述运算能力大于第一预定能力，则使用HarDNet‑85替换掉所述原始目标跟踪模型中的骨干网络，得到构建出的目标跟踪模型。3.根据权利要求1所述的方法，其中，所述构建目标跟踪模型，包括：获取原始目标跟踪模型；获取应用所述目标跟踪模型的终端的运算能力；若所述运算能力小于第二预定能力，则使用HRNetV2‑W18替换掉所述原始目标跟踪模型中的骨干网络，并使用深层融合特征金字塔结构替换掉所述原始目标跟踪模型中的颈部，得到构建出的目标跟踪模型。4.根据权利要求3所述的方法，其中，所述构建目标跟踪模型，包括：去除所述目标跟踪模型中的可变形卷积。5.根据权利要求2‑4中任一项所述的方法，其中，所述构建目标跟踪模型，包括：使用深度可分离卷积替换所述目标跟踪模型中的头部中的普通卷积。6.根据权利要求1所述的方法，其中，所述样本集中的样本中的视频帧包括至少一个目标对象；以及所述构建目标跟踪模型，包括：在目标跟踪模型的再识别头部为不同的类别设置不同维度的全连接层。7.根据权利要求1所述的方法，其中，所述调整所述目标跟踪模型的网络参数，包括：通过同步批量归一化方式和滑动平均方式调整所述目标跟踪模型的网络参数。8.一种目标跟踪方法，包括：获取待检测的视频帧集合；将所述视频帧集合输入根据权利要求1‑7中任一项所述的方法训练完成的目标跟踪模型，在每个视频帧中输出至少一个检测框；对于每个视频帧，根据检测框的得分将该视频帧中的检测框划分成高分框集合和低分框集合；对于每个视频帧，将该视频帧的高分框集合与之前已确定的跟踪轨迹进行第一次匹配，将第一次匹配失败的跟踪轨迹与该视频帧的低分框集合进行第二次匹配，得到更新后2CN114169425A权利要求书2/3页的跟踪轨迹。9.根据权利要求8所述的方法，其中，所述第一次匹配和所述第二次匹配包括交并比匹配，所述目标跟踪模型输出检测框的阈值小于原始目标跟踪模型输出检测框的阈值。10.一种训练目标跟踪模型的装置，包括：获取单元，被配置成获取样本集，其中，所述样本集中的样本包括视频帧和用于标注所述视频帧中目标对象的真实框；构建单元，被配置成构建目标跟踪模型，其中，所述目标跟踪模型的头部包括交并比头，用于计算交并比损失值；训练单元，被配置成执行如下训练步骤：从所述样本集中选取样本；将选取的样本中的视频帧输入所述目标跟踪模型