一种自动标注方法、自动标注装置和计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114218434A(43)申请公布日2022.03.22(21)申请号202111320677.XG06K9/62(2022.01)(22)申请日2021.11.09G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人浙江大华技术股份有限公司地址310051浙江省杭州市滨江区滨安路1187号(72)发明人吴成路余言勋王亚运杨雪峰段富治(74)专利代理机构深圳市威世博知识产权代理事务所(普通合伙)44280代理人何倚雯(51)Int.Cl.G06F16/75(2019.01)G06F16/78(2019.01)G06F16/783(2019.01)G06V10/764(2022.01)权利要求书3页说明书8页附图7页(54)发明名称一种自动标注方法、自动标注装置和计算机可读存储介质(57)摘要本申请公开了一种自动标注方法、自动标注装置和计算机可读存储介质，该方法包括：获取第一待标注视频，第一待标注视频包括待标注内容；对第一待标注视频进行特征提取处理，得到第一特征信息；采用标注生成网络对第一特征信息进行处理，生成至少一个候选标注区，并对候选标注区进行修正处理，生成目标标注区，目标标注区包括与待标注内容对应的起点时刻以及终点时刻之间的视频；对目标标注区中的待标注内容进行分类处理，得到待标注内容的类别信息。通过上述方式，本申请能够提升对视频进行自动标注的准确率与效率。CN114218434ACN114218434A权利要求书1/3页1.一种自动标注方法，其特征在于，包括：获取第一待标注视频，所述第一待标注视频包括待标注内容；对所述第一待标注视频进行特征提取处理，得到第一特征信息；采用标注生成网络对所述第一特征信息进行处理，生成至少一个候选标注区，并对所述候选标注区进行修正处理，生成目标标注区，所述目标标注区包括与所述待标注内容对应的起点时刻以及终点时刻之间的视频；对所述目标标注区中的待标注内容进行分类处理，得到所述待标注内容的类别信息。2.根据权利要求1所述的自动标注方法，其特征在于，所述对所述目标标注区中的待标注内容进行分类处理的步骤，包括：将所述目标标注区输入分类网络；采用所述分类网络中的第一归一化模块对所述目标标注区进行归一化处理，得到视频处理片段；采用所述分类网络中的提取模块对所述视频处理片段进行特征提取处理，得到第一片段特征信息；采用所述分类网络中的计算模块对所述第一片段特征信息进行分类处理，得到所述类别信息。3.根据权利要求2所述的自动标注方法，其特征在于，所述分类网络还包括第二归一化模块，所述采用所述计算模块对所述第一特征信息进行分类处理，得到所述类别信息的步骤，包括：采用所述计算模块对所述第一片段特征信息进行分类处理，得到分类结果；采用所述第二归一化模块对所述分类结果进行归一化处理，得到所述类别信息。4.根据权利要求2所述的自动标注方法，其特征在于，所述对所述第一待标注视频进行特征提取处理，得到第一特征信息的步骤，包括：对所述第一待标注视频进行切分，得到多个视频片段；采用所述分类网络对所述视频片段进行处理，得到第二片段特征信息，所述第二片段特征信息为所述视频片段的特征信息；对所有所述第二片段特征信息进行归一化处理，得到所述第一特征信息。5.根据权利要求1所述的自动标注方法，其特征在于，所述标注生成网络包括第一标注生成网络与第二标注生成网络，所述方法还包括：采用所述第一标注生成网络对所述第一特征信息进行处理，生成候选标注集合，所述候选标注集合包括所述候选标注区；采用所述第二标注生成网络对所述候选标注区进行修正处理，生成所述目标标注区。6.根据权利要求5所述的自动标注方法，其特征在于，所述第一标注生成网络包括特征增强模块、第一估计模块、第二估计模块以及生成模块，所述方法还包括：采用所述特征增强模块对所述第一特征信息进行增强处理，生成第二特征信息；采用所述第一估计模块对所述第二特征信息进行估计处理，得到第一得分信息；采用所述第二估计模块对所述第二特征信息进行估计处理，得到第二得分信息；采用所述生成模块对所述第一得分信息与所述第二得分信息进行融合处理，得到得分信息；2CN114218434A权利要求书2/3页基于所述得分信息，生成所述候选标注集合。7.根据权利要求6所述的自动标注方法，其特征在于，所述候选标注区包括起点预测时刻以及与终点预测时刻，所述起点预测时刻为估计出的所述第一待标注视频中待标注内容第一次出现的时刻，所述终点预测时刻为估计出的所述第一待标注视频中待标注内容最后一次出现的时刻，所述第一得分信息包括多个区域概率，所述采用所述第一估计模块对所述第二特征信息进行估计处理，得到第一得分信息的步骤，包括：创建区域