内容识别方法、装置、存储介质和终端设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113762049A(43)申请公布日2021.12.07(21)申请号202110512370.3(22)申请日2021.05.11(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人蔡聪怀(74)专利代理机构深圳翼盛智成知识产权事务所(普通合伙)44300代理人李汉亮(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书13页附图9页(54)发明名称内容识别方法、装置、存储介质和终端设备(57)摘要本申请公开了内容识别方法、装置、存储介质和终端设备，应用于基于人工智能的信息处理技术领域。采用预训练的主体内容识别模型对待识别图像进行主体内容图像的识别，主体内容识别模型是通过多个样本图像及各个样本图像的第一标注信息和第二标注信息对初始训练模型训练得到的，其中，初始训练模型包括特征提取模块、用于检测图像边缘信息的边缘检测模块及用于获取图像主体目标的主体目标获取模块。由于在对主体内容识别模型进行预训练时，主体目标获取模块获取主体目标的过程会借鉴边缘检测模块检测边缘线的信息，使得主体目标获取模块获取的信息更准确，进而使得训练得到的主体内容识别模型在对待识别图像进行主体内容图像的识别时更准确。CN113762049ACN113762049A权利要求书1/3页1.一种内容识别方法，其特征在于，包括：获取待识别图像，所述待识别图像包括待识别的主体内容图像；通过预训练的主体内容识别模型对所述待识别图像进行主体内容图像的识别，得到所述待识别图像中主体内容图像的目标坐标框；所述预训练的主体内容识别模型是通过多个样本图像及各个样本图像的第一标注信息和第二标注信息对初始训练模型训练得到的；其中，所述第一标注信息用于标注所述样本图像中主体目标所在框的位置信息，所述第二标注信息用于标注所述样本图像中边缘线的位置信息；所述初始训练模型包括特征提取模块、边缘检测模块和主体目标获取模块，所述特征提取模块用于提取所述样本图像的图像特征信息，所述边缘检测模块用于根据所述图像特征信息检测所述样本图像中的边缘信息，所述主体目标获取模块用于根据所述图像特征信息获取所述样本图像中的主体目标。2.如权利要求1所述的方法，其特征在于，所述方法还包括：获取训练样本，所述训练样本中包括多个样本图像及各个样本图像的第一标注信息和第二标注信息；根据所述训练样本中的第一标注信息和第二标注信息，对所述初始训练模型进行调整，得到调整后的训练模型；确定所述预训练的主体内容识别模型包括所述调整后的训练模型中的特征提取模块和主体目标获取模块。3.如权利要求2所述的方法，其特征在于，所述主体目标获取模块，用于根据所述图像特征信息对所述样本图像进行语义分割，得到多个分割区域；对所述多个分割区域的类型进行判别，确定所述多个分割区域中属于主体目标类型的目标分割区域；基于所述目标分割区域的信息确定所述样本图像中主体目标的位置信息。4.如权利要求1至3任一项所述的方法，其特征在于，所述根据所述训练样本中的第一标注信息和第二标注信息，对所述初始训练模型进行调整，得到调整后的训练模型，包括：通过所述初始训练模型输出所述样本图像中主体目标的第一位置信息，及所述样本图像中边缘线的第二位置信息；根据所述初始训练模型输出的第一位置信息和所述训练样本中对应的第一标注信息的第一损失函数，及所述初始训练模型输出的第二位置信息和所述训练样本中对应的第二标注信息的第二损失函数，调整所述初始训练模型，得到调整后的初始训练模型；当对所述初始训练模型的调整满足预置的训练停止条件时，将当前调整后的初始训练模型确定为所述调整后的训练模型；当对所述初始训练模型的调整不满足预置的训练停止条件时，针对当前调整后的初始训练模型，返回执行所述输出第一位置信息和第二位置信息及后续步骤。5.如权利要求4所述的方法，其特征在于，所述初始训练模型输出的第一位置信息中包括：目标所在框的位置信息及目标所在框属于主体目标类型的概率信息，所述第一标注信息中包括：所述样本图像中多个样本框的位置信息及样本框内目标是否为主体目标的信息；则所述初始训练模型输出的第一位置信息和所述训练样本中对应的第一标注信息的2CN113762049A权利要求书2/3页第一损失函数在计算时，包括：根据初始训练模型输出的目标所在框的位置信息与第一标注信息中对应样本框的位置信息，计算第一子误差；及根据目标所在框属于主体目标类型的概率信息与第一标注信息中对应样本框内目标是否为主体目标的信息计算第二子