一种复杂场景下的绘画物体识别与提取方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107944457A(43)申请公布日2018.04.20(21)申请号201711180695.6(22)申请日2017.11.23(71)申请人浙江清华长三角研究院地址314000浙江省嘉兴市南湖区亚太路705号9F(72)发明人苗长龙李世东(74)专利代理机构嘉兴启帆专利代理事务所(普通合伙)33253代理人李伊飏(51)Int.Cl.G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书4页附图1页(54)发明名称一种复杂场景下的绘画物体识别与提取方法(57)摘要本发明涉及图像识别与分割技术领域，具体公开了一种复杂场景下的绘画物体识别与提取方法，包括以下步骤：步骤1：构建检测与识别模型，并利用已有物体框和物体类别标注的图像集训练该模型；步骤2：采集包含用户绘画内容的场景图像；步骤3：利用训练完的检测与识别模型在图像中定位出绘画区域，并识别出绘画物体；步骤4：选出绘画区域，利用图像分割技术提取出绘画物体轮廓区域，该方法能应用在儿童绘画教学领域，增加绘画过程的智能互动性，提升绘画体验。CN107944457ACN107944457A权利要求书1/1页1.一种复杂场景下的绘画物体识别与提取方法，其特征在于：包括以下步骤：步骤1：构建检测与识别模型，并利用已有物体框和物体类别标注的图像集训练该模型；步骤2：图像采集，采集包含用户绘画内容的场景图像；步骤3：利用训练完的检测与识别模型在场景图像中定位出绘画区域，并识别出绘画物体类别；步骤4：选出绘画区域，利用图像分割技术提取出绘画物体轮廓区域。2.根据权利要求1所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述步骤（1）中构建的检测与识别模型为深度神经网络模型，需要利用大量已有物体框和物体类别标注的图像数据进行模型的训练，直至模型的参数收敛到预定的范围。3.根据权利要求2所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述深度神经网络模型在训练时应指定固定数量类别，指定网络输入图像的尺寸，指定网络的结构类型。4.根据权利要求1所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述步骤（3）中使用的场景图像应首先调整到网络输入图像的尺寸。5.根据权利要求1所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述步骤（3）中的绘画区域与绘画物体识别，是在待检测图像经过网络计算之后，两个输出端输出的结果。6.根据权利要求1所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述步骤（3）中得到的绘画区域，是相对于调整图像之后的候选框图像坐标点，共包含4个数据。7.根据权利要求1所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述步骤（3）中得到的识别绘画物体类别，是包含类型和概率的多组数据。8.根据权利要求1所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述步骤（4）中物体轮廓区域，首先需要对框选图像进行边缘检测，确定绘画物体的外边缘，之后，在和框选图像同样尺寸的蒙版上填充候选区域内部。9.根据权利要求8所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述框选图像由原图经网络检测得到的物体框选取局部得到。2CN107944457A说明书1/4页一种复杂场景下的绘画物体识别与提取方法技术领域[0001]本发明涉及图像识别与分割技术领域，特别涉及一种复杂场景下的绘画物体识别与提取方法。背景技术[0002]图像识别与分割是计算机视觉领域重要和基础性的问题，也是颇具挑战性的任务。近年来，深度学习技术的发展，在计算机视觉领域大放异彩，尤其在图像识别领域取得了超越人类的结果，在端到端的图像分割上也正发力。[0003]绘画识别在少儿绘画教育、少儿认知启蒙等领域都大有用处。然而，不同于自然图像的识别，绘画会表现得更加抽象，尤其是少儿的绘画，会更加简要、天马行空，这就意味着图像上拥有更少的特征信息以及同一类别内更大的变化性，这都让绘画识别变得更加困难。[0004]目前，针对绘画的识别主要着力于画板上图像的识别与分析，主要有两种方法，一种是针对绘画数据设计的基于手工特征表示的识别方法，另一种是基于深度卷积神经网络的端到端检测识别方法。JunGuo等提出利用Gabor特征构建低维表示，并进一步利用稀疏编码构建高层特征，进而使用支持向量机分类方法完成分类识别【1】；赵鹏等提出使用深度学习方法来完成绘画的识别，针对简笔绘画中信息更少的问题，提出增加卷积核大小的方法【2】；这些方法都应用在只包含了绘画图像的公开数据集上，虽然取得了接近于人的效果，但在实际应用中，并不能处理复杂的场景信息(非绘画内