一种基于卷积神经网络的快速图像构图方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113724261A(43)申请公布日2021.11.30(21)申请号202110920914.XG06N3/04(2006.01)(22)申请日2021.08.11G06N3/08(2006.01)(71)申请人电子科技大学地址610041四川省成都市高新区（西区）西源大道2006号(72)发明人倪志彬何震宇梁淇奥蒋新科向芝莹周啸宇石爻李顺左健甫杨若辰吴世涵张恩华吉雪莲常世晴罗佳源陈攀宇王瑞锦(74)专利代理机构成都金英专利代理事务所(普通合伙)51218代理人袁英(51)Int.Cl.G06T7/10(2017.01)权利要求书1页说明书6页附图1页(54)发明名称一种基于卷积神经网络的快速图像构图方法(57)摘要本发明公开了一种基于卷积神经网络的快速图像构图方法，包括以下步骤：步骤1：训练基于孪生神经网络的视图评价模型架构：步骤2：将训练好的视图评价模型部署为teachermodel，为候选图像锚框进行打分；以teacher的分数训练视图建议模型作为studentmodel，并输出相同锚框的分数排名；步骤3：通过目标检测网络进行多尺度特征提取；步骤4：将提取的特征经过神经网络全连接层输出锚框；步骤5：根据步骤4得到的锚框，对原输入图片进行裁剪得到新的构图。本发明旨在训练模型以找到具有良好构图的视图，鲁棒性好，能在极短的时间内生成处理好的视图，可以广泛应用于图像裁剪、图像缩略图、图像重定位和实时性查看建议。CN113724261ACN113724261A权利要求书1/1页1.一种基于卷积神经网络的快速图像构图方法，其特征在于，包括以下步骤：步骤1：训练基于孪生神经网络的视图评价模型架构：步骤2：将训练好的视图评价模型部署为teachermodel，为候选图像锚框进行打分；以teacher的分数训练视图建议模型作为studentmodel，并输出相同锚框的分数排名；步骤3：通过目标检测网络进行多尺度特征提取；步骤4：将提取的特征经过神经网络全连接层输出锚框；步骤5：根据步骤4得到的锚框，对原输入图片进行裁剪得到新的构图。2.根据权利要求1所述的一种基于卷积神经网络的快速图像构图方法，其特征在于，所述步骤1包括以下子步骤：步骤101：采用两个子网络采用两个子网络，每个子网络各自接收一个输入，将其映射至高维特征空间，并输出对应的表征；步骤102：通过计算两个表征的距离，来比较两个输入的相似程度。3.根据权利要求2所述的一种基于卷积神经网络的快速图像构图方法，其特征在于，所述两个表征的距离为欧式距离。4.根据权利要求1所述的一种基于卷积神经网络的快速图像构图方法，其特征在于，训练studentmodel所用的损失函数为：其中，y表示teachermodel输出的分数，q表示studentmodel输出的分数，n表示输出分数的个数。5.根据权利要求4所述的一种基于卷积神经网络的快速图像构图方法，其特征在于，所述损失函数在训练阶段将teachermodel拥有的知识迁移到studentmodel，通过反向传播不断优化studentmodel的参数。6.根据权利要求1所述的一种基于卷积神经网络的快速图像构图方法，其特征在于，所述视图评价模型的卷积核大小为3×3；结构采用卷积层和池化层相间排列，同时增加非线性变换的层数。2CN113724261A说明书1/6页一种基于卷积神经网络的快速图像构图方法技术领域[0001]本发明涉及图像处理领域，尤其涉及一种基于卷积神经网络的快速图像构图方法。背景技术[0002]早期的裁剪方法基于摄影知识(例如三分法和中心法等)明确设计了各种手工操作的特征。随着深度学习的发展，大量研究人员致力于以数据驱动的方式来开发裁剪方法，以及一些用于比较的基准数据集的发布，极大地促进了相关研究进展。[0003]然而，获得最佳候选裁剪图依然是极其困难的，主要是受以下三个方面的影响：1)图像显著性信息的潜力无法得到完全释放。以前基于显著性的裁剪方法重点是保留最佳裁剪图中最重要的内容，但却忽略了这样的情况：如果显著性区域的矩形位于源图像的边界附近，则显著性区域和最佳裁剪图会重叠。而且，显著性信息仅用于候选裁剪图的产生，并没有继续用于后续的裁剪模块中。2)潜在区域对(感兴趣区域(ROI)和丢弃区域(ROD))及其内部规律没有得到很好地表示。通常，成对的裁剪方法明确地形成一对源图像并将其馈入自动裁剪模型中，但由于过于依赖详细而不确定的源图像对的选择，导致这种方法的性能通常很差。3)用于评估裁剪方法的传统指标不可靠且不准确。在某些情况下，交并比(IoU)和边界位移误差(BDE)不足以主观地评估其裁剪方法的性能。[0004]在图像处理技术领域，深度学习给机器