一种照片书的照片图像自动填充方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112070859A(43)申请公布日2020.12.11(21)申请号202010974781.X(22)申请日2020.09.16(71)申请人山东晨熙智能科技有限公司地址250000山东省济南市莱芜区口镇泰山路7号1幢(72)发明人郭志强魏延文(74)专利代理机构济南舜源专利事务所有限公司37205代理人徐胭脂(51)Int.Cl.G06T11/40(2006.01)G06T3/40(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图2页(54)发明名称一种照片书的照片图像自动填充方法及系统(57)摘要本发明提供一种照片书的照片图像自动填充方法及系统，均能够：将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中计算得到卷积特征图；扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的第一外接矩形；获取用于填充待填充图像的照片书模板相框的第二外接矩形；将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。本发明用于增加照片书照片图像自动填充的适用范围、用于在避免照片图像关键信息被遮挡的前提下保留照片书原本的设计美感。CN112070859ACN112070859A权利要求书1/2页1.一种照片书的照片图像自动填充方法，其特征在于，包括步骤：将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中进行卷积计算，得到包含待填充照片图像显著信息区域的特征图，记为卷积特征图；所述显著特征提取卷积神经网络，是能够提取照片图像的显著信息区域并且能够提取预先设定类型的照片图像的显著信息区域的卷积神经网络；所述预先设定类型的照片图像的类型种类至少为两种；扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的最小外接矩形，记为第一外接矩形；获取用于填充待填充图像的照片书模板相框的外接矩形，记为第二外接矩形；将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。2.根据权利要求1所述的照片书的照片图像自动填充方法，其特征在于，所述将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中，具体实现方法包括：判断第一外接矩形是否能够被第二外接矩形完全覆盖：若是，则将所述待填充照片图像填充在所述照片书模板相框中；若否，则对待填充照片图像进行等比例缩小与填充，并使待填充照片图像上的显著信息区域填充在所述照片书模板相框中。3.根据权利要求1所述的照片书的照片图像自动填充方法，其特征在于，训练所述显著特征提取卷积神经网络的方法包括：预先自定义上述预先设定类型的照片图像的显著信息区域；根据预先自定义的照片图像的显著信息区域，对训练集中的照片图像进行显著信息区域标注；所述训练集，包含上述预先设定类型中的各种类型的照片图像；采集所标注的各显著信息区域构建显著区域标注数据集；创建基于深度学习的卷积神经网络模型；采用构建的显著区域标注数据集，训练所创建的卷积神经网络模型，得到初步训练好的显著特征提取卷积神经网络；采用预先设定好的验证集，对初步训练好的显著特征提取卷积神经网络进行测试调整，得到训练好的显著特征提取卷积神经网络。4.根据权利要求1-3中任一项所述的照片书的照片图像自动填充方法，其特征在于，所述预先设定类型的照片图像，包括人物照片、美食照片、宠物照片和风景照片中的至少两种，并且均包含实际应用场景。5.一种照片书的照片图像自动填充系统，其特征在于，包括：卷积特征图获取单元，用于将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中进行卷积计算，得到包含待填充照片图像显著信息区域的特征图，记为卷积特征图；所述显著特征提取卷积神经网络，是能够提取照片图像的显著信息区域并且能够提取预先设定类型的照片图像的显著信息区域的卷积神经网络；所述预先设定类型的照片图像的类型种类至少为两种；显著信息区域外接矩形获取单元，用于扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的最小外接矩形，记为第一外接矩形；2CN112070859A权利要求书2/2页照片书模板相框外接矩形获取单元，用于获取用于填充待填充图像的照片书模板相框的外接矩形，记为第二外接矩形；图像填充单元，用于将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。6.根据权利要求