一种针对十亿像素的像素块排列方法与系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830366A(43)申请公布日2023.03.21(21)申请号202211433402.1(22)申请日2022.11.16(71)申请人清华大学地址100084北京市海淀区清华园申请人平安科技（深圳）有限公司(72)发明人方璐郭雨晨戴琼海袁肖赟林浩哲肖京曾凡涛(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师石茵汀(51)Int.Cl.G06V10/764(2022.01)G06N5/04(2023.01)权利要求书2页说明书8页附图2页(54)发明名称一种针对十亿像素的像素块排列方法与系统(57)摘要本发明公开了一种针对十亿像素的像素块排列方法与系统，该方法包括：将待标注的十亿像素图像输入至推理模型中，并利用初始像素块构建像素块树；基于像素块过滤模型和像素块树进行像素块过滤，以将相邻的细粒度像素块排列到相应的粗粒度像素块中；以及，基于剩余的细粒度像素块和相应的粗粒度像素块以及像素块打包模型得到预设数量的画布，并在预设数量的画布中生成打包像素块的最终布局信息；基于打包像素块的最终布局信息进行模型优化以得到训练好的推理模型，基于训练好的推理模型输出待标注的十亿像素图像的标注数据以及标注数据的标签。本发明所提出像素块排列框架在保持理想性能的同时对十亿像素图像的推理速度有了大幅度提高。CN115830366ACN115830366A权利要求书1/2页1.一种针对十亿像素的像素块排列方法，其特征在于，包括以下步骤：获取待标注的十亿像素图像和对应的图像标签，以及推理模型；其中，所述推理模型包括像素块树生成模型、像素块过滤模型和像素块打包模型；将所述待标注的十亿像素图像输入至所述推理模型中，以基于所述像素块树生成模型和所述图像标签进行聚类得到初始像素块，并利用所述初始像素块构建像素块树；其中，所述像素块树包括细粒度像素块和相应的粗粒度像素块；基于所述像素块过滤模型和所述像素块树进行像素块过滤，以将相邻的细粒度像素块排列到相应的粗粒度像素块中；以及，基于剩余的细粒度像素块和相应的粗粒度像素块以及所述像素块打包模型得到预设数量的画布，并在所述预设数量的画布中生成打包像素块的最终布局信息；基于所述打包像素块的最终布局信息进行模型优化以得到训练好的推理模型，基于所述训练好的推理模型输出所述待标注的十亿像素图像的标注数据以及标注数据的标签。2.根据权利要求1所述的方法，其特征在于，在所述基于像素块过滤模型和所述像素块树进行像素块过滤之前，所述方法，还包括：基于所述像素块树和树形结构编码器，得到像素块树中每个像素块节点的对象信息以及树中像素块节点间关系。3.根据权利要求1所述的方法，其特征在于，所述利用初始像素块构建像素块树包括：基于所述初始像素块在像素块树中形成的叶节点得到细粒度像素块；将所述叶节点进行聚合得到粗粒度像素块；基于所述细粒度像素块和所述粗粒度像素块构建细粒度的像素块树，并利用细粒度的像素块树的根节点表示完整的待标注的十亿像素图像。4.根据权利要求1所述的方法，其特征在于，所述基于剩余的细粒度像素块和相应的粗粒度像素块以及所述像素块打包模型得到预设数量的画布，包括：基于所述像素块打包模型，利用贪心算法将剩余的细粒度像素块和相应的粗粒度像素块的第一像素块填充于第一画布；以及，将第二像素块填充于第二画布，当所有的像素块都被放入画布时停止打包。5.根据权利要求1所述的方法，其特征在于，所述方法，还包括：对降尺度的待标注的十亿像素图像使用粗检测器进行检测，并对得到的粗检测结果进行聚类。6.一种针对十亿像素的像素块排列系统，其特征在于，包括：数据获取模块，用于获取待标注的十亿像素图像和对应的图像标签，以及推理模型；其中，所述推理模型包括像素块树生成模型、像素块过滤模型和像素块打包模型；像素块树构建模块，用于将所述待标注的十亿像素图像输入至所述推理模型中，以基于所述像素块树生成模型和所述图像标签进行聚类得到初始像素块，并利用所述初始像素块构建像素块树；其中，所述像素块树包括细粒度像素块和相应的粗粒度像素块；过滤打包模块，用于基于所述像素块过滤模型和所述像素块树进行像素块过滤，以将相邻的细粒度像素块排列到相应的粗粒度像素块中；以及，基于剩余的细粒度像素块和相应的粗粒度像素块以及所述像素块打包模型得到预设数量的画布，并在所述预设数量的画布中生成打包像素块的最终布局信息；数据标注模块，用于基于所述打包像素块的最终布局信息进行模型优化以得到训练好2CN115830366A权利要求书2/2页的推理模型，基于所述训练好的推理模型输出所述待标注的十亿像素图像的标注数据以及标注数据的标签。7.根据权利要求6所述的系统，其特征在于，在所述过滤打包模块之前，还包括