图像处理系统、方法及其计算机装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114581767A(43)申请公布日2022.06.03(21)申请号202210059795.8(22)申请日2022.01.19(71)申请人上海土蜂科技有限公司地址201800上海市嘉定区环城路2222号1幢J(72)发明人应亦凡(74)专利代理机构上海领洋专利代理事务所(普通合伙)31292专利代理师罗晓鹏(51)Int.Cl.G06V20/10(2022.01)G06N3/04(2006.01)G06K9/62(2022.01)G06V10/30(2022.01)G06V10/774(2022.01)权利要求书3页说明书11页附图5页(54)发明名称图像处理系统、方法及其计算机装置(57)摘要本申请涉及智能图像处理的领域，其具体地公开了一种图像处理系统、方法及其计算机装置。所述基于无人机的图像处理系统以基于深度可分离的作为去噪生成器的卷积神经网络对由无人机采集的原始图像进行在多维度上的卷积操作以挖掘出所述原始图像的高维特征中的三维块结构，从而基于三维块匹配和过滤的原则来进行原始图像的去噪。并且，为了使得所述卷积神经网络能够更好地挖掘高维特征中的三维块结构，引入多光谱图像作为参考数据来促进所述卷积神经网络的参数更新，以修正所述特征图与所述参考数据的一致性。这样，可以使得对采场爆堆中的矿石粒度是否符合预设要求判断的准确性更高，从而为露天矿生产爆破提供决策依据。CN114581767ACN114581767A权利要求书1/3页1.一种基于无人机的图像处理系统，其特征在于，包括：训练模块，包括：原始图像单元，用于通过部署于无人机的摄像模组获得采场爆炸堆的图像；第一神经网络单元，用于将所述采场爆炸堆的图像输入作为去噪生成器的第一卷积神经网络以获得第一特征图，其中，所述第一卷积神经网络在卷积操作中，不同层的滤波器用于分别在两个空间维度W和H和通道维度C上进行卷积；光谱图像单元，用于通过部署于所述无人机的光谱相机获得与所述采场爆炸堆的图像对应的多光谱图像；第二神经网络单元，用于将所述多光谱图像中的每张光谱图像输入第二卷积神经网络以获得多个第二特征图；类别概率计算单元，用于计算每个所述第二特征图相对于所有所述第二特征图的类别概率值，其中，所述类别概率值为以每个所述第二特征图中各个位置的特征值的负值为幂的自然指数函数值的加权和除以以所有所述第二特征图中各个位置的特征值的负值为幂的自然指数函数值的加权和；类分布一致性损失函数值计算单元，用于计算所述第一特征图与每个所述第二特征图的类别概率值之间的类分布一致性损失函数值，其中，所述类分布一致性损失函数值与所述第一特征图通过分类器所获得的类别概率值和所述第二特征图的类别概率值有关；交叉熵损失函数值计算单元，用于计算所述第一特征图与由每个所述第二特征图的类别概率值组成的类别概率特征向量之间的交叉熵损失函数值；第三神经网络单元，用于将所述第一特征图输入作为特征提取器的第三卷积神经网络以获得第三特征图；分类损失函数值计算单元，用于将所述第三特征图通过所述分类器以获得分类损失函数值；以及训练单元，用于基于所述分类损失函数值、交叉熵损失函数值和所述类分布一致性损失函数值的加权和来训练所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络；以及推断模块，包括：待处理图像获取单元，用于通过部署于无人机的摄像模组获得采场爆炸堆的图像；去噪单元，用于将所述采场爆炸堆的图像输入经训练模块训练完成的作为去噪生成器的第一卷积神经网络以获得第一特征图；特征提取单元，用于将所述第一特征图通过经训练模块训练完成的作为特征提取器的第三卷积神经网络以获得分类特征图；处理结果生成单元，用于将所述分类特征图通过所述分类器以获得分类结果，其中，所述分类结果用于表示所述采场爆堆中的矿石粒度是否符合预设要求。2.根据权利要求1所述的基于无人机的图像处理系统，其中，所述第一卷积神经网络为深度可分离卷积神经网络，其中，所述深度可分离卷积神经网络的部分层在卷积操作中以卷积核对特征图分别在两个空间维度W和H上进行卷积，所述深度可分离卷积神经网络的另一部分层在卷积操作中以点卷积对特征图在通道维度C上进行卷积。3.根据权利要求2所述的基于无人机的图像处理系统，其中，所述类别概率计算单元，2CN114581767A权利要求书2/3页进一步用于以如下公式计算每个所述第二特征图相对于所有所述第二特征图的类别概率值，其中，所述公式为：pi＝∑xj∈Fiexp(‑xj)/∑xj∈Fi,Fi∈Fexp(‑xj)。4.根据权利要求3所述的基于无人机的图像处理系统，其中，所述类分布一致性损失函数值计算单元，进一步用于以如下公式计算所述第一特征图与每个所述第二特征图的类别概率值之间的类分布