基于较优视图和深度卷积神经网络的三维模型检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108009222A(43)申请公布日2018.05.08(21)申请号201711178604.5(22)申请日2017.11.23(71)申请人浙江工业大学地址310014浙江省杭州市下城区潮王路18号(72)发明人刘志李江川陈波(74)专利代理机构杭州之江专利事务所(普通合伙)33216代理人张慧英(51)Int.Cl.G06F17/30(2006.01)G06N3/04(2006.01)G06K9/46(2006.01)权利要求书2页说明书5页附图3页(54)发明名称基于较优视图和深度卷积神经网络的三维模型检索方法(57)摘要本发明涉及基于较优视图和深度卷积神经网络的三维模型检索方法，本发明首先从多个视点提取三维模型的视图，并按照灰度熵的排序选取较优视图。其次通过深度卷积神经网络对视图集进行训练，从而提取视图的深度特征并进行降维。同时，对输入的自然图像提取边缘轮廓图，经过相似度匹配返回一组三维模型。最后，基于目标模型所属类别占检索结果比例对结果列表进行微调重排，返回最终的检索结果以实现三维模型检索，此方法有效选取了较优视图，降低了视图冗余，并使用深度特征对视图进行更高层的表达，有效提高了检索效果。CN108009222ACN108009222A权利要求书1/2页1.基于较优视图和深度卷积神经网络的三维模型检索方法，其特征在于，包括如下步骤：(1)预定义初始视点的坐标，通过从多个不同角度、等距的方式对三维模型渲染出二维视图；(2)根据三维模型数据集中各个分类下的模型数量占模型总数的比例确定该类别下模型最终保留的较优视图数量，并对每个模型保留的较优视图计算灰度熵，用熵过滤机制去除较差视图，得到较优视图集；(3)在VGG16神经网络结构内的卷积模块的基础上构建一个由3个卷积层和2个全连接层构成的卷积神经网络，使用该卷积神经网络对较优视图集进行充分训练后对较优视图提取深度特征，并通过PCA对提取到的深度特征进行降维；(4)检索时选取自然图像进行边缘检测获得轮廓线条图，通过卷积神经网络进行特征提取，通过计算输入图像的特征与较优视图集提取的特征之间的欧几里德距离，并进行相似度匹配，获取初始检索结果列表；(5)依据初始检索结果列表中模型所属分类下模型数量与列表长度的比例调整匹配值，并以此对检索结果列表的次序进行重排，得到最终的检索结果。2.根据权利要求1所述的基于较优视图和深度卷积神经网络的三维模型检索方法，其特征在于：所述步骤(1)渲染的方法为采用以三维模型的质心为球心的、包含多个视点的视点球对三维模型进行包裹，采用闭合轮廓线结合暗示轮廓的渲染方法对三维模型进行渲染。3.根据权利要求1所述的基于较优视图和深度卷积神经网络的三维模型检索方法，其特征在于：所述步骤(2)的熵过滤机制为采用灰度熵排序判断视图质量，并根据每个分类下模型的数量与模型总量的比值确定该分类下模型的较优视图数量的视图选取；具体为：1)在视图数量的选择上，通过如下公式计算出每个分类下模型提取视图的数量n：其中，N代表视点数量，n代表该类别下模型最终的视图数量，ci代表i类别下模型的数量，a是固定常数，用于控制视图数量，t代表数据集中模型的类别总数；2)在视图质量的判定上，采用如下公式对每张视图的灰度熵进行计算，并按照熵的大小进行排序，保留熵最大的前n张视图作为该模型的较优视图：其中，pi表示灰度值为i的像素在整个视图中所占的比例，H代表灰度熵。4.根据权利要求1所述的基于较优视图和深度卷积神经网络的三维模型检索方法，其特征在于：所述步骤(3)在构建卷积神经网络时，需对卷积结果进行最大池化操作后传输给全链接层；在误差反向传播阶段，对实际输出与理想输出之间的误差进行计算，使用随机梯度下降法对累计误差进行最小化。5.根据权利要求4所述的基于较优视图和深度卷积神经网络的三维模型检索方法，其2CN108009222A权利要求书2/2页特征在于：所述的卷积神经网络使用ELU作为激活函数，在卷积模块中卷积核的设置上，选择了1*1,3*3,1*1相交替的模式；在卷积层的最后设置有一层2*2的池化层；在全连接层的设计上，使用1024维的全连接层搭配与模型类别总数一致的最后一层全连接层作为全连接模块。6.根据权利要求1所述的基于较优视图和深度卷积神经网络的三维模型检索方法，其特征在于：所述步骤(5)中对检索列表重排的方法如下：(5.1)获取与输入源匹配度最高的二维视图候选列表Lo及其匹配度，选取匹配度最高的视图，并将其与所属的三维模型一一对应，得到三维模型的候选列表L；(5.2)对候选列表L中的三维模型的视图在视图候选列表Lo中出现的次数进行统计，计算公式如下：(5.3)原有匹配度Score0经过步骤(5.2