基于双Transformer分支的三维模型分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114863186A(43)申请公布日2022.08.05(21)申请号202210622404.9(22)申请日2022.06.02(71)申请人哈尔滨理工大学地址150080黑龙江省哈尔滨市学府路南岗区52号哈尔滨理工大学(72)发明人丁博张立宝王涛曲中水(51)Int.Cl.G06V10/764(2022.01)G06V10/42(2022.01)G06V10/77(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T17/00(2006.01)权利要求书2页说明书6页附图3页(54)发明名称充分表示了三维模型，提高了分类准确率。本发基于双Transformer分支的三维模型分类方明应用于三维模型分类。法(57)摘要基于双Transformer分支的三维模型分类方法，本发明涉及三维模型分类过程中，二维视图表征三维模型存在难以捕捉细节信息且分类准确率低下的问题。目前，基于视图的三维模型分类方法通常侧重于对视图采用不同的深度神经网络模型来挖掘视图间的区分性以及时序关系，这些方法都是视图级的，无法从多个视图中捕获局部细节信息，这些细微的和具有区分性的局部细节正是有效分类三维模型的关键。为此，本发明采用基于双Transformer分支的三维模型分类方法，该方法既可以有效获取三维模型的全局信息，又可以获取细粒度的局部信息，有效提高了对三维模型的表示能力。在三维模型分类时，利用训练好的基于双Transformer分支的网络模型提取三维模型特征，该网络分别提取三维模型的全局信息和局部信息，然后对两部分信息进行融CN114863186A合，最后通过融合特征进行分类。通过这种方式，CN114863186A权利要求书1/2页1.基于双Transformer分支的三维模型分类方法，其特征在于，包含获取投影视图阶段、网络训练阶段和三维模型分类阶段：所述获取投影视图阶段包含步骤：S1、将每个三维模型都沿着一致的轴垂直定向，然后在北纬30°均匀固定12个视点相机分别获取视图。所述网络训练阶段包含步骤：S2、将全部投影视图作为训练数据放入提取全局特征的Transformer分支网络中进行训练；S3、将全部投影视图作为训练数据放入提取局部特征的Transformer分支网络中进行训练；S4、按照步骤S41的方法协同学习优化两个分支网络：S41、通过协同学习减小双分支网络提取的全局特征和局部特征的L2距离使它们在整个训练过程中相互学习和引导。表达式如下：其中，K表示训练时的Batch‑size，xV,i和xB,i分别表示两个网络提取的全局特征和局部特征。所述三维模型分类阶段包含步骤：S5、按照步骤S51‑S52的方法将三维模型的所有投影视图放入提取全局特征的Transformer网络中提取视图级别特征，每个视图分配不同的注意力值，突出同一对象的所有视图之间的重要性不同，将视图特征有效地聚合为三维模型的全局特征：S51、将全部投影视图最大池化后映射为一维向量；S52、将所有一维向量作为Transformer网络的输入提取三维模型全局特征。S6、按照步骤S61‑S63的方法将三维模型的每张投影视图切割后放入提取局部特征的Transformer网络中提取块级别特征，为不同块分配不同的注意力值，这样可以有效表示每个块重要性的不同，以促进聚合后的三维模型特征具有丰富的局部细节，更具有区分性：S61、将每张投影视图通过CNN提取特征后切割成若干个同样大小的块，把每个块映射成一维向量；S62、将每张投影视图所有块映射的一维向量作为Transformer网络的输入提取局部特征；S63、将提取的所有投影视图的局部特征双线性池化后得到三维模型的局部特征。S7、按照步骤S71的方法将S5和S6提取的特征融合后完成分类：S71、将双分支网络提取的全局特征和局部特征加权相加后得到表示三维模型的特征，然后预测出三维模型的分类结果z。表达式如下：Tz＝argmax(αxV,i+(1‑α)xB,i)其中，α服从U(0,1)分布，xV,i和xB,i分别表示两个网络提取的全局特征和局部特征。2.如权利要求所述的提取局部特征方法，其特征在于，步骤S63双线性池化的方法如下：2CN114863186A权利要求书2/2页对所有投影视图提取的局部特征向量自外积后累加，输出双线性特征矩阵。再将得到的双线性特征矩阵SUMPooling后展平，并通过归一化得到三维模型的局部特征x。表达式如下：其中，si,0表示三维模型第i张投影视图的局部特征向量，N表示三维模型投影视图的数量，n表示SUMPooling的窗口尺寸，vec(·)表示