一种基于卷积神经网络的稀疏张量存储格式自动选择方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112529157A(43)申请公布日2021.03.19(21)申请号202011430624.9(22)申请日2020.12.09(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人杨海龙孙庆骁(74)专利代理机构北京科迪生专利代理有限责任公司11251代理人张乾桢邓治平(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06K9/62(2006.01)权利要求书3页说明书8页附图5页(54)发明名称一种基于卷积神经网络的稀疏张量存储格式自动选择方法(57)摘要本发明公开了一种基于卷积神经网络的稀疏张量存储格式自动选择方法，包括：1)通过展平和映射两种转换方法分别将多维张量降低为二维矩阵；2)通过密度表示或直方图表示将矩阵缩放为固定大小；3)将固定大小的矩阵作为卷积神经网络CNN的输入，其中CNN的结构为面向稀疏张量存储格式自动选择而设计定制；4)用监督学习的方法训练CNN并得到训练后的网络模型；5)将新的稀疏张量作为网络模型的输入，前向传播后得到该张量的最佳存储格式。本发明利用CNN在分类问题下的优势，并结合前馈神经网络FFNN以适配最佳稀疏张量存储格式的预测，在充分保留张量特征的前提下，将稀疏张量有效地转换为固定大小的矩阵输入，可适用于高阶张量在任意张量计算下的稀疏格式的自动选择。CN112529157ACN112529157A权利要求书1/3页1.一种基于卷积神经网络的稀疏张量存储格式自动选择方法，其特征在于，包括以下步骤：步骤1：首先收集物理实体生产和运行的稀疏矩阵数据集，然后，将稀疏矩阵在行和列的索引值合并为稀疏张量的高维或低维，最终生成预定阶的稀疏张量数据集；步骤2：将稀疏张量数据集存储为多样的稀疏张量格式在预定硬件平台上执行张量计算，并得到其执行时间，再将执行时间转换为相应张量数据的标签；步骤3：通过映射的方法将稀疏张量数据沿某一维度降低为若干个矩阵，该维度与步骤2中执行张量计算的维度相对应；步骤4：通过展平的方法将稀疏张量数据沿某一维度降低为一个矩阵，该维度与步骤2中执行张量计算的维度相对应；步骤5：将步骤3和步骤4中生成的不规则大小的矩阵通过密度表示或直方图表示缩放为固定大小的矩阵；步骤6：通过除以矩阵中元素的最大值将固定大小的矩阵中所有元素的值归一化为[0，1]的范围；步骤7：分析稀疏张量数据并获得张量的候选特征集，其中包括稀疏张量的全局特征和局部特征；步骤8：每个稀疏张量经步骤6生成的归一化矩阵和步骤7生成的候选特征集组成了该张量的特征集合，将所有张量的特征集合和标签按编号索引排成列表，从而形成卷积神经网络(ConvolutionNeuralNetwork，简称为CNN)的训练集；步骤9：将训练集作为定制化的CNN的输入，经训练过程后生成训练后的网络模型；步骤10：当选择新的输入稀疏张量数据的最佳存储格式时，则重新执行步骤3‑7，再将稀疏张量的归一化矩阵和候选特征集组合为定制化的CNN的预测集；步骤11：将预测集输入到训练后的网络模型，输出为每个稀疏张量存储格式取得最佳性能的概率，取得最大概率的稀疏格式被选择为该张量执行张量计算的存储格式；步骤12：重复步骤10‑11直到所有待预测的稀疏张量的存储格式被选择完成；步骤13：若要在新的硬件平台实现稀疏张量格式的自动选择，有两种情况：一为硬件架构和软件系统相同，此时保留步骤9生成的训练后的模型，并重新执行步骤12；二为硬件架构和软件系统有多个差别，此时不保留步骤9生成的训练后的模型，并重新执行步骤2‑12；步骤14：若需更换矩阵缩放的方法，则重新执行步骤5并微调步骤9中定制化CNN的网络结构，再重新执行步骤8‑12以自动选择所有待预测的稀疏张量的存储格式；步骤15：若要基于其他张量计算实现稀疏张量格式的自动选择，则重新执行步骤2以获取相应张量数据的新标签，再重新执行步骤8‑12；步骤16：若要对其他阶的稀疏张量实现存储格式的自动选择，则微调步骤9中定制化CNN的网络结构，并重新执行步骤1‑12。2.根据权利要求1所述的一种基于卷积神经网络的稀疏张量存储格式自动选择方法，其特征在于：所述步骤1中，将稀疏矩阵在行和列的索引值合并为稀疏张量的高维或低维，此外，对于现实物理实体生产和运行中获取的真实稀疏矩阵数据，随机选取两个或多个稀疏矩阵合并得到预定数量的稀疏张量数据用于网络训练。3.根据权利要求1所述的一种基于卷积神经网络的稀疏张量存储格式自动选择方法，2CN112529157A权利要求书2/3页其特征在于：所述步骤2中，将执行时间转换为相应张量数据的标签，具体转换方法为将执行时间最短的稀疏存储格式标记为1，其他稀