用于神经网络张量处理器的稀疏数据压缩装置及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115936101A(43)申请公布日2023.04.07(21)申请号202211618646.7(22)申请日2022.12.15(71)申请人厦门壹普智慧科技有限公司地址361021福建省厦门市火炬高新区软件园三期诚毅北大街8号1902室A区(72)发明人汤梦饶罗闳訚周志新何日辉尤培坤(74)专利代理机构厦门市精诚新创知识产权代理有限公司35218专利代理师张锐(51)Int.Cl.G06N3/082(2023.01)G06N3/049(2023.01)G06N3/063(2023.01)H03M7/30(2006.01)权利要求书2页说明书5页附图3页(54)发明名称用于神经网络张量处理器的稀疏数据压缩装置及方法(57)摘要本发明涉及神经网络张量处理器领域，特别是一种用于神经网络张量处理器的稀疏数据压缩装置及方法。所述方法包括：读取压缩操作的配置数据并配置稀疏数据压缩装置的各模块；根据配置信息，读取稀疏数据；判断并标记稀疏特征点；删除稀疏特征点数据，生成稀疏压缩数据和稀疏映射表；写出稀疏压缩数据；写出稀疏映射表。本方法通过遍历稀疏数据、判断和标记稀疏特征点、删除稀疏特征点并构建稀疏映射表的方式，可以高效的实现稀疏数据的0数据删除和数据重排操作，从而高效实现稀疏数据的压缩，具有压缩计算复杂性低、效率高的优点。CN115936101ACN115936101A权利要求书1/2页1.一种用于神经网络张量处理器的稀疏数据压缩装置，其特征在于，包含稀疏数据RDMA、配置单元、压缩单元、稀疏压缩数据WDMA、稀疏映射表WDMA、稀疏数据、配置数据、稀疏压缩数据和稀疏映射表；所述稀疏数据压缩装置用于实现从稀疏数据到稀疏压缩数据的转换；所述配置单元用于读取配置数据，并向稀疏数据RDMA配置稀疏数据的起始地址和尺寸信息，向稀疏压缩数据WDMA配置稀疏压缩数据的起始地址和尺寸信息，向稀疏映射表WDMA配置稀疏映射表的起始地址和尺寸信息；所述稀疏数据RDMA用于根据所述稀疏数据的起始地址和尺寸信息读取稀疏数据；所述压缩单元用于执行稀疏数据压缩操作并产生稀疏压缩数据和稀疏映射表；所述稀疏压缩数据WDMA用于响应稀疏压缩数据写请求，并根据所述稀疏压缩数据的起始地址和尺寸信息写出稀疏压缩数据；所述稀疏映射表WDMA用于响应稀疏映射表写请求，并根据所述稀疏映射表的起始地址和尺寸信息写出稀疏映射表。2.如权利要求1所述的用于神经网络张量处理器的稀疏数据压缩装置，其特征在于，所述稀疏数据指采用n度并行存储方案(C/n，H，W，n)的张量数据，数据位宽是8比特或16比特；所述张量数据的原始存储方案(C，H，W)，W代表宽，是数据的第0维；H代表高，是数据的第1维；C代表通道，是数据的第2维；所述n度并行存储方案(C/n，H，W，n)的转换方法是：对于张量数据的原始存储方案(C，H，W)，取C方向的连续n个数据，按物理地址连续的方式存放，并设为第0维，第0维的长度固定为n；把W设为第1维，长度不变；把H设为第2维，长度不变；把C/n设为第3维，C/n表达为长度C除以n并向下取整。3.如权利要求1所述的用于神经网络张量处理器的稀疏数据压缩装置，其特征在于，所述n为8的整数倍。4.如权利要求2所述的用于神经网络张量处理器的稀疏数据压缩装置，其特征在于，所述稀疏数据拥有至少一个稀疏特征点；所述稀疏特征点指：在稀疏数据中，如果1、2、3维坐标(Z，Y，X)所指向的0维全部n个数据的值都为0，则该(Z，Y，X)坐标被称为所述稀疏数据的一个稀疏特征点。5.如权利要求4所述的用于神经网络张量处理器的稀疏数据压缩装置，其特征在于，所述稀疏数据拥有N个稀疏特征点，N的数量小于或等于(C/n)*H*W。6.如权利要求1所述的用于神经网络张量处理器的稀疏数据压缩装置，其特征在于，所述稀疏压缩数据指所有稀疏特征点所指向的0维n个数全部被删除的稀疏数据；所述稀疏映射表是指尺寸为(C/n，H，W)的张量数据，数据位宽是1比特；稀疏映射表与稀疏数据相对应：稀疏映射表每个1比特数据代表相应稀疏数据第0维n个数据的值是否全为0。7.一种用于神经网络张量处理器的稀疏数据压缩方法，其特征在于，应用于如权利要求2‑6任一项所述的用于神经网络张量处理器的稀疏数据压缩装置，包括：读取压缩操作的配置数据并配置稀疏数据压缩装置的各模块；所述配置数据包括稀疏数据的起始地址和尺寸、稀疏压缩数据的起始地址和尺寸、稀疏映射表的起始地址和尺寸；根据配置信息读取稀疏数据；对于尺寸为(C/n，H，W，n)的稀疏数据，一次读取第0维的n个数，并从起始地址开始，按照1、2、3维顺序遍历的方式依次读取稀疏数据；2CN115936101A权利要求书2/2页判断并标