神经网络处理器的稀疏化数据处理方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115828986A(43)申请公布日2023.03.21(21)申请号202211476950.2(22)申请日2022.11.23(71)申请人北京爱芯科技有限公司地址100190北京市海淀区中关村大街1号16层1605(72)发明人王健飞(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师石茵汀(51)Int.Cl.G06N3/02(2006.01)G06F18/2136(2023.01)权利要求书2页说明书10页附图8页(54)发明名称神经网络处理器的稀疏化数据处理方法和装置(57)摘要本公开提出一种神经网络处理器的稀疏化数据处理方法和装置，神经网络处理器包括：基础计算单元，该方法包括：获取多组权重子向量，其中，权重子向量是基于基础计算单元所支持信息单位对待计算权重向量稀疏化处理得到；确定与待计算权重向量对应的待计算特征向量；控制基础计算单元对每组权重子向量和待计算特征向量进行向量内积运算，以得到向量运算结果；以及对部分组向量运算结果进行移位运算，并将移位运算所得向量运算结果与剩余组向量运算结果进行相加计算，以及将相加计算所得结果作为稀疏化数据处理结果，其中，部分组向量运算结果和剩余组向量运算结果共同构成多组向量运算结果。通过本公开，能够充分地利用权重的分布，在有效保障神经网络处理器的数据处理精度的同时，能够有效地减少硬件单元成本以及执CN115828986A行功耗，有效降低权重存储空间。CN115828986A权利要求书1/2页1.一种神经网络处理器的稀疏化数据处理方法，其特征在于，所述神经网络处理器包括：基础计算单元，所述方法包括：获取多组权重子向量，其中，所述权重子向量是基于所述基础计算单元所支持信息单位对待计算权重向量稀疏化处理得到；确定与所述待计算权重向量对应的待计算特征向量；控制所述基础计算单元对每组所述权重子向量和所述待计算特征向量进行向量内积运算，以得到向量运算结果；以及对部分组向量运算结果进行移位运算，并将移位运算所得向量运算结果与剩余组向量运算结果进行相加计算，以及将相加计算所得结果作为稀疏化数据处理结果，其中，所述部分组向量运算结果和所述剩余组向量运算结果共同构成多组所述向量运算结果。2.如权利要求1所述的方法，其特征在于，所述权重子向量包括：多个权重子元素，所述权重子元素是基于所述基础计算单元所支持信息单位对待计算权重向量中的权重元素稀疏化处理得到。3.如权利要求2所述的方法，其特征在于，所述获取多组权重子向量，包括：基于所述基础计算单元所支持信息单位，从所述待计算权重向量中确定多个第一比特位的权重元素和/或多个第二比特位的权重元素，其中，所述第一比特位低于所述第二比特位；从所述多个第一比特位的权重元素中选择第一数量权重元素作为第一权重子元素，其中，每个第一权重子元素具有对应的第一索引；和/或从所述多个第二比特位的权重元素中选择第二数量权重元素作为第二权重子元素，其中，每个第二权重子元素具有对应的第二索引；以及将所述第一权重子元素和/或所述第二权重子元素共同作为所述多个权重子元素。4.如权利要求3所述的方法，其特征在于，所述控制所述基础计算单元对每组所述权重子向量和所述待计算特征向量进行向量内积运算，以得到向量运算结果，包括：控制所述基础计算单元根据所述第一索引，从所述待计算特征向量中选择与所述第一权重子元素对应的第一特征子元素；和/或控制所述基础计算单元根据所述第二索引，从所述第一特征子元素中选择与所述第二权重子元素对应的第二特征子元素；控制所述基础计算单元对所述第一权重子元素和与其对应所述第一特征子元素进行向量内积运算，得到第一向量内积结果；和/或控制所述基础计算单元对所述第二权重子元素和与其对应所述第二特征子元素进行向量内积运算，得到第二向量内积结果；将所述第一向量内积结果和/或所述第二向量内积结果作为所述向量运算结果。5.如权利要求1‑4任一项所述的方法，其特征在于，所述基础计算单元的数量是多个，不同所述基础计算单元所支持信息单位不相同。6.一种神经网络处理器的稀疏化数据处理装置，其特征在于，所述神经网络处理器包括：基础计算单元，所述装置包括：获取模块，用于获取多组权重子向量，其中，所述权重子向量是基于所述基础计算单元所支持信息单位对待计算权重向量稀疏化处理得到；2CN115828986A权利要求书2/2页确定模块，用于确定与所述待计算权重向量对应的待计算特征向量；控制模块，用于控制所述基础计算单元对每组所述权重子向量和所述待计算特征向量进行向量内积运算，以得到向量运算结果；以及计算模块，用于对部分组向量运算结果进行移位运算，并将移位运算所得向量运算结果与剩余组向量运算结果进行相加计算，以及将相加