卷积神经网络实现方法、装置、硬件加速器、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110245748A(43)申请公布日2019.09.17(21)申请号201810195606.3(22)申请日2018.03.09(71)申请人北京深鉴智能科技有限公司地址100083北京市海淀区王庄路1号院四号楼17层1706号(72)发明人江帆单羿钟华松(74)专利代理机构北京展翼知识产权代理事务所(特殊普通合伙)11452代理人屠长存(51)Int.Cl.G06N3/063(2006.01)权利要求书3页说明书11页附图8页(54)发明名称卷积神经网络实现方法、装置、硬件加速器、存储介质(57)摘要本发明公开了一种卷积神经网络实现方法、装置、硬件加速器、存储介质。通过对输入数据存储方式进行调度，使得能够得到适于运算处理的输入数据。在一个实施例中，为第一次分组卷积计算的输出数据分配大于其总数据量的存储空间，将第一个分组的输出数据拷贝到后面的预留存储空间中，然后从新的地址开始执行第二次分组卷积计算，实现了两个分组数据之间的交互。在另一个实施例中，分配较大的存储空间，将前后两个卷积计算的输出数据连续存储到其中，简单地实现了两个输出数据的级联。在另一个实施例中，通过对连续存储的多个通道的数据的通道起始位置进行不同的偏移操作，实现了矩阵向左、右、上、下移位的效果。由此，可以加速卷积神经网络计算。CN110245748ACN110245748A权利要求书1/3页1.一种卷积神经网络实现方法，包括：将第一次分组卷积计算的输出数据连续存储到为其预先分配的存储空间中，所述预先分配的存储空间的尺寸大于第一次分组卷积计算的输出数据的总数据量，从而在所述存储空间尾部具有部分空闲的预留存储空间；将第一个分组的输出数据前部的第一部分拷贝到最后一个分组的输出数据之后的预留存储空间中；以及从所述存储空间中新的地址开始读取数据，以执行第二次分组卷积计算，所述新的地址被设置为使得每个分组的卷积计算的输入都包含第一次分组卷积计算中相邻两个分组的部分输出结果。2.根据权利要求1所述的方法，其中，所述新的地址为所述第一个分组的输出数据的第一部分之后紧接的地址或所述第一部分中除了第一个地址以外的地址。3.根据权利要求1所述的方法，还包括：将第一个卷积计算的输出数据存储到为其分配的存储空间的前部区域，所分配的存储空间的尺寸不小于第一个卷积计算和第二个卷积计算的输出数据的数据量总和；将第二个卷积计算的输出数据紧接所述第一个卷积计算的输出数据存储到所述存储空间中，从而形成第一个卷积计算的输出数据和第二个卷积计算的输出数据级联在一起的级联数据；以及从所述存储空间直接读取级联数据，以便执行后续操作。4.根据权利要求1至3中任何一项所述的方法，还包括：在存储器上连续存储多个通道的数据，每个通道包括M×N个数据，构成M列N行矩阵，该M×N矩阵逐行依次连续存储，M和N均为正整数；对于所存储的每一个通道的数据的起始位置执行偏移操作后，从偏移后的新起始位置处开始依次读取M×N个数据；以及逐个通道地，将执行偏移操作后读取的多组M×N个数据连续地存储在存储器上，以便执行后续操作。5.一种卷积神经网络实现装置，包括：存储装置，用于将第一次分组卷积计算的输出数据连续存储到为其预先分配的存储空间中，所述预先分配的存储空间的尺寸大于第一次分组卷积计算的输出数据的总数据量，从而在所述存储空间尾部具有部分空闲的预留存储空间；拷贝装置，用于将第一个分组的输出数据前部的第一部分拷贝到最后一个分组的输出数据之后的预留存储空间中；以及读取装置从所述存储空间中新的地址开始读取数据，以执行第二次分组卷积计算，所述新的地址被设置为使得每个分组的卷积计算的输入都包含第一次分组卷积计算中相邻两个分组的部分输出结果。6.一种卷积神经网络实现方法，包括：将第一个卷积计算的输出数据存储到为其分配的存储空间的前部区域，所分配的存储空间的尺寸不小于第一个卷积计算和第二个卷积计算的输出数据的数据量总和；将第二个卷积计算的输出数据紧接所述第一个卷积计算的输出数据存储到所述存储2CN110245748A权利要求书2/3页空间中，从而形成第一个卷积计算的输出数据和第二个卷积计算的输出数据级联在一起的级联数据；以及从所述存储空间直接读取级联数据，以便执行后续操作。7.一种卷积神经网络实现装置，包括：第一存储装置，用于将第一个卷积计算的输出数据存储到为其分配的存储空间的前部区域，所分配的存储空间的尺寸不小于第一个卷积计算和第二个卷积计算的输出数据的数据量总和；第二存储装置，用于将第二个卷积计算的输出数据紧接所述第一个卷积计算的输出数据存储到所述存储空间中，从而形成第一个卷积计算的输出数据和第二个卷积计算的输出数据级联在一起的级联数据；以及级联数据读取装置，用