加速器、操作加速器的方法以及包括加速器的电子装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114118348A(43)申请公布日2022.03.01(21)申请号202110494484.X(22)申请日2021.05.07(30)优先权数据10-2020-01105302020.08.31KR(71)申请人三星电子株式会社地址韩国京畿道水原市(72)发明人朴汉敏权亨达沈载炯李承昱赵在彦(74)专利代理机构北京铭硕知识产权代理有限公司11286代理人张川绪史泉(51)Int.Cl.G06N3/04(2006.01)G06N3/063(2006.01)G06N3/08(2006.01)权利要求书3页说明书14页附图23页(54)发明名称加速器、操作加速器的方法以及包括加速器的电子装置(57)摘要公开了一种加速器、操作加速器的方法以及包括加速器的电子装置。所述操作被配置为执行目标运算的加速器的方法：利用基于加速器中的存储器的字宽和要应用于目标运算的滤波器的空间大小确定的数据布局来打包输入数据，并且将打包后的输入数据存储在存储器中；以及在存储在存储器中的同一字中的输入数据的一部分与滤波器的权重之间执行目标运算。CN114118348ACN114118348A权利要求书1/3页1.一种操作加速器的方法，所述加速器被配置为执行目标运算，所述方法包括：利用基于加速器中的存储器的字宽和要应用于目标运算的滤波器的空间大小确定的数据布局来打包输入数据，并且将打包后的输入数据存储在存储器中；以及在存储在存储器中的同一字中的打包后的输入数据的一部分与滤波器的权重之间执行目标运算。2.根据权利要求1所述的方法，所述方法还包括：基于数据布局来打包与多个滤波器对应的输入数据，并且将打包后的输入数据存储在一个字中。3.根据权利要求2所述的方法，其中，滤波器的数量基于每个滤波器的水平大小和竖直大小、输入数据的通道的数量、每个滤波器的步幅大小以及被配置为执行目标运算的运算器能够同时处理的操作数对的数量被确定。4.根据权利要求1至3中的任意一项所述的方法，其中，存储的步骤包括：通过基于虚拟滤波器的空间大小和步幅大小执行im2col变换来存储打包后的输入数据，虚拟滤波器的空间大小和步幅大小基于存储器的字宽和滤波器的空间大小被确定。5.根据权利要求1至3中的任意一项所述的方法，其中，执行目标运算的步骤包括：将存储在存储器中的同一字中的输入数据获取到输入寄存器；将滤波器的权重获取到滤波器寄存器；在获取到输入寄存器的输入数据的第一部分与权重之间执行第一目标运算；以及在获取到输入寄存器的输入数据的第二部分与权重之间执行第二目标运算。6.根据权利要求5所述的方法，其中，输入数据的第一部分和输入数据的第二部分包括第一部分和第二部分彼此部分重叠的冗余数据。7.根据权利要求5所述的方法，其中，执行目标运算的步骤包括：对用于第一目标运算的权重进行选择；以及在输入数据的第二部分与选择的权重之间执行第二目标运算。8.根据权利要求5所述的方法，其中，执行目标运算的步骤包括：在第一目标运算之后对获取到输入寄存器的输入数据的第二部分进行选择；以及在选择的输入数据的第二部分与权重之间执行第二目标运算。9.根据权利要求5所述的方法，其中，执行目标运算的步骤包括：对用于第一目标运算的权重进行选择，并且将选择的权重重新存储在滤波器寄存器中；以及在输入数据的第二部分与重新存储的权重之间执行第二目标运算。10.根据权利要求5所述的方法，其中，执行目标运算的步骤包括：在执行第一目标运算之后，对获取到输入寄存器的输入数据的第二部分进行选择并且将选择的输入数据的第二部分重新存储在输入寄存器中；以及在重新存储的选择的输入数据的第二部分与权重之间执行第二目标运算。11.根据权利要求1至3中的任意一项所述的方法，其中，目标运算包括：在加速器中执行的神经网络中执行的卷积运算。12.根据权利要求1至3中的任意一项所述的方法，其中，执行目标运算的步骤包括：在多操作数乘法器累加器中执行目标运算，其中，存储在同一字中的输入数据的一部2CN114118348A权利要求书2/3页分和滤波器的权重被输入到多操作数乘法器累加器。13.根据权利要求1至3中的任意一项所述的方法，其中，加速器被包括在要通过执行目标运算的神经网络推断的数据被输入到的用户终端中、或者被包括在从用户终端接收要推断的数据的服务器中。14.一种存储命令的非暂时性计算机可读存储介质，所述命令在由处理器执行时，使处理器执行根据权利要求1至13中的任意一项所述的方法。15.一种被配置为执行目标运算的加速器，所述加速器包括：存储器，被配置为存储利用数据布局打包的输入数据，所述数据布局基于存储器的字宽和要应用于目标运算的滤波器的空间大小被确定；以及运算器，被配置为：在存储在存储器中的同