一种用于神经网络处理器的超越函数计算方法与架构.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114329322A(43)申请公布日2022.04.12(21)申请号202111387914.4(22)申请日2021.11.22(71)申请人南京风兴科技有限公司地址210032江苏省南京市江北新区星火路17号创智大厦B座601室(72)发明人王丹阳杨东天(74)专利代理机构北京弘权知识产权代理有限公司11363代理人逯长明许伟群(51)Int.Cl.G06F17/15(2006.01)G06N3/00(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种用于神经网络处理器的超越函数计算方法与架构(57)摘要本申请涉及神经网络技术领域，提供一种用于神经网络处理器的超越函数计算方法及架构，所述超越函数计算方法包括获取需要运算的超越函数；判断超越函数是否为含有可拆解因子的激活函数；若超越函数为含有可拆解因子的激活函数，则将可拆解因子拆解为展开项运算和余项运算；利用查表法对展开项运算进行处理，获得展开项运算结果，利用泰勒拟合方法对余项运算进行处理，获得余项运算结果；对展开项运算结果和余项运算结果进行整合，获得可拆解因子的运算结果。在应用过程中，利用激活函数自身的特点，对激活函数中的可拆解因子进行拆解，逐渐把激活函数的范围缩小，然后利用查表法和泰勒拟合方法进行拆解项的拟合计算，从而达到较高的计算精度。CN114329322ACN114329322A权利要求书1/2页1.一种用于神经网络处理器的超越函数计算方法，其特征在于，所述超越函数计算方法包括：获取需要运算的超越函数；判断所述超越函数是否为含有可拆解因子的激活函数；若所述超越函数为含有可拆解因子的激活函数，则将可拆解因子拆解为展开项运算和余项运算；利用查表法对展开项运算进行处理，获得展开项运算结果，以及，利用泰勒拟合方法对余项运算进行处理，获得余项运算结果；对展开项运算结果和余项运算结果进行整合，获得可拆解因子的运算结果。2.根据权利要求1所述的一种用于神经网络处理器的超越函数计算方法，其特征在于，所述超越函数计算方法还包括：若所述超越函数为不含有可拆解因子的激活函数，则对所述不含有可拆解因子的激活函数进行多点展开处理，并获得所述不含有可拆解因子的激活函的运算结果。3.根据权利要求1所述的一种用于神经网络处理器的超越函数计算方法，其特征在于，若含有可拆解因子的激活函数的可拆解因子为exp(x)；则将x拆解为2的幂次方值p1和拆解余项q1，则展开项运算为计算exp(p1)，余项运算为计算exp(q1)，其中，‑1＜q1＜1。4.根据权利要求1所述的一种用于神经网络处理器的超越函数计算方法，其特征在于，若含有可拆解因子的激活函数的可拆解因子为log(x)；则将x拆解为n的幂次方值p2和拆解余项q2，则展开项运算为计算log(p2)，余项运算为计算log(q2)，其中，1/e＜q2＜e。5.根据权利要求1所述的一种用于神经网络处理器的超越函数计算方法，其特征在于，若含有可拆解因子的激活函数的可拆解因子为sqrt(x)；则将x拆解为n的2次方值p3和拆解余项q3，则展开项运算为计算sqrt(p3)，余项运算为计算sqrt(q3)，其中，0＜q3＜2。6.根据权利要求1所述的一种用于神经网络处理器的超越函数计算方法，其特征在于，所述超越函数计算方法还包括：采用以下优化模型对泰勒拟合方法中的原生泰勒展开式进行优化；nn‑14321f(x)＝knx+kn‑1x+...+k4x+k3x+k2x+k1x+k0＝Kn(x(x(...(x(x(x(x+Kn‑1)+...)+K4)+K3)+K3)+K1)+K0)；其中，k0至kn，以及K0至Kn均为常数。7.一种用于神经网络处理器的超越函数计算架构，其特征在于，所述一种用于神经网络处理器的超越函数计算架构用于执行权利要求1‑6任一项所述的一种用于神经网络处理器的超越函数计算方法，所述超越函数计算架构包括：控制模块，以及连接所述控制模块的展开项处理模块和余项处理模块；所述控制模块用于获取运算任务，并对展开项处理模块和余项处理模块进行运算任务配置；获取模块，用于获取需要运算的超越函数；判断模块，用于判断所述超越函数是否为含有可拆解因子的激活函数，若所述超越函2CN114329322A权利要求书2/2页数为含有可拆解因子的激活函数，则将对应的可拆解因子发送至拆解模块；拆解模块，用于将所述可拆解因子拆解为展开项运算和余项运算，并将所述展开项运算发送至展开项处理模块，将余项运算发送至余项处理模块；展开项处理模块，用于利用查表法对展开项运算进行处理，获得展开项运算结果；余项处理模块，用于利用泰勒拟合方法对余项运算进行处理，获得余项运算结果；运算结果整合模块，用于对展开