基于自动求导和泰勒级数展开的数据增强方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112926019A(43)申请公布日2021.06.08(21)申请号202110196308.8(22)申请日2021.02.22(71)申请人吉林大学地址130012吉林省长春市前进大街2699号(72)发明人田圃(74)专利代理机构北京华际知识产权代理有限公司11676代理人曹书华(51)Int.Cl.G06F17/13(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书4页附图1页(54)发明名称基于自动求导和泰勒级数展开的数据增强方法(57)摘要本发明提供了基于自动求导和泰勒级数展开的数据增强方法，包括以下步骤：S1：对给定微(积)分方程，首先确定基函数；S2：确定直接数值求解给定微(积)分方程的数据点；S4：在S1、S2、S3的前提下确定数据增强超参数：最高展开阶数、位移幅度Δx的值、位移系数的分布和参数、确定对每个通过昂贵计算得到的数据点，产生新的数据点的个数；省略阶贡献的随机计入参数分布和个数的确定。本发明技术可以大大减少神经网络拟合复杂微(积)分方程解函数所需的训练数据，在满足给定的拟合精度要求下显著节省计算资源，或者在给定的计算资源下通过增加训练数据供给大大提高拟合精度。CN112926019ACN112926019A权利要求书1/1页1.基于自动求导和泰勒级数展开的数据增强方法，其特征在于，包括以下步骤：S1：对给定微(积)分方程，首先确定基函数；S2：确定直接数值求解给定微(积)分方程的数据点；S3：把自动求导方法嵌入到目标微(积)分方程的求解程序中，或者使用可以与特定数值求解方法灵活结合的自动求导软件以实现自动求导功能；S4：在S1、S2、S3的前提下确定数据增强超参数：最高展开阶数、位移幅度Δx的值、位移系数a的分布和参数(ξ)、确定对每个通过昂贵计算得到的数据点，产生新的数据点的个数；省略阶贡献的随机计入参数分布和个数的确定；S5：在求解给定数据点数值解的同时，使用上一步实现的自动求导功能求出目标微(积)分方程在给定数据点上的包括最高阶以内的所有阶导数；S6：在S4给定的超参数基础上构建各个相应阶数的对称张量；S7：在S6的基础上在每一个原有数据点周围生成所需数量的新数据点，然后按照泰勒展开式计算这些新数据点的近似函数值；S8：用原有数据点和新生成的数据点训练神经网络，拟合对应微(积)分方程的解函数；S9：调整S1‑S8的操作步骤并重复上述过程直到获得满意拟合。2.根据权利要求1所述的基于自动求导和泰勒级数展开的数据增强方法，其特征在于，所述位移幅度对应函数值f(X+aΔX)可以通过泰勒级数展开获得：X+aΔX＝(x1+a1Δx，x2+a2Δx，...，xn+anΔx)以上泰勒展开式的下标使用爱因斯坦格式，具体如下所示：3.根据权利要求1所述的基于自动求导和泰勒级数展开的数据增强方法，其特征在于，所述位移幅度和位移系数，对所选定的最高阶项，有两种处理方式，一种是最高阶项和其余低阶项同样处理，另外一种方式则是对每个新数据点，所有的最高阶项都选取一个到多个[0,1]中间的随机数(ξ1，ξ1，…,ξm)，从而生成m个对应的新数据点,它们的平均值可以弥补泰勒展开式中被截掉的最高阶项以后各项，原来的最高阶项变为如下形式：而前面各项保持不变，最高阶项使用m项的平均值，以更好地近似后面所有遗漏的更高阶项，进而减小拟合误差。4.根据权利要求1所述的基于自动求导泰和勒级数展开的数据增强方法，其特征在于，所述位移系数分布的选取取决于特定微(积)分方程，最高展开阶数，目标拟合精度，基函数，问题的维度。2CN112926019A说明书1/4页基于自动求导和泰勒级数展开的数据增强方法技术领域[0001]本发明涉及数据增强技术领域，具体涉及基于自动求导和泰勒级数展开的数据增强方法。背景技术[0002]由于量子化学和固体物理等领域计算中的平动，转动和排列不变性(translation,rotationandpermutationinvariance)一般由一些具有特定对称性的函数实现，因此通常图片识别领域使用的随机旋转数据增强方法没有价值。此外，图片识别领域的其他常用数据增强方法如随机缩放(zoom)，翻转(flip)以及亮度(brightness)调整技术对科学计算中的典型昂贵数据产生过程都没有帮助。高斯噪声的加入虽然有可能用于对通过昂贵计算获得的数据进行样本增强，但过多噪声加入显然会影响拟合的精度，少量噪声数据又很难大规模增加训练数据。[0003]本发明提供一种全新的基于自动求导(autodifferentiation)和泰勒级数展开(TaylorExpansion)的数据增强技术，专门针对