预览加载中,请您耐心等待几秒...
1/2
2/2

在线预览结束,喜欢就下载吧,查找使用更方便

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

tensorflow学习笔记(三十六):learningratedecaylearningratedecay在训练神经网络的时候,通常在训练刚开始的时候使用较大的learningrate,随着训练的进行,我们会慢慢的减小learningrate。对于这种常用的训练策略,tensorflow也提供了相应的API让我们可以更简单的将这个方法应用到我们训练网络的过程中。接口tf.train.exponential_decay(learning_rate,global_step,decay_steps,decay_rate,staircase=False,name=None)参数:learning_rate:初始的learningrateglobal_step:全局的step,与decay_step和decay_rate一起决定了learningrate的变化。更新公式:decayed_learning_rate=learning_rate*decay_rate^(global_step/decay_steps)用法:importtensorflowastfglobal_step=tf.Variable(0)initial_learning_rate=0.1#初始学习率learning_rate=tf.train.exponential_decay(initial_learning_rate,global_step=global_step,decay_steps=10,decay_rate=0.9)opt=tf.train.GradientDescentOptimizer(learning_rate)add_global=global_step.assign_add(1)withtf.Session()assess:tf.global_variables_initializer().run()print(sess.run(learning_rate))foriinrange(10):_,rate=sess.run([add_global,learning_rate])print(rate)