我在许多使用 TensorFlow 实现的可用神经网络代码中发现,正则化项通常是通过手动向损失值添加一个附加项来实现的。
我的问题是:
有没有比手动进行更优雅或推荐的正则化方式?我还发现 get_variable 有一个参数正则化器。应该如何使用?根据我的观察,如果我们将正则化器传递给它(例如 tf.contrib.layers.l2_regularizer,将计算一个表示正则化项的张量并将其添加到名为 tf.GraphKeys.REGULARIZATOIN_LOSSES 的图形集合中。该集合会被自动使用吗?由 TensorFlow(例如,优化器在训练时使用)?还是希望我自己使用该集合?
S = tf.get_variable(name='S', regularizer=tf.contrib.layers.l2_regularizer )
吗?
正如您在第二点中所说,使用 regularizer
参数是推荐的方式。您可以在 get_variable
中使用它,或者在您的 variable_scope
中设置一次,然后对所有变量进行正则化。
损失被收集在图表中,您需要像这样手动将它们添加到您的成本函数中。
reg_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
reg_constant = 0.01 # Choose an appropriate one.
loss = my_normal_loss + reg_constant * sum(reg_losses)
希望有帮助!
现有答案的一些方面对我来说不是很清楚,所以这里有一个分步指南:
定义正则化器。这是可以设置正则化常数的地方,例如:regularizer = tf.contrib.layers.l2_regularizer(scale=0.1) 通过以下方式创建变量: weights = tf.get_variable( name="weights", regularizer=regularizer, ... )等效地,可以通过常规 weights = tf.Variable(...) 构造函数创建变量,然后是 tf.add_to_collection(tf.GraphKeys.REGULARIZATION_LOSSES, weights)。定义一些损失项并添加正则化项: reg_variables = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES) reg_term = tf.contrib.layers.apply_regularization(regularizer, reg_variables) loss += reg_term 注意:看起来像 tf.contrib.layers .apply_regularization 实现为 AddN,因此或多或少等同于 sum(reg_variables)。
apply_regularization
。
REGULARIZATION_LOSSES
是从正则化器返回的总损失,因此您实际上是在调用 regularizer(regularizer(weight))
。
我将提供一个简单的正确答案,因为我没有找到答案。您需要两个简单的步骤,其余的由 tensorflow 魔术完成:
创建变量或层时添加正则化器: tf.layers.dense(x, kernel_regularizer=tf.contrib.layers.l2_regularizer(0.001)) # 或 tf.get_variable('a', regularizer=tf.contrib.layers.l2_regularizer(0.001) )) 定义损失时添加正则化项:loss = normal_loss + tf.losses.get_regularization_loss()
使用 contrib.learn
库执行此操作的另一个选项如下,基于 Tensorflow 网站上的 Deep MNIST tutorial。首先,假设您已导入相关库(例如 import tensorflow.contrib.layers as layers
),您可以在单独的方法中定义网络:
def easier_network(x, reg):
""" A network based on tf.contrib.learn, with input `x`. """
with tf.variable_scope('EasyNet'):
out = layers.flatten(x)
out = layers.fully_connected(out,
num_outputs=200,
weights_initializer = layers.xavier_initializer(uniform=True),
weights_regularizer = layers.l2_regularizer(scale=reg),
activation_fn = tf.nn.tanh)
out = layers.fully_connected(out,
num_outputs=200,
weights_initializer = layers.xavier_initializer(uniform=True),
weights_regularizer = layers.l2_regularizer(scale=reg),
activation_fn = tf.nn.tanh)
out = layers.fully_connected(out,
num_outputs=10, # Because there are ten digits!
weights_initializer = layers.xavier_initializer(uniform=True),
weights_regularizer = layers.l2_regularizer(scale=reg),
activation_fn = None)
return out
然后,在 main 方法中,您可以使用以下代码片段:
def main(_):
mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)
x = tf.placeholder(tf.float32, [None, 784])
y_ = tf.placeholder(tf.float32, [None, 10])
# Make a network with regularization
y_conv = easier_network(x, FLAGS.regu)
weights = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, 'EasyNet')
print("")
for w in weights:
shp = w.get_shape().as_list()
print("- {} shape:{} size:{}".format(w.name, shp, np.prod(shp)))
print("")
reg_ws = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES, 'EasyNet')
for w in reg_ws:
shp = w.get_shape().as_list()
print("- {} shape:{} size:{}".format(w.name, shp, np.prod(shp)))
print("")
# Make the loss function `loss_fn` with regularization.
cross_entropy = tf.reduce_mean(
tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y_conv))
loss_fn = cross_entropy + tf.reduce_sum(reg_ws)
train_step = tf.train.AdamOptimizer(1e-4).minimize(loss_fn)
要使其工作,您需要遵循我之前链接到的 MNIST 教程并导入相关库,但这是学习 TensorFlow 的一个很好的练习,并且很容易看到正则化如何影响输出。如果您应用正则化作为参数,您可以看到以下内容:
- EasyNet/fully_connected/weights:0 shape:[784, 200] size:156800
- EasyNet/fully_connected/biases:0 shape:[200] size:200
- EasyNet/fully_connected_1/weights:0 shape:[200, 200] size:40000
- EasyNet/fully_connected_1/biases:0 shape:[200] size:200
- EasyNet/fully_connected_2/weights:0 shape:[200, 10] size:2000
- EasyNet/fully_connected_2/biases:0 shape:[10] size:10
- EasyNet/fully_connected/kernel/Regularizer/l2_regularizer:0 shape:[] size:1.0
- EasyNet/fully_connected_1/kernel/Regularizer/l2_regularizer:0 shape:[] size:1.0
- EasyNet/fully_connected_2/kernel/Regularizer/l2_regularizer:0 shape:[] size:1.0
请注意,正则化部分根据可用项目为您提供了三个项目。
对于 0、0.0001、0.01 和 1.0 的正则化,我得到的测试准确度值分别为 0.9468、0.9476、0.9183 和 0.1135,显示了高正则化项的危险。
如果有人还在寻找,我只想在 tf.keras 中添加它,您可以通过将它们作为参数传递到您的层中来添加权重正则化。从 Tensorflow Keras 教程网站批量添加 L2 正则化的示例:
model = keras.models.Sequential([
keras.layers.Dense(16, kernel_regularizer=keras.regularizers.l2(0.001),
activation=tf.nn.relu, input_shape=(NUM_WORDS,)),
keras.layers.Dense(16, kernel_regularizer=keras.regularizers.l2(0.001),
activation=tf.nn.relu),
keras.layers.Dense(1, activation=tf.nn.sigmoid)
])
据我所知,没有必要用这种方法手动添加正则化损失。
参考:https://www.tensorflow.org/tutorials/keras/overfit_and_underfit#add_weight_regularization
我在图中用一个 l2_regularizer
测试了 tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
和 tf.losses.get_regularization_loss()
,发现它们返回相同的值。通过观察值的数量,我猜 reg_constant 通过设置 tf.contrib.layers.l2_regularizer
的参数已经对值有意义。
如果您有 CNN,您可以执行以下操作:
在您的模型函数中:
conv = tf.layers.conv2d(inputs=input_layer,
filters=32,
kernel_size=[3, 3],
kernel_initializer='xavier',
kernel_regularizer=tf.contrib.layers.l2_regularizer(1e-5),
padding="same",
activation=None)
...
在您的损失函数中:
onehot_labels = tf.one_hot(indices=tf.cast(labels, tf.int32), depth=num_classes)
loss = tf.losses.softmax_cross_entropy(onehot_labels=onehot_labels, logits=logits)
regularization_losses = tf.losses.get_regularization_losses()
loss = tf.add_n([loss] + regularization_losses)
有些答案让我更加困惑。这里我给出两种方法来说明清楚。
#1.adding all regs by hand
var1 = tf.get_variable(name='v1',shape=[1],dtype=tf.float32)
var2 = tf.Variable(name='v2',initial_value=1.0,dtype=tf.float32)
regularizer = tf.contrib.layers.l1_regularizer(0.1)
reg_term = tf.contrib.layers.apply_regularization(regularizer,[var1,var2])
#here reg_term is a scalar
#2.auto added and read,but using get_variable
with tf.variable_scope('x',
regularizer=tf.contrib.layers.l2_regularizer(0.1)):
var1 = tf.get_variable(name='v1',shape=[1],dtype=tf.float32)
var2 = tf.get_variable(name='v2',shape=[1],dtype=tf.float32)
reg_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
#here reg_losses is a list,should be summed
然后,它可以被添加到总损失中
cross_entropy = tf.losses.softmax_cross_entropy(
logits=logits, onehot_labels=labels)
l2_loss = weight_decay * tf.add_n(
[tf.nn.l2_loss(tf.cast(v, tf.float32)) for v in tf.trainable_variables()])
loss = cross_entropy + l2_loss
tf.GraphKeys.REGULARIZATION_LOSSES
不会自动添加,但有一种简单的添加方法:
reg_loss = tf.losses.get_regularization_loss()
total_loss = loss + reg_loss
tf.losses.get_regularization_loss()
使用 tf.add_n
按元素对 tf.GraphKeys.REGULARIZATION_LOSSES
的条目求和。 tf.GraphKeys.REGULARIZATION_LOSSES
通常是一个标量列表,使用正则化函数计算。它从对已指定 regularizer
参数的 tf.get_variable
的调用中获取条目。您也可以手动添加到该集合。这在使用 tf.Variable
以及指定活动正则化器或其他自定义正则化器时很有用。例如:
#This will add an activity regularizer on y to the regloss collection
regularizer = tf.contrib.layers.l2_regularizer(0.1)
y = tf.nn.sigmoid(x)
act_reg = regularizer(y)
tf.add_to_collection(tf.GraphKeys.REGULARIZATION_LOSSES, act_reg)
(在这个例子中,对 x 进行正则化可能会更有效,因为对于较大的 x,y 确实会变平。)
不定期副业成功案例分享
reg_constant
可能不是必需的,因为 TensorFlow 中的正则化器在其构造函数中有一个参数scale
,因此可以以更细粒度的方式控制 reg 项的影响。并且(2)使用tf.add_n
可能比sum
稍微好一点,我猜使用 sum 可能会在图中创建许多张量来存储中间结果。S = tf.get_variable(name='S', regularizer=tf.contrib.layers.l2_regularizer )
之后,我是你建议的代码吗?如sum(tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES))
?tf.reduce_sum
而不是sum
?