tf.placeholder 和 tf.Variable 有什么区别？

TL;博士

变量

学习参数

值可以从训练中得出

需要初始值（通常是随机的）

占位符

为数据分配的存储空间（例如馈送期间的图像像素数据）

初始值不是必需的（但可以设置，参见 tf.placeholder_with_default）

---

tf.Variable 和 tf.placeholder 之间最明显的区别是

您使用变量来保存和更新参数。变量是包含张量的内存缓冲区。它们必须显式初始化，并且可以在训练期间和训练后保存到磁盘。您可以稍后恢复保存的值以练习或分析模型。

变量的初始化是用 sess.run(tf.global_variables_initializer()) 完成的。此外，在创建变量时，您需要将张量作为其初始值传递给 Variable() 构造函数，并且当您创建变量时，您始终知道它的形状。

另一方面，您不能更新占位符。它们也不应该被初始化，但因为它们是一个拥有张量的承诺，所以您需要将值输入它们 sess.run(<op>, {a: <some_val>})。最后，与变量相比，占位符可能不知道形状。您可以提供部分尺寸，也可以什么都不提供。

还有其他区别：

变量内的值可以在优化期间更新

变量可以共享，也可以是不可训练的

变量内的值可以在训练后存储

创建变量时，将 3 个操作添加到图中（变量操作、初始化操作、初始值操作）

占位符是一个函数，变量是一个类（因此是大写的）

当您在分布式环境中使用 TF 时，变量存储在一个特殊的地方（参数服务器）并在工作人员之间共享。

有趣的是，不仅可以喂占位符。您可以将值提供给变量，甚至提供给常量。

---

除了其他人的答案之外，他们还在 Tensoflow 网站上的 MNIST tutorial 中很好地解释了这一点：

我们通过操纵符号变量来描述这些交互操作。让我们创建一个：x = tf.placeholder(tf.float32, [None, 784])，x 不是特定值。它是一个占位符，是我们在要求 TensorFlow 运行计算时输入的值。我们希望能够输入任意数量的 MNIST 图像，每个图像都被展平为一个 784 维的向量。我们将其表示为浮点数的二维张量，形状为 [None, 784]。 （这里 None 意味着维度可以是任意长度。）我们还需要模型的权重和偏差。我们可以想象将这些视为额外的输入，但 TensorFlow 有一个更好的方法来处理它：变量。变量是一个可修改的张量，存在于 TensorFlow 的交互操作图中。它可以被计算使用甚至修改。对于机器学习应用程序，模型参数通常是变量。 W = tf.Variable(tf.zeros([784, 10])) b = tf.Variable(tf.zeros([10])) 我们通过给 tf.Variable 变量的初始值来创建这些变量：在这个在这种情况下，我们将 W 和 b 都初始化为全零张量。因为我们要学习 W 和 b，所以它们最初是什么并不重要。

---

TensorFlow 使用三种类型的容器来存储/执行流程

常量：常量保存典型数据。变量：数据值将被改变，相应的函数，如 cost_function.. 占位符：训练/测试数据将被传递到图表中。

---

示例片段：

import numpy as np
import tensorflow as tf

### Model parameters ###
W = tf.Variable([.3], tf.float32)
b = tf.Variable([-.3], tf.float32)

### Model input and output ###
x = tf.placeholder(tf.float32)
linear_model = W * x + b
y = tf.placeholder(tf.float32)

### loss ###
loss = tf.reduce_sum(tf.square(linear_model - y)) # sum of the squares

### optimizer ###
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)

### training data ###
x_train = [1,2,3,4]
y_train = [0,-1,-2,-3]

### training loop ###
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init) # reset values to wrong
for i in range(1000):
  sess.run(train, {x:x_train, y:y_train})

顾名思义，占位符是稍后提供值的承诺，即

变量只是训练参数（W（矩阵）、b（偏差）与您在日常编程中使用的正常变量相同，培训师会在每次运行时更新/修改这些参数/步。

虽然 placeholder 不需要任何初始值，但当您创建 x 和 y 时，TF 不会分配任何内存，而是稍后当您使用 sess.run() 提供占位符时4}，TensorFlow 将为它们分配适当大小的内存（x 和 y） - 这种不受约束的特性允许我们提供任何大小和形状的数据。

简而言之：

变量 - 是您希望训练器（即 GradientDescentOptimizer）在每一步之后更新的参数。

占位符演示 -

a = tf.placeholder(tf.float32)
b = tf.placeholder(tf.float32)
adder_node = a + b  # + provides a shortcut for tf.add(a, b)

执行：

print(sess.run(adder_node, {a: 3, b:4.5}))
print(sess.run(adder_node, {a: [1,3], b: [2, 4]}))

导致输出

7.5
[ 3.  7.]

在第一种情况下，3 和 4.5 将分别传递给 a 和 b，然后传递给 adder_node 输出 7。在第二种情况下，有一个提要列表，第一步和 2 将被添加，接下来的 3 和 4 ({ 1}和b）。

相关阅读：

tf.placeholder 文档。

tf.Variable 文档。

变量 VS 占位符。

---

变量

TensorFlow 变量是表示由您的程序操作的共享、持久状态的最佳方式。变量通过 tf.Variable 类进行操作。在内部，一个 tf.Variable 存储一个持久张量。特定操作允许您读取和修改此张量的值。这些修改在多个 tf.Session 中可见，因此多个工作人员可以看到 tf.Variable 的相同值。变量必须在使用前进行初始化。

例子：

x = tf.Variable(3, name="x")
y = tf.Variable(4, name="y")
f = x*x*y + y + 2

这将创建一个计算图。变量（x 和 y）可以在 tensorflow 会话中进行初始化和函数（f）的评估，如下所示：

with tf.Session() as sess:
     x.initializer.run()
     y.initializer.run()
     result = f.eval()
print(result)
42

占位符

占位符是一个节点（与变量相同），其值可以在将来初始化。这些节点基本上输出在运行时分配给它们的值。可以使用 tf.placeholder() 类分配占位符节点，您可以向该类提供参数，例如变量的类型和/或其形状。随着训练数据集不断变化，占位符被广泛用于在机器学习模型中表示训练数据集。

例子：

A = tf.placeholder(tf.float32, shape=(None, 3))
B = A + 5

注意：维度的“无”表示“任何大小”。

with tf.Session as sess:
    B_val_1 = B.eval(feed_dict={A: [[1, 2, 3]]})
    B_val_2 = B.eval(feed_dict={A: [[4, 5, 6], [7, 8, 9]]})

print(B_val_1)
[[6. 7. 8.]]
print(B_val_2)
[[9. 10. 11.]
 [12. 13. 14.]]

参考：

https://www.tensorflow.org/guide/variables https://www.tensorflow.org/api_docs/python/tf/placeholder O'Reilly：使用 Scikit-Learn 和 Tensorflow 进行机器学习

---

将张量流中的 Variable 视为我们在编程语言中使用的普通变量。我们初始化变量，我们也可以稍后修改它。而 placeholder 不需要初始值。占位符只是分配内存块以供将来使用。稍后，我们可以使用 feed_dict 将数据输入 placeholder。默认情况下，placeholder 具有不受约束的形状，它允许您在会话中提供不同形状的张量。您可以通过传递可选参数 -shape 来制作受约束的形状，就像我在下面所做的那样。

x = tf.placeholder(tf.float32,(3,4))
y =  x + 2

sess = tf.Session()
print(sess.run(y)) # will cause an error

s = np.random.rand(3,4)
print(sess.run(y, feed_dict={x:s}))

在执行机器学习任务时，大多数时候我们不知道行数，但（假设）我们确实知道特征或列的数量。在这种情况下，我们可以使用 None。

x = tf.placeholder(tf.float32, shape=(None,4))

现在，在运行时，我们可以输入任何 4 列和任意行数的矩阵。

此外，占位符用于输入数据（它们是我们用来为模型提供数据的一种变量），其中变量是我们随时间训练的权重等参数。

---

占位符：

占位符只是一个变量，我们将在以后为其分配数据。它允许我们创建我们的操作并构建我们的计算图，而不需要数据。在 TensorFlow 术语中，我们然后通过这些占位符将数据输入到图中。初始值不是必需的，但可以使用 tf.placeholder_with_default 具有默认值）我们必须在运行时提供值，例如： a = tf.placeholder(tf.int16) // 初始化占位符值 b = tf.placeholder(tf.int16) / / 初始化占位符值，使用会话使用它： sess.run(add, feed_dict={a: 2, b: 3}) // 这个值我们必须在运行时分配

多变的 ：

TensorFlow 变量是表示由您的程序操作的共享、持久状态的最佳方式。变量通过 tf.Variable 类进行操作。一个 tf.Variable 代表一个张量，其值可以通过对其运行操作来更改。

示例：tf.Variable("Welcome to tensorflow!!!")

---

Tensorflow 2.0 兼容答案：占位符的概念，tf.placeholder 在默认情况下将在 Tensorflow 2.x (>= 2.0) 中不可用，作为默认执行模式是急切执行。

但是，如果在 Graph Mode (Disable Eager Execution) 中使用，我们可以使用它们。

2.x 版中 TF 占位符的等效命令是 tf.compat.v1.placeholder。

版本 2.x 中 TF 变量的等效命令是 tf.Variable，如果要将代码从 1.x 迁移到 2.x，等效命令是

tf.compat.v2.Variable。

有关 Tensorflow 2.0 版的更多信息，请参阅此 Tensorflow Page。

有关从版本 1.x 迁移到 2.x 的更多信息，请参阅 Migration Guide。

---

考虑一个计算图。在这样的图中，我们需要一个输入节点来将我们的数据传递给图，这些节点应该在 tensorflow 中定义为占位符。

不要将其视为 Python 中的通用程序。您可以编写一个 Python 程序并执行其他人在其他答案中仅通过变量解释的所有内容，但是对于 tensorflow 中的计算图，要将您的数据提供给图表，您需要将这些节点定义为占位符。

---

对于 TF V1：

常数是有初始值的，在计算中不会改变；变量有初始值，在计算中可以改变； （对参数很好）占位符没有初始值，在计算中不会改变。 （非常适合预测实例等输入）

对于 TF V2，相同，但他们尝试隐藏占位符（不首选图形模式）。

---

在 TensorFlow 中，变量只是另一个张量（如 tf.constant 或 tf.placeholder）。碰巧变量可以通过计算进行修改。 tf.placeholder 用于将在运行时从外部提供给计算的输入（例如训练数据）。 tf.Variable 用于作为计算的一部分并且将被计算修改的输入（例如神经网络的权重）。

---