TensorFlow 计算模型 -- 计算图

TensorFlow 基本使用

计算图是 TensorFlow 中最基本的一个概念， TensorFlow 中的所有计算都会被转化为计算图上的节点。TensorFlow 是一个通过计算图 的形式来表述计算的编程系统 。 TensorFlow中的每一个计算都是计算图上的一个节点，而节点之间的边描述了计算之间的依赖关系。

• 使用图 (graph) 来表示计算任务
• 在被称之为 会话 (Session) 的上下文 (context) 中执行图
• 使用 tensor 表示数据
• 通过 变量 (Variable) 维护状态
• 使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据

计算图

使用图来表示计算任务，图中的节点被称之为 op (operation 的缩写)， 一个 op 获得 0 个或多个 Tensor，执行计算， 产生 0 个或多个 Tensor。每个 Tensor 是一个类型化的多维数组。

如： 你可以将一组图像集表示为一个四维浮点数数组，这四个维度分别是 [batch, height, width, channels]。

一个 TensorFlow 图描述了计算的过程。为了进行计算，图必须在 会话 里被启动。会话将图的 op 分发到诸如 CPU 或 GPU 之类的 设备 上，同时提供执行 op 的方法，这些方法执行后， 将产生的 tensor 返回。

在 Python 语言中，返回的 tensor 是 numpy ndarray 对象， 在 C 和 C++ 语言中, 返回的 tensor 是 tensorflow::Tensor 实例。

构建图

构建图的第一步，是创建源 op (source op)。源 op 不需要任何输入，例如 常量 (Constant)。源 op 的输出被传递给其它 op 做运算。

Python 库中，op 构造器的返回值代表被构造出的 op 的输出， 这些返回值可以传递给其它 op 构造器作为输入。

TensorFlow Python 库有一个默认图 (default graph)，op 构造器可以为其增加节点。 这个默认图对 许多程序来说已经足够用了。 阅读 Graph 类 文档 来了解如何管理多个图。

import tensorflow as tf

# 创建一个常量 op, 产生一个 1x2 矩阵. 这个 op 被作为一个节点
# 加到默认图中.
#
# 构造器的返回值代表该常量 op 的返回值.
matrix1 = tf.constant([[3., 3.]])

# 创建另外一个常量 op, 产生一个 2x1 矩阵.
matrix2 = tf.constant([[2.],[2.]])

# 创建一个矩阵乘法 matmul op , 把 'matrix1' 和 'matrix2' 作为输入.
# 返回值 'product' 代表矩阵乘法的结果.
product = tf.matmul(matrix1, matrix2)

print(product) # Tensor("MatMul:0", shape=(1, 1), dtype=float32)

默认图现在有三个节点， 两个 constant() op，和一个matmul() op。 为了真正进行矩阵相乘运算， 并得到矩阵乘法的结果，你必须在会话里启动这个图。

在一个会话中启动图

构造阶段完成后，才能启动图。启动图的第一步是创建一个 Session 对象， 如果无任何创建参数， 会话构造器将启动默认图。

# 启动默认图.
sess = tf.Session()

# 调用 sess 的 'run()' 方法来执行矩阵乘法 op, 传入 'product' 作为该方法的参数.
# 上面提到, 'product' 代表了矩阵乘法 op 的输出, 传入它是向方法表明, 我们希望取回
# 矩阵乘法 op 的输出.
#
# 整个执行过程是自动化的, 会话负责传递 op 所需的全部输入. op 通常是并发执行的.
#
# 函数调用 'run(product)' 触发了图中三个 op (两个常量 op 和一个矩阵乘法 op) 的执行.
#
# 返回值 'result' 是一个 numpy `ndarray` 对象.
result = sess.run(product)
print(result) # [[ 12.]]

# 任务完成, 关闭会话.
sess.close()

Session 对象在使用完后需要关闭以释放资源。除了显式调用 close 外，也可以使用 "with" 代码块 来自动完成关闭动作。

with tf.Session() as sess:
  result = sess.run([product])
  print(result)

在实现上，TensorFlow 将图形定义转换成分布式执行的操作，以充分利用可用的计算资源(如 CPU 或 GPU)。 一般你不需要显式指定使用 CPU 还是 GPU，TensorFlow 能自动检测。如果检测到 GPU，TensorFlow 会尽可能地利用找到的第一个 GPU 来执行操作。

如果机器上有超过一个可用的 GPU，除第一个外的其它 GPU 默认是不参与计算的。为了让 TensorFlow 使用这些 GPU，你必须将 op 明确指派给它们执行。with...Device 语句用来指派特定的 CPU 或 GPU 执行操作。

with tf.Session() as sess:
  with tf.device("/gpu:0"):
    result = sess.run([product])
    print(result) # [array([[12.]], dtype=float32)]

# 2019-03-17 13:40:26.116556: I C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1105] Found device 0 with properties:
# name: GeForce GTX 750 Ti major: 5 minor: 0 memoryClockRate(GHz): 1.0845
# pciBusID: 0000:04:00.0
# totalMemory: 2.00GiB freeMemory: 1.64GiB
# 2019-03-17 13:40:26.117990: I C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1195] Creating TensorFlow device (/device:GPU:0) -> (device: 0, name: GeForce GTX 750 Ti, pci bus id: 0000:04:00.0, compute capability: 5.0)

设备用字符串进行标识。目前支持的设备包括：

• "/cpu:0": 机器的 CPU.
• "/gpu:0": 机器的第一个 GPU, 如果有的话.
• "/gpu:1": 机器的第二个 GPU, 以此类推.

除了使用默认的计算图， TensorFlow 支持通过 tf.Graph 函数来生成新的计算图。不同计算图上的张量和运算都不会共享。

import tensorflow as tf

g1 = tf.Graph()
with g1.as_default ():
    #在计算图 g1 中定义变量“v”，并设置初始值为 0 。
    v = tf.get_variable(
        "v", initializer=tf.zeros_initializer()(shape=[1]))

g2 = tf.Graph()
with g2.as_default() :
    #在计算阁 g2 中定义变量“v”并设置初始值为 1 。
    v = tf.get_variable(
        "v", initializer=tf.ones_initializer()(shape=[1]))

#在计算图 g1 中读取变量“v”的取值 。
with tf.Session(graph=g1) as sess :
    tf.global_variables_initializer().run()
    with tf.variable_scope ("", reuse=True):
        #在计算图 g1 中，变量“ v”的取值应该为 0，所以下面这行会输出［0.]。
        print(sess.run(tf.get_variable ("v")))

#在计算图 g2 巾读取变量“ v”的取值。
with tf.Session(graph=g2) as sess:
    tf.global_variables_initializer().run()
    with tf.variable_scope ("", reuse=True) :
        #在计算图 g2 中，变量“v”的取值应该为 1 ，所以下面这行会输出［1.]。
        print(sess . run(tf .get_variable ("v")))