tf.control_dependencies()作用及用法



在有些机器学习程序中我们想要指定某些操作执行的依赖关系，这时我们可以使用tf.control_dependencies()来实现。 
control_dependencies(control_inputs)返回一个控制依赖的上下文管理器，使用with关键字可以让在这个上下文环境中的操作都在control_inputs 执行。

with g.control_dependencies([a, b, c]):  # `d` and `e` will only run after `a`, `b`, and `c` have executed.
  d = ...
  e = ...

• 1
• 2
• 3
• 4

可以嵌套control_dependencies 使用

with g.control_dependencies([a, b]):
  # Ops constructed here run after `a` and `b`.
  with g.control_dependencies([c, d]):
    # Ops constructed here run after `a`, `b`, `c`, and `d`.

• 1
• 2
• 3
• 4

可以传入None 来消除依赖：

with g.control_dependencies([a, b]):
  # Ops constructed here run after `a` and `b`.
  with g.control_dependencies(None):
    # Ops constructed here run normally, not waiting for either `a` or `b`.
    with g.control_dependencies([c, d]):
      # Ops constructed here run after `c` and `d`, also not waiting
      # for either `a` or `b`.

• 1
• 2
• 3
• 4
• 5
• 6
• 7

注意： 
控制依赖只对那些在上下文环境中建立的操作有效，仅仅在context中使用一个操作或张量是没用的

# WRONGdef my_func(pred, tensor):
  t = tf.matmul(tensor, tensor)  with tf.control_dependencies([pred]):    # The matmul op is created outside the context, so no control
    # dependency will be added.
    return t# RIGHTdef my_func(pred, tensor):  with tf.control_dependencies([pred]):    # The matmul op is created in the context, so a control dependency
    # will be added.
    return tf.matmul(tensor, tensor)

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14

例子： 
在训练模型时我们每步训练可能要执行两种操作，op a, b 这时我们就可以使用如下代码：

with tf.control_dependencies([a, b]):
    c= tf.no_op(name='train')#tf.no_op；什么也不做sess.run(c)

• 1
• 2
• 3

在这样简单的要求下，可以将上面代码替换为：

c= tf.group([a, b])
sess.run(c)