TensorFlow2.X学习笔记(4)--TensorFlow低阶API之AutoGraph相关研究
AutoGraph相关研究
TensorFlow 2.0主要使用的是动态计算图和Autograph。
动态计算图易于调试,编码效率较高,但执行效率偏低。
静态计算图执行效率很高,但较难调试。
而Autograph机制可以将动态图转换成静态计算图,兼收执行效率和编码效率之利。
当然Autograph机制能够转换的代码并不是没有任何约束的,有一些编码规范需要遵循,否则可能会转换失败或者不符合预期。
一、Autograph使用规范
1、规范总结
- 1,被
@tf.function
修饰的函数应尽可能使用TensorFlow中的函数而不是Python中的其他函数。例如使用tf.print而不是print,使用tf.range而不是range,使用tf.constant(True)
而不是True. - 2,避免在@tf.function修饰的函数内部定义tf.Variable.
- 3,被@tf.function修饰的函数不可修改该函数外部的Python列表或字典等数据结构变量。
2、规范解析
被@tf.function修饰的函数应尽量使用TensorFlow中的函数而不是Python中的其他函数。
1 | import numpy as np |
避免在@tf.function修饰的函数内部定义tf.Variable.
1 | x = tf.Variable(1.0,dtype=tf.float32) |
被@tf.function修饰的函数不可修改该函数外部的Python列表或字典等结构类型变量。
1 | tensor_list = [] |
二、Autograph机制原理
1、@tf.function
当我们第一次调用这个被@tf.function装饰的函数时,后面到底发生了什么?
第一件事情是创建计算图。即创建一个静态计算图,跟踪执行一遍函数体中的Python代码,确定各个变量的Tensor类型,并根据执行顺序将算子添加到计算图中。 在这个过程中,如果开启了autograph=True(默认开启),会将Python控制流转换成TensorFlow图内控制流。 主要是将if语句转换成 tf.cond算子表达,将while和for循环语句转换成tf.while_loop算子表达,并在必要的时候添加 tf.control_dependencies指定执行顺序依赖关系。
第二件事情是执行计算图。
2、重新理解Autograph的编码规范
1,被@tf.function修饰的函数应尽量使用TensorFlow中的函数而不是Python中的其他函数。例如使用tf.print而不是print.
解释:Python中的函数仅仅会在跟踪执行函数以创建静态图的阶段使用,普通Python函数是无法嵌入到静态计算图中的,所以 在计算图构建好之后再次调用的时候,这些Python函数并没有被计算,而TensorFlow中的函数则可以嵌入到计算图中。使用普通的Python函数会导致 被@tf.function修饰前【eager执行】和被@tf.function修饰后【静态图执行】的输出不一致。
2,避免在@tf.function修饰的函数内部定义tf.Variable.
解释:如果函数内部定义了tf.Variable,那么在【eager执行】时,这种创建tf.Variable的行为在每次函数调用时候都会发生。但是在【静态图执行】时,这种创建tf.Variable的行为只会发生在第一步跟踪Python代码逻辑创建计算图时,这会导致被@tf.function修饰前【eager执行】和被@tf.function修饰后【静态图执行】的输出不一致。实际上,TensorFlow在这种情况下一般会报错。
3,被@tf.function修饰的函数不可修改该函数外部的Python列表或字典等数据结构变量。
解释:静态计算图是被编译成C++代码在TensorFlow内核中执行的。Python中的列表和字典等数据结构变量是无法嵌入到计算图中,它们仅仅能够在创建计算图时被读取,在执行计算图时是无法修改Python中的列表或字典这样的数据结构变量的。
三、tf.Module概述
TensorFlow提供了一个基类tf.Module
,通过继承它构建子类,我们不仅可以获得以上的自然而然,而且可以非常方便地管理变量,还可以非常方便地管理它引用的其它Module,而且我们能够利用tf.saved_model
保存模型并实现跨平台部署使用。``
实际上,tf.keras.models.Model,tf.keras.layers.Layer
都是继承自tf.Module
的,提供了方便的变量管理和所引用的子模块管理的功能。
1、tf.Module
因此,利用tf.Module提供的封装,再结合TensoFlow丰富的低阶API,实际上我们能够基于TensorFlow开发任意机器学习模型(而非仅仅是神经网络模型),并实现跨平台部署使用。
定义一个简单的function.
1 | import tensorflow as tf |
自定义module
1 | class DemoModule(tf.Module): |
在tensorboard中查看计算图,模块会被添加模块名demo_module,方便层次化呈现计算图结构。
1 | import datetime |
使用tensorboard
1 | #启动 tensorboard在jupyter中的魔法命令 |
除了利用tf.Module的子类化实现封装,我们也可以通过给
tf.Module
添加属性的方法进行封装。
1 | mymodule = tf.Module() |
2、tf.Module和tf.keras.Model,tf.keras.layers.Layer
tf.keras中的模型和层都是继承tf.Module实现的,也具有变量管理和子模块管理功能。
1 | import tensorflow as tf |