Tensorflow 2.0 入門及介紹

作者：李婧 | 編輯：餘濤Tensorflow2.0 比1.0 的改變非常多，其整個編程範式也變得和以前完全不一樣，其中2.0比1.0寫起來更加簡單直接，符合一般人的思維模式，採用了動態圖執行，這裡明顯借鑑了Pytorch的模式，比如，如下圖所示，tf2.0寫起來，明顯更加pythonic, tf1.0還需要在構建靜態圖後，通過session進行執行。

同時，tf2.0形成了一套完整的生態，用keras寫代碼，用serving部署，甚至可以用Tensorflow.js在瀏覽器裡面運行，或者用lite在手機等設備上運行，非常方便：

下面以圖片問答任務作為例子演示tf2.0的建模過程，所謂圖片問答，即VQA，是看圖片回答問題的一種任務，如下圖所示：

# A vision model.
# Encode an image into a vector.
vision_model = Sequential()
vision_model.add(Conv2D(64, (3, 3),
activation='relu',
input_shape=(224, 224, 3)))
vision_model.add(MaxPooling2D())
vision_model.add(Flatten())
# Get a tensor with the output of your vision model
image_input = Input(shape=(224, 224, 3))
encoded_image = vision_model(image_input)

# A language model.
# Encode the question into a vector.
question_input = Input(shape=(100,),
dtype='int32',
name="Question")
embedded = Embedding(input_dim=10000,
output_dim=256,
input_length=100)(question_input)
encoded_question = LSTM(256)(embedded_question)

# Concatenate the encoded image and question
merged = layers.concatenate([encoded_image,
encoded_question])

# Train a classifier on top.
output = Dense(1000,
activation='softmax')(merged)
# You can train w/ .fit, .train_on_batch,
# or with a GradientTape.
vqa_model = Model(inputs=[image_input,
question_input],
outputs=output)

model.compile(optimizer=Adam(),
loss=BinaryCrossentropy(),
metrics=[AUC(), Precision(), Recall()])
model.fit(data,
epochs=10,
validation_data=val_data,
callbacks=[EarlyStopping(),
TensorBoard(),
ModelCheckpoint()])

上面是訓練的代碼，tf2.0才用callback模式，讓訓練可以更加靈活的進行定製化操作。

不改變一行代碼轉換為分布式訓練（單機多卡和多機多卡）

tf2.0採用了一種MirroredStrategy技術將單GPU訓練模型非常快速的變成多卡訓練，此技術包括
1. 數據同步技術；
2. 多GPU變量鏡像技術；
3. 在鎖同步中運行副本；
4. All-reduce技術：將所有梯度進行集合約分更新計算的技術。

import tensorflow as tf
model = tf.keras.applications.ResNet50()
optimizer = tf.keras.optimizers.SGD(learning_rate=0.1)
model.compile(..., optimizer=optimizer)
model.fit(train_dataset, epochs=10)

如何將上面代碼變成多卡訓練，只需要加上MirroredStrategy並將模型集成就可以，如下：

import tensorflow as tf
strategy = tf.distribute.MirroredStrategy()
with strategy.scope():
model = tf.keras.applications.ResNet50()
optimizer = tf.keras.optimizers.SGD(learning_rate=0.1)
model.compile(..., optimizer=optimizer)
model.fit(train_dataset, epochs=10)

正真做到了模型代碼一個字不用改。

通過tf lite可以很方便的將模型部署到行動裝置上，這裡用Arduino舉例：

# Convert the model to the TFLite format without quantization
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()
# Save the model to disk
open("gesture_model.tflite", "wb").write(tflite_model)
# Check the size
import os
basic_model_size = os.path.getsize("gesture_model.tflite")
print("Model is %d bytes" % basic_model_size)

部署到行動裝置效果如下：

tf.js可以讓model運行在瀏覽器裡面，也只需幾行代碼：

import tensorflowjs as tfjs
metadata = {
'word_index': tokenizer.word_index,
# …
}
# Save metadata
metadata_json_path = os.path.join(FLAGS.artifacts_dir, 'metadata.json')
json.dump(metadata, open(metadata_json_path, 'wt'))
# Convert your model to TF.js format
tfjs.converters.save_keras_model(model, FLAGS.artifacts_dir)

下圖是一個運行在瀏覽器中的人體姿態識別模型：