大家好，我是Doit。
之前發了一篇《ULMFiT-用於文本分類的通用語言模型微調》後，由於忙其他的事情，公眾號寫作就暫時擱置了，今天登錄公眾號後臺發現有了26個關注者，那一瞬間簡直是滿滿的感動。最近在知乎上寫一些學習tensorflow2.0的筆記心得，整理成中文教程，希望幫助想學習tensorflow2的朋友更好的了解tensorflow2的同時，也是倒逼自己更好的學習。我始終相信：最好的學習是輸出知識,最好的成長是共同成長。希望可以通過這個公眾號和廣大的深度學習愛好者，一起學習成長。
最後十分感謝關注我的朋友們，之前那篇文章由於公式排版問題，導致不能很好的閱讀，我後面會重新整理好發出來。
本教程首發於本人知乎帳號Doit的tensorflow2.0教程專欄，後面我將會對原有的tensorflow2.0教程進行完善和整理，並發於本公眾號中，感興趣的朋友請關注本公眾號。
完整tensorflow2.0教程代碼請看https://github.com/czy36mengfei/tensorflow2_tutorials_chinese (歡迎star)
本教程主要由tensorflow2.0官方教程的個人學習復現筆記整理而來，中文講解，方便喜歡閱讀中文教程的朋友，官方教程：tensorflow.org
Keras 是一個用於構建和訓練深度學習模型的高階 API。它可用於快速設計原型、高級研究和生產。
keras的3個優點： 方便用戶使用、模塊化和可組合、易於擴展
1.導入tf.kerastensorflow2推薦使用keras構建網絡，常見的神經網絡都包含在keras.layer中(最新的tf.keras的版本可能和keras不同)
import tensorflow as tf
from tensorflow.keras import layers
print(tf.__version__)
print(tf.keras.__version__)
最常見的模型類型是層的堆疊：tf.keras.Sequential 模型
model = tf.keras.Sequential()
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))
tf.keras.layers中網絡配置：
activation：設置層的激活函數。此參數由內置函數的名稱指定，或指定為可調用對象。默認情況下，系統不會應用任何激活函數。
kernel_initializer 和 bias_initializer：創建層權重（核和偏差）的初始化方案。此參數是一個名稱或可調用對象，默認為 "Glorot uniform" 初始化器。
kernel_regularizer 和 bias_regularizer：應用層權重（核和偏差）的正則化方案，例如 L1 或 L2 正則化。默認情況下，系統不會應用正則化函數。
layers.Dense(32, activation='sigmoid')
layers.Dense(32, activation=tf.sigmoid)
layers.Dense(32, kernel_initializer='orthogonal')
layers.Dense(32, kernel_initializer=tf.keras.initializers.glorot_normal)
layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l2(0.01))
layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l1(0.01))
構建好模型後，通過調用 compile 方法配置該模型的學習流程：
model = tf.keras.Sequential()
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
loss=tf.keras.losses.categorical_crossentropy,
metrics=[tf.keras.metrics.categorical_accuracy])
import numpy as np
train_x = np.random.random((1000, 72))
train_y = np.random.random((1000, 10))
val_x = np.random.random((200, 72))
val_y = np.random.random((200, 10))
model.fit(train_x, train_y, epochs=10, batch_size=100,
validation_data=(val_x, val_y))
dataset = tf.data.Dataset.from_tensor_slices((train_x, train_y))
dataset = dataset.batch(32)
dataset = dataset.repeat()
val_dataset = tf.data.Dataset.from_tensor_slices((val_x, val_y))
val_dataset = val_dataset.batch(32)
val_dataset = val_dataset.repeat()
model.fit(dataset, epochs=10, steps_per_epoch=30,
validation_data=val_dataset, validation_steps=3)
test_x = np.random.random((1000, 72))
test_y = np.random.random((1000, 10))
model.evaluate(test_x, test_y, batch_size=32)
test_data = tf.data.Dataset.from_tensor_slices((test_x, test_y))
test_data = test_data.batch(32).repeat()
model.evaluate(test_data, steps=30)
# predict
result = model.predict(test_x, batch_size=32)
print(result)
tf.keras.Sequential 模型是層的簡單堆疊，無法表示任意模型。使用 Keras 函數式 API 可以構建複雜的模型拓撲，例如：
多輸入模型，
多輸出模型，
具有共享層的模型（同一層被調用多次），
具有非序列數據流的模型（例如，殘差連接）。
使用函數式 API 構建的模型具有以下特徵：
層實例可調用並返回張量。 輸入張量和輸出張量用於定義 tf.keras.Model 實例。 此模型的訓練方式和 Sequential 模型一樣。
input_x = tf.keras.Input(shape=(72,))
hidden1 = layers.Dense(32, activation='relu')(input_x)
hidden2 = layers.Dense(16, activation='relu')(hidden1)
pred = layers.Dense(10, activation='softmax')(hidden2)
model = tf.keras.Model(inputs=input_x, outputs=pred)
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
loss=tf.keras.losses.categorical_crossentropy,
metrics=['accuracy'])
model.fit(train_x, train_y, batch_size=32, epochs=5)
通過對 tf.keras.Model 進行子類化並定義您自己的前向傳播來構建完全可自定義的模型。在 init 方法中創建層並將它們設置為類實例的屬性。在 call 方法中定義前向傳播
class MyModel(tf.keras.Model):
def __init__(self, num_classes=10):
super(MyModel, self).__init__(name='my_model')
self.num_classes = num_classes
self.layer1 = layers.Dense(32, activation='relu')
self.layer2 = layers.Dense(num_classes, activation='softmax')
def call(self, inputs):
h1 = self.layer1(inputs)
out = self.layer2(h1)
return out
def compute_output_shape(self, input_shape):
shape = tf.TensorShapej(input_shape).as_list()
shape[-1] = self.num_classes
return tf.TensorShape(shape)
model = MyModel(num_classes=10)
model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
loss=tf.keras.losses.categorical_crossentropy,
metrics=['accuracy'])
model.fit(train_x, train_y, batch_size=16, epochs=5)
通過對 tf.keras.layers.Layer 進行子類化並實現以下方法來創建自定義層：
build：創建層的權重。使用 add_weight 方法添加權重。
call：定義前向傳播。
compute_output_shape：指定在給定輸入形狀的情況下如何計算層的輸出形狀。 或者，可以通過實現 get_config 方法和 from_config 類方法序列化層。
class MyLayer(layers.Layer):
def __init__(self, output_dim, **kwargs):
self.output_dim = output_dim
super(MyLayer, self).__init__(**kwargs)
def build(self, input_shape):
shape = tf.TensorShape((input_shape[1], self.output_dim))
self.kernel = self.add_weight(name='kernel1', shape=shape,
initializer='uniform', trainable=True)
super(MyLayer, self).build(input_shape)
def call(self, inputs):
return tf.matmul(inputs, self.kernel)
def compute_output_shape(self, input_shape):
shape = tf.TensorShape(input_shape).as_list()
shape[-1] = self.output_dim
return tf.TensorShape(shape)
def get_config(self):
base_config = super(MyLayer, self).get_config()
base_config['output_dim'] = self.output_dim
return base_config
@classmethod
def from_config(cls, config):
return cls(**config)
model = tf.keras.Sequential(
[
MyLayer(10),
layers.Activation('softmax')
])
model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
loss=tf.keras.losses.categorical_crossentropy,
metrics=['accuracy'])
model.fit(train_x, train_y, batch_size=16, epochs=5)
callbacks = [
tf.keras.callbacks.EarlyStopping(patience=2, monitor='val_loss'),
tf.keras.callbacks.TensorBoard(log_dir='./logs')
]
model.fit(train_x, train_y, batch_size=16, epochs=5,
callbacks=callbacks, validation_data=(val_x, val_y))
model = tf.keras.Sequential([
layers.Dense(64, activation='relu'),
layers.Dense(10, activation='softmax')])
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
loss='categorical_crossentropy',
metrics=['accuracy'])
model.save_weights('./weights/model')
model.load_weights('./weights/model')
model.save_weights('./model.h5')
model.load_weights('./model.h5')
# 序列化成json
import json
import pprint
json_str = model.to_json()
pprint.pprint(json.loads(json_str))
fresh_model = tf.keras.models.model_from_json(json_str)
# 保持為yaml格式 #需要提前安裝pyyaml
yaml_str = model.to_yaml()
print(yaml_str)
fresh_model = tf.keras.models.model_from_yaml(yaml_str)
model = tf.keras.Sequential([
layers.Dense(10, activation='softmax', input_shape=(72,)),
layers.Dense(10, activation='softmax')
])
model.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])
model.fit(train_x, train_y, batch_size=32, epochs=5)
model.save('all_model.h5')
model = tf.keras.models.load_model('all_model.h5')
Estimator API 用於針對分布式環境訓練模型。它適用於一些行業使用場景，例如用大型數據集進行分布式訓練並導出模型以用於生產
model = tf.keras.Sequential([layers.Dense(10,activation='softmax'),
layers.Dense(10,activation='softmax')])
model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
loss='categorical_crossentropy',
metrics=['accuracy'])
estimator = tf.keras.estimator.model_to_estimator(model)