模型保存 - 保存内容 - 权重、架构等保存

TensorFlow 《模型保存 - 保存内容 - 权重、架构等保存》

在使用 TensorFlow 进行深度学习模型训练时，模型保存是一个至关重要的环节。它不仅可以帮助我们在训练过程中防止意外中断而丢失进度，还能让我们方便地复用已经训练好的模型，或者在不同的环境中部署模型。TensorFlow 提供了多种方式来保存模型的不同内容，主要包括权重、架构等，下面我们将详细介绍这些保存内容以及相应的保存方法。

1. 保存模型权重

模型的权重包含了模型在训练过程中学习到的参数，这些参数决定了模型的具体行为。在某些情况下，我们可能只需要保存模型的权重，例如当我们已经有了模型的架构定义，只是希望保存训练得到的参数时。

1.1 使用 model.save_weights() 方法

以下是一个简单的示例，展示了如何保存和加载模型的权重：

import tensorflow as tf
from tensorflow.keras import layers, models
# 定义一个简单的模型
def create_model():
    model = models.Sequential([
        layers.Dense(64, activation='relu', input_shape=(784,)),
        layers.Dense(10, activation='softmax')
    ])
    model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])
    return model
# 创建模型
model = create_model()
# 保存权重
model.save_weights('model_weights.h5')
# 创建一个新的模型实例
new_model = create_model()
# 加载权重
new_model.load_weights('model_weights.h5')

在上述代码中，我们首先定义了一个简单的神经网络模型，然后使用 model.save_weights() 方法将模型的权重保存到 model_weights.h5 文件中。接着，我们创建了一个新的模型实例，并使用 load_weights() 方法加载之前保存的权重。

1.2 保存为检查点文件

除了保存为 .h5 文件，还可以将权重保存为 TensorFlow 的检查点文件，这种方式更适合在训练过程中定期保存模型的权重，以便在需要时恢复训练。

import tensorflow as tf
from tensorflow.keras import layers, models
# 定义模型
model = models.Sequential([
    layers.Dense(64, activation='relu', input_shape=(784,)),
    layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
# 创建检查点回调
checkpoint_path = "training_1/cp.ckpt"
cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_path,
                                                 save_weights_only=True,
                                                 verbose=1)
# 训练模型并保存权重
model.fit(x_train, y_train,
          epochs=10,
          validation_data=(x_test, y_test),
          callbacks=[cp_callback])
# 创建新模型并加载权重
new_model = models.Sequential([
    layers.Dense(64, activation='relu', input_shape=(784,)),
    layers.Dense(10, activation='softmax')
])
new_model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])
new_model.load_weights(checkpoint_path)

在这个示例中，我们使用 ModelCheckpoint 回调函数在训练过程中定期保存模型的权重。当需要恢复训练时，我们可以创建一个新的模型实例，并使用 load_weights() 方法加载检查点文件中的权重。

2. 保存模型架构

模型的架构定义了模型的结构，包括层的类型、数量、连接方式等。在某些情况下，我们可能需要保存模型的架构，以便在没有原始代码的情况下重建模型。

2.1 使用 model.to_json() 或 model.to_yaml() 方法

TensorFlow 允许我们将模型的架构保存为 JSON 或 YAML 格式的文件。以下是一个示例：

import tensorflow as tf
from tensorflow.keras import layers, models
# 定义模型
model = models.Sequential([
    layers.Dense(64, activation='relu', input_shape=(784,)),
    layers.Dense(10, activation='softmax')
])
# 将模型架构保存为 JSON 文件
model_json = model.to_json()
with open("model_architecture.json", "w") as json_file:
    json_file.write(model_json)
# 从 JSON 文件中加载模型架构
from tensorflow.keras.models import model_from_json
json_file = open('model_architecture.json', 'r')
loaded_model_json = json_file.read()
json_file.close()
loaded_model = model_from_json(loaded_model_json)

在上述代码中，我们使用 model.to_json() 方法将模型的架构保存为 JSON 文件，然后使用 model_from_json() 方法从 JSON 文件中加载模型的架构。同样，我们也可以使用 model.to_yaml() 和 model_from_yaml() 方法来保存和加载 YAML 格式的模型架构。

3. 保存整个模型

有时候，我们希望一次性保存模型的权重和架构，以及优化器的状态等信息。TensorFlow 提供了简单的方法来保存整个模型。

3.1 使用 model.save() 方法

import tensorflow as tf
from tensorflow.keras import layers, models
# 定义模型
model = models.Sequential([
    layers.Dense(64, activation='relu', input_shape=(784,)),
    layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
# 保存整个模型
model.save('my_model.h5')
# 加载整个模型
loaded_model = tf.keras.models.load_model('my_model.h5')

在这个示例中，我们使用 model.save() 方法将整个模型保存为 .h5 文件，然后使用 load_model() 方法从文件中加载整个模型。这种方式非常方便，因为它可以一次性保存和恢复模型的所有信息。

综上所述，TensorFlow 提供了丰富的功能来保存模型的不同内容，包括权重、架构等。根据具体的需求，我们可以选择合适的保存方式，以便更好地管理和复用我们的深度学习模型。