TensorFlow模型儲存和提取方法
一、TensorFlow模型儲存和提取方法
1. TensorFlow通過tf.train.Saver類實現神經網路模型的儲存和提取。tf.train.Saver物件saver的save方法將TensorFlow模型儲存到指定路徑中,saver.save(sess,"Model/model.ckpt"),實際在這個檔案目錄下會生成4個人檔案:
checkpoint檔案儲存了一個錄下多有的模型檔案列表,model.ckpt.meta儲存了TensorFlow計算圖的結構資訊,model.ckpt儲存每個變數的取值,此處檔名的寫入方式會因不同引數的設定而不同,但載入restore時的檔案路徑名是以checkpoint檔案中的“model_checkpoint_path”值決定的。
2. 載入這個已儲存的TensorFlow模型的方法是saver.restore(sess,"./Model/model.ckpt"),載入模型的程式碼中也要定義TensorFlow計算圖上的所有運算並宣告一個tf.train.Saver類,不同的是載入模型時不需要進行變數的初始化,而是將變數的取值通過儲存的模型載入進來,注意載入路徑的寫法。若不希望重複定義計算圖上的運算,可直接載入已經持久化的圖,saver =tf.train.import_meta_graph("Model/model.ckpt.meta")。
3.tf.train.Saver類也支援在儲存和載入時給變數重新命名,宣告Saver類物件的時候使用一個字典dict重新命名變數即可,{"已儲存的變數的名稱name": 重新命名變數名},saver = tf.train.Saver({"v1":u1, "v2": u2})即原來名稱name為v1的變數現在載入到變數u1(名稱name為other-v1)中。
4. 上一條做的目的之一就是方便使用變數的滑動平均值。如果在載入模型時直接將影子變數對映到變數自身,則在使用訓練好的模型時就不需要再呼叫函式來獲取變數的滑動平均值了。載入時,宣告Saver類物件時通過一個字典將滑動平均值直接載入到新的變數中,saver = tf.train.Saver({"v/ExponentialMovingAverage": v}),另通過tf.train.ExponentialMovingAverage的variables_to_restore()函式獲取變數重新命名字典。
此外,通過convert_variables_to_constants函式將計算圖中的變數及其取值通過常量的方式儲存於一個檔案中。
二、TensorFlow程式實現
# 本檔案程式為配合教材及學習進度漸進進行,請按照註釋分段執行
# 執行時要注意IDE的當前工作過路徑,最好每段重啟控制器一次,輸出結果更準確
# Part1: 通過tf.train.Saver類實現儲存和載入神經網路模型
# 執行本段程式時注意當前的工作路徑
import tensorflow as tf
v1 = tf.Variable(tf.constant(1.0, shape=[1]), name="v1")
v2 = tf.Variable(tf.constant(2.0, shape=[1]), name="v2")
result = v1 + v2
saver = tf.train.Saver()
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
saver.save(sess, "Model/model.ckpt")
# Part2: 載入TensorFlow模型的方法
import tensorflow as tf
v1 = tf.Variable(tf.constant(1.0, shape=[1]), name="v1")
v2 = tf.Variable(tf.constant(2.0, shape=[1]), name="v2")
result = v1 + v2
saver = tf.train.Saver()
with tf.Session() as sess:
saver.restore(sess, "./Model/model.ckpt") # 注意此處路徑前新增"./"
print(sess.run(result)) # [ 3.]
# Part3: 若不希望重複定義計算圖上的運算,可直接載入已經持久化的圖
import tensorflow as tf
saver = tf.train.import_meta_graph("Model/model.ckpt.meta")
with tf.Session() as sess:
saver.restore(sess, "./Model/model.ckpt") # 注意路徑寫法
print(sess.run(tf.get_default_graph().get_tensor_by_name("add:0"))) # [ 3.]
# Part4: tf.train.Saver類也支援在儲存和載入時給變數重新命名
import tensorflow as tf
# 宣告的變數名稱name與已儲存的模型中的變數名稱name不一致
u1 = tf.Variable(tf.constant(1.0, shape=[1]), name="other-v1")
u2 = tf.Variable(tf.constant(2.0, shape=[1]), name="other-v2")
result = u1 + u2
# 若直接生命Saver類物件,會報錯變數找不到
# 使用一個字典dict重新命名變數即可,{"已儲存的變數的名稱name": 重新命名變數名}
# 原來名稱name為v1的變數現在載入到變數u1(名稱name為other-v1)中
saver = tf.train.Saver({"v1": u1, "v2": u2})
with tf.Session() as sess:
saver.restore(sess, "./Model/model.ckpt")
print(sess.run(result)) # [ 3.]
# Part5: 儲存滑動平均模型
import tensorflow as tf
v = tf.Variable(0, dtype=tf.float32, name="v")
for variables in tf.global_variables():
print(variables.name) # v:0
ema = tf.train.ExponentialMovingAverage(0.99)
maintain_averages_op = ema.apply(tf.global_variables())
for variables in tf.global_variables():
print(variables.name) # v:0
# v/ExponentialMovingAverage:0
saver = tf.train.Saver()
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
sess.run(tf.assign(v, 10))
sess.run(maintain_averages_op)
saver.save(sess, "Model/model_ema.ckpt")
print(sess.run([v, ema.average(v)])) # [10.0, 0.099999905]
# Part6: 通過變數重新命名直接讀取變數的滑動平均值
import tensorflow as tf
v = tf.Variable(0, dtype=tf.float32, name="v")
saver = tf.train.Saver({"v/ExponentialMovingAverage": v})
with tf.Session() as sess:
saver.restore(sess, "./Model/model_ema.ckpt")
print(sess.run(v)) # 0.0999999
# Part7: 通過tf.train.ExponentialMovingAverage的variables_to_restore()函式獲取變數重新命名字典
import tensorflow as tf
v = tf.Variable(0, dtype=tf.float32, name="v")
# 注意此處的變數名稱name一定要與已儲存的變數名稱一致
ema = tf.train.ExponentialMovingAverage(0.99)
print(ema.variables_to_restore())
# {'v/ExponentialMovingAverage': <tf.Variable 'v:0' shape=() dtype=float32_ref>}
# 此處的v取自上面變數v的名稱name="v"
saver = tf.train.Saver(ema.variables_to_restore())
with tf.Session() as sess:
saver.restore(sess, "./Model/model_ema.ckpt")
print(sess.run(v)) # 0.0999999
# Part8: 通過convert_variables_to_constants函式將計算圖中的變數及其取值通過常量的方式儲存於一個檔案中
import tensorflow as tf
from tensorflow.python.framework import graph_util
v1 = tf.Variable(tf.constant(1.0, shape=[1]), name="v1")
v2 = tf.Variable(tf.constant(2.0, shape=[1]), name="v2")
result = v1 + v2
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
# 匯出當前計算圖的GraphDef部分,即從輸入層到輸出層的計算過程部分
graph_def = tf.get_default_graph().as_graph_def()
output_graph_def = graph_util.convert_variables_to_constants(sess,
graph_def, ['add'])
with tf.gfile.GFile("Model/combined_model.pb", 'wb') as f:
f.write(output_graph_def.SerializeToString())
# Part9: 載入包含變數及其取值的模型
import tensorflow as tf
from tensorflow.python.platform import gfile
with tf.Session() as sess:
model_filename = "Model/combined_model.pb"
with gfile.FastGFile(model_filename, 'rb') as f:
graph_def = tf.GraphDef()
graph_def.ParseFromString(f.read())
result = tf.import_graph_def(graph_def, return_elements=["add:0"])
print(sess.run(result)) # [array([ 3.], dtype=float32)]
相關文章
- tensorflow模型持久化儲存和載入模型持久化
- tensorflow:一個簡單的python訓練儲存模型,java還原模型方法Python模型Java
- Tensorflow SavedModel模型的儲存與載入模型
- Tensorflow模型的儲存與恢復載入模型
- spacy儲存和載入模型模型
- Pytorch學習(七)---- 儲存提取PyTorch
- DAOS 分散式非同步物件儲存|儲存模型分散式非同步物件模型
- [譯] TensorFlow 教程 #04 - 儲存 & 恢復
- Synology群暉NAS儲存正確建立儲存池和儲存空間的方法
- 使用NSUserDefault儲存物件模型物件模型
- 在 Python 中儲存和載入機器學習模型Python機器學習模型
- Pytorch | Tutorial-07 儲存和載入模型PyTorch模型
- Tensorflow儲存神經網路引數有妙招:Saver和Restore神經網路REST
- DSSM模型和tensorflow實現SSM模型
- 記錄:tf.saved_model 模組的簡單使用(TensorFlow 模型儲存與恢復)模型
- 兩種SQL分頁方法儲存過程和遊標儲存過程SQL儲存過程
- 自動儲存、靜態儲存和動態儲存
- 資料中心儲存 TCO 模型模型
- 掌握Hive資料儲存模型Hive模型
- TensorFlow 載入多個模型的方法模型
- oracle儲存研究方法Oracle
- 儲存載入模型model.save()模型
- 學習筆記14:模型儲存筆記模型
- fbx模型動畫提取教程附帶一個用程式碼提取的方法模型動畫
- mysql和orcale的儲存過程和儲存函式MySql儲存過程儲存函式
- 有效的儲存的方法
- 批次提取畫素差異並儲存二進位制
- Android-內部儲存和外部儲存Android
- Mysql 的儲存過程和儲存函式MySql儲存過程儲存函式
- mysql儲存函過程和儲存函式都屬於儲存程式MySql儲存函式
- 配置儲存和工具
- Transformers 儲存並載入模型 | 八ORM模型
- 訓練模型的儲存與載入模型
- tf.keras: 儲存與載入模型Keras模型
- OS學習筆記五:儲存模型筆記模型
- 高效能Sqlite儲存模型物件解密SQLite模型物件解密
- 【儲存資料恢復】某品牌EqualLogic系列儲存介紹和資料恢復方法資料恢復
- 通過SQL語句提取儲存過程中的內容SQL儲存過程