李倩 發表於 2018-09-21 08:53:44
編者按：幾個月前，Tensorflow發布了一份名為《Quantizing deep convolutional networks for efficient inference》的白皮書，主要介紹團隊關於模型量化的相關工作，所謂量化，簡單來說就是將32浮點數近似地用8位整數存儲和計算，量化後，模型佔用存儲空間減小75%，能起到壓縮模型的效果。而現在，這項技術就快和大家見面了。
今天凌晨，TensorFlow官方發布消息稱將引入一個新的優化工具包，方便機器學習初學者和高級開發人員進行優化，方便模型的部署和執行。
它的名字是訓練後量化（post-training quantization），這是模型量化的一類，主要優點有：
模型佔用存儲空間縮小75%
如果是主要由卷積層組成的模型，執行速度提高10–50%
如果是基於RNN的模型，執行速度提高3倍
內存、算力要求的降低也意味著大多數模型的功耗會大幅降低
內存、算力、功耗，這是模型量化的主要優化對象，而在實踐中，最能從中收益的自然是在各種移動端設備上使用機器學習模型的開發人員，尤其是TensorFlow Lite的用戶。
下圖展示了使用這個優化工具包後，幾種典型模型在存儲空間佔用上的變化（單核Android Pixel 2手機）：
模型尺寸比較：經優化的模型幾乎為原來的1/4
下圖是訓練後量化對模型執行的加速效果（單核Android Pixel 2手機）：
延遲比較：經優化的模型執行速度提高了1.2到1.4倍
通常情況下，模型壓縮會對原有準確率造成不同程度的影響，但訓練後量化的影響幾乎等同於無，它能在縮小尺寸、提高速度的前提下保持模型精度，如下圖所示（單核Android Pixel 2手機）：
啟用模型量化
現在訓練後量化已被集成到TensorFlow Lite中，它的使用方法很簡單：首先構建一個TensorFlow模型，其次在conversion tool中找到模型量化的標誌「posttrainingquantize」。假設模型存儲在savedmodeldir中，那麼具體命令就是：
converter=tf.contrib.lite.TocoConverter.from_saved_model(saved_model_dir)
converter.post_training_quantize=True
tflite_quantized_model=converter.convert()
open(「quantized_model.tflite」, 「wb」).write(tflite_quantized_model)
具體操作可見github：github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/tutorials/posttrainingquant.ipynb
雖然目前開發者們只能在TensorFlow Lite中用到這個技術，但官方也稱將儘快把它整合到一般的TensorFlow工具中。
小結
除了訓練後量化，在之前提到的白皮書中，Tensorflow還提到了訓練時量化，它能使模型的準確率更高。而綜合來看，它們都是基於量化設計的技術，依靠把32浮點數近似地用8位整數存儲和計算來達到內存佔用更少、計算更少和功耗更少的目的。
隨著深層神經網絡不斷在現實中落地，這種技術將適應現代科技設備的發展步伐，為開發者和產品用戶帶來便利。
打開APP閱讀更多精彩內容聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴