據悉,基於TNN,開發者能夠輕鬆將深度學習算法移植到手機端高效的執行,開發出人工智慧 APP,將 AI 帶到指尖。
中國軟體網了解到,TNN是騰訊優圖針對手機端推出的高性能、輕量級移動端推理框架,其在設計之初便將移動端高性能作為核心理念。在開發上,TNN基於騰訊優圖在深度學習方面的技術積累,並借鑑了業內主流框架優點,在2017年開源的ncnn框架進行了重構升級。
得益於在GPU深度調優、ARM SIMD深入彙編指令調優、低精度計算等技術手段上的提升,TNN在多款主流平臺上的性能不凡。騰訊優圖也公布了在驍龍845/835/615以及麒麟970平臺上,TNN與MNN, ncnn框架的性能對比。
對此,騰訊優圖表示,低精度計算的運用對TNN的性能提升發揮了重要作用。TNN引入了INT8、 FP16、 BFP16等多種計算低精度的支持,相比大部分僅提供INT8支持的框架,不僅能靈活適配不同場景,還讓計算性能提升。
數據顯示,TNN通過採用8bit整數代替float進行計算和存儲,模型尺寸和內存消耗均減少至1/4,在計算性能上提升50%以上。同時引入arm平臺BFP16的支持,相比浮點模型,BFP16使模型尺寸、內存消耗減少50%,在中低端機上的性能也提升約20%。
同時,騰訊優圖表示通用、輕便是TNN的另一亮點。TNN設計了與平臺無關的模型表示,為開發人員提供統一的模型描述文件和調用接口,支持主流安卓、iOS等作業系統,適配CPU、 GPU、NPU硬體平臺。
此外,TNN通過ONNX可支持TensorFlow, PyTorch, MXNet, Caffe等多種訓練框架,目前支持ONNX算子超過80個,覆蓋主流CNN網絡。TNN所有算子均為源碼直接實現,不依賴任何第三方,接口易用,切換平臺僅需修改調用參數即可。
中國軟體網認為,人工智慧落地難的很重要原因就是要求專業性高、算力充裕以及設施笨重。TNN很好地規避了這些,但也不難看出,TNN的場景更多適用於簡單、入門級的人工智慧。