人工智慧模型是這樣構建的!探秘DL4J分布式訓練法!

人工智慧的英文全名為Artificial Intelligence，我們通常簡稱為AI。廣義上講，AI可以指任何能夠從事某種智能活動的電腦程式。近年來深度學習在AI領域表現尤為突出，在這裡我們可以簡單的把AI理解為深度學習。

深度學習由深層神經網絡算法構成，大量的神經元輸入通過不斷的迭代更新參數完成模型定型。深度學習的計算強度較高，對於規模非常大的數據集而言，速度很重要。主流的深度學習框架有TensorFlow、Caffe、Keras、Theano等，它們大多在單節點伺服器通過GPU加速完成模型訓練。隨著大數據時代的來臨，採用分布式計算極大提高了計算性能。因此將分布式計算與深度學習結合成為必然趨勢。DL4J就是基於這樣的思想誕生的，是應用最廣泛的JVM開源深度學習框架，它可以利用Spark在多臺伺服器多個GPU上開展分布式的深度學習模型訓練，讓模型跑得再快一點。

運用Deeplearning4J高效的訓練一個完整神經網絡模型包括：神經網絡輸入數據ETL、配置神經網絡結構、設置參數監測可視化界面、模型訓練、模型評估、模型保存與加載。本期「安仔課堂」，ISEC實驗室的老師為大家詳解如何運用DL4J構建AI模型。

一、數據ETL

神經網絡所能識別的輸入數據是向量，訓練中涉及大量的矩陣運算。ND4J是神經網絡訓練進行必要的線性代數和微積分運算的科學計算庫，讓Java能夠訪問所需的原生庫，能夠使用多個CPU或GPU快速處理矩陣數據。DataVec是基於ND4J之上的一個工具包，通過它可以方便的對數據攝取、清理、聯接、縮放、標準化和轉換等處理，快速的將圖像、視頻、聲音、文本和時間序列等原始數據轉變為特徵向量，輸入神經網絡。示例如下：

圖1

二、配置網絡結構

MultiLayerConfiguration是用來設定網絡的層及其超參數。超參數是決定神經網絡學習方式的變量，包括模型的權重更新次數、如何初始化權重、為節點添加哪些激活函數、使用哪些優化算法以及模型的學習速度，通過調用layer添加網絡層，指定其在所有層中的先後位置、輸入及輸出節點數nIn和nOut。網絡配置的示例如下：

圖2

三、模型訓練

DL4J能夠依靠Spark來實現數據並行，以並行方式訓練模型，對這些模型產生的參數進行迭代式平均化，得到一個中央模型。首先創建一個TrainingMaster實例，指定分布式訓練的實際開展方式，然後用網絡配置和TrainingMaster對象創建SparkDl4jMultiLayer實例，最後SparkDl4jMultiLayer實例調用fit方法傳入數據進行模型訓練。

圖3

四、設置可視化界面

用戶界面可以在瀏覽器中對網絡狀態以及定型參數進行可視化。該用戶界面通常用於調試神經網絡，亦即通過選擇合適的超參數來提高網絡性能。在配合Spark使用時可以分兩個步驟，首先收集並保存相關統計數據，隨後再進行可視化：

圖4

之後可以用如下代碼加載並顯示已保存的信息：

圖5

五、模型評估

模型訓練完成後通常需要用一定數量的測試集來測試模型效果，這裡可以直接調用doEvaluation方法對測試數據集進行模型測試，調用evaluation.stats()可以輸出測試信息。

圖6

輸出結果：

圖7

輸出結果信息說明：

Accuracy(準確率):模型準確識別出的數量佔總數的百份比；

Precision(精確率):真正例的數量除以真正例與假正例的數之和；

Recall(召回率):真正例的數量除以真正例與假負例數之和；

F1 Score(F1值):精確率和召回率的加權平均值。

六、模型保存與加載

模型訓練完成後需要將模型保存以供模型加載部署。ModelSerializer是用於加載和保存模型的類。

圖8

以上步驟完整的完成了一個基於DL4J深度學習的建模方式，我們可將代碼打包提交到Spark集群運行。該模型可以在分布式環境中利用GPU實現高效運算，提升模型訓練效率。