基於深度神經網絡的脫硫系統預測模型及應用

2020-11-25 北極星環保網

北極星大氣網訊:摘要

本文建立了一個隱含層包含一個長短期記憶層(Long-short Term Memory, LSTM)、兩個線性整流函數層(Rectified Linear Unit, ReLU)、兩個全連接層(Fully Connected Layer)和輸入、輸出層組成的深度神經網絡用於脫硫系統主要指標預測。該模型對輸入參數採用了指數滑動平均、合併最小分析周期等數據預處理技術進行降噪,在網絡訓練過程中採用 out技術防止過擬合。仿真結果對比現場數據表明,模型對漿液 pH 值、出口 SO2濃度和脫硫率均體現出良好的預測能力。本文還結合某 2×350MW 燃煤電廠提供的實際工數據,以石灰石供漿密度對系統脫硫性能的影響為例,詳細介紹了利用所建立的深度神經網絡模型測試溼法脫硫系統各參數指標對脫硫效果的影響,並結合化學機理和工業實際進行的診斷過程。

關鍵詞:燃煤電廠;脫硫系統;計算機模擬;深度學習;神經網絡;預測;模型應用;智慧環保;

當前,國家正加快推進以 5G、人工智慧、工業網際網路、物聯網為代表的新型基礎設施建設(新基建),電力行業的智能化建設也蓬勃發展。國內大型火力發電廠很早就實現了廠級 DCS 數據監控,歷史運行數據豐富,為實現數據驅動的神經網絡建模提供了有利條件。由於脫硫系統受各種複雜工況的影響,且具有大慣性、非線性等特點,化學機理建模只能較粗略地對脫硫系統重要指標進行預測。當前化學機理建模的手段主要是通過傳質理論、化學動力學建立系列微分方程求解,或通過離子平衡規律、電中性原理建立守恆方程求解。化學機理建模的優勢在於可以計算和判斷各主要化學物質的濃度和存在形式,並可以對物質的空間分布進行分析。但是,化學機理建模也面臨因計算代價大從而過度簡化、無法考慮複雜工況等問題,導致預測效果較差,模型遷移能力不強。

隨著人工智慧技術的高速發展,神經網絡技術逐漸被應用於對脫硫系統進行建模預測。早期技術主要是基於簡單的反向傳播(Back Propagation, BP)設計神經網絡,但因 BP 網絡結構簡單,存在一些問題。蘇向鵬等採用了基於徑向基函數(Radical Basis Function,RBF)的改進模型,改善了 BP 網絡易陷入局部最小值的缺陷;李軍紅等利用的廣義回歸神經網絡(Generalized Regression Neural Network,GRNN)是基於 RBF 網絡改進的神經網絡模型,針對樣本較少的情況,預測效果有所改善。但上述改進仍未考慮脫硫系統大慣性的特點,FU J 等使的用 LSTM 網絡,就能實現信息在時序上傳遞。不過因其設計的網絡只使用了 LSTM 一種結構,神經網絡在結構設計上還有改進空間。基於上述分析,本文採用多種網絡結構和數據處理技術設計深度神經網絡模型,模型預測誤差水平和訓練代價顯著下降。

1 神經網絡輸入數據預處理

1.1 輸入數據降噪預處理

本文採用華北某 2×350MW 電廠 2019 年 7 月 1 日到 27 日按分鐘記錄的脫硫環保數據集(共計 40000條)進行網絡參數訓練,模型選取的 14 個分析指標和 DCS 監測值基本變動範圍如表 1 所示:

表 1 神經網絡的輸入指標和其波動範圍

本文對 DCS 提供的原始數據採用指數滑動平均技術(Exponential Moving Average, EMA)進行降噪。因為電廠監測系統測量值易受溫度、溼度等影響而漂移,EMA 可以使得數據輸入更重視變化趨勢而不是瞬時振蕩,對神經網絡模型訓練過程、防止過擬合有積極作用。

式中:vt為 t 時刻指數滑動平均值,rt 原始值。β 為遞減係數,l 為窗口長度 (min)。

為更好地平衡降噪和趨勢保留,對不同變量,本文採用不同的 l 值,使得測量噪聲得以消去,而變化趨勢得以保留。圖 1 中,展示了入口煙氣流量、SO2含量經過滑動平均的分析結果(l 分別取 7 和 5)和監測值的對比。對其他變量,模型採用的 l 值基本在 5~15 之間。

圖 1 數據 EMA 降噪結果展示

1.2 最小分析時間周期劃分

目前基於神經網絡的脫硫系統相關預測模型,大都是基於前 1min 的 DCS 監測值預測後 1min 的監測值。這樣模型的預測誤差雖然較小,但由於控制系統的響應很難達到如此小的時間精度,實際應用中仍需要對一個段時間段(一般為控制系統最小響應時間)取平均,再帶入網絡計算,而由於網絡是針對 1min設計和訓練的,就容易造成較大誤差。所以,本文在建模初始就進行了最小分析時間周期的劃分,在數據預處理、網絡架構上都適當考慮了適應較長預測時間的需求,只需要對模型參數調整即可改變最小預測周期。

圖 2 展示了本文所建立模型的預測誤差隨最小分析周期變動的箱線圖。箱體下端為 25%分位數的位置,箱體上端為 75%分位數的位置,這表明箱體包含了 50%誤差值分布。除了箱體的上下邊緣外,箱線圖還展示了幾個偏離程度較大的異常點。

圖 2 最小分析周期變化對模型性能的影響

顯然,最小分析周期增大,誤差邊緣範圍擴大、異常點增多,這是做長時段預測必然面對的情況,電廠可以根據容忍的誤差限和最短工況反應時間選定網絡參數。本文模型採用最小分析周期為 3min,且預測效果達到預期後選擇儘可能簡單的深度神經網絡結構加速運算過程。當前情況下,模型的訓練時長為 1 分17 秒,計算輸出結果僅需數秒,小於最小分析周期,可以滿足工業實際需求。

為了體現輸入工況的時滯性並減少異常值輸入對模型影響,模型在處理輸入時還採用了加權周期處理,周期設置一般取 3~5 個最小分析單元。之後的預測結果表明,此做法增加了模型的魯棒性,模型對異常輸入的響應不敏感。圖 3 展示了本文所建立模型的數據預處理過程。

圖 3 模型數據預處理過程

2 神經網絡結構及訓練方法

2.1 神經網絡模型結構

本文所建立的深度神經網絡模型結構如圖 4 所示,除了常規的輸入層、輸出層和全連接層外,還引入了 LSTM 層、ReLU 層和 out 模塊,增強了網絡的預測能力和泛化性能。

圖 4 深度神經網絡的設計結構

在神經網絡結構中,循環神經網絡(Recurrent Neural Network,RNN)一般用於解決時序問題。但 RNN在訓練過程中容易發生「梯度消失」現象。LSTM 本質也是一種 RNN,但由於其巧妙設計了門限結構,可將之前的工況影響選擇性地記憶或遺忘,並能解決 RNN 的「梯度消失」問題。近年,LSTM 已在電廠 NOx排放量預測和電力市場及負荷預測被中應用。本文模型使用的 LSTM 層的基本運算流程如圖 5 所示,模型中架設設 1 個 LSTM 層,含如圖示節點神經元 128 個,梯度閾值設置為 1,並採用 L2 正則化方法,正則化係數為 0.0001。

圖 5 LSTM 網絡結構的運算流程

模型在 LSTM 層和全連接層後都架設了 ReLU 層。相較於 LSTM 層、全連接層使用的 sigmoid 或 tanh激活函數,使用 ReLU 激活函數計算神經元響應,計算複雜度顯著下降。另對深度神經網絡而言,ReLU激活函數可顯著降低因 sigmoid 激活函數接近飽和區時導數趨於 0 帶來的梯度消失現象。此外,在輸入小於 0 時,ReLU 層的輸出也為 0,減少了網絡間相互依賴過程,對防止模型過擬合有積極作用。

2.2 模型訓練過程

網絡參數訓練採用自適應矩估計(Adaptive moment estimation, ADAM)方法控制梯度下降過程。設置初始學習速率 0.013,最小學習批次為 256,為防止梯度爆炸,設置梯度閾值為 1。模型最大訓練輪數為 60輪,每 20 輪後,學習速率降低到原先的 0.6。在模型訓練過程中,採用 out 技術防止模型過擬合,該技術由人工智慧領域著名學者 Hinton 在 2014受自然選擇和有性生殖過程啟發而提出。如圖 6,out 技術在深度神經網絡的訓練過程中,按照一定的概率將部分神經網絡單元暫時隱藏,此時相當於從原始的網絡中選取一個更簡潔的網絡進行訓練。在本文提出的深度神經網絡模型訓練中,在第二個 ReLU 層後使用了一個 out 模塊,丟棄率取 0.2。

圖 6 Hinton 在論文中展示的 out 示意圖

3 模型的輸出結果分析

根據第 2 章中神經網絡結構和計算方法,模型輸出值為下個最小分析周期的 pH 和出口 SO2濃度。但在電廠實際運行中,脫硫率是運行人員判斷吸收塔實時脫硫能力、對控制策略做出調整的重要參考指標。目前主流的脫硫系統神經網絡模型也大都以脫硫率預測結果來評價模型的性能。故本模型將預測的出口SO2濃度轉化,增加脫硫率指標,一則貼近現場需求,二則方便與其他模型預測性能進行比較。脫硫效率計算公式如下:

3.1 關於脫硫率和 pH 值的預測結果分析

圖 7,圖 8 展示了訓練後神經網絡模型在測試集上的預測結果與實際值對比。測試數據集採用華北某2×350MW 電廠 2019 年 7 月 28 日到 30 日中按分鐘記錄的一段 DCS 監控數據(共 4000 條)。從圖中展示的系統出口 SO2含量、脫硫率的 DCS 降噪處理後的實際值(藍線)和神經網絡預測輸出結果(紅線)的對比可以看出,預測出口 SO2含量和脫硫率變化趨勢和實際值對應,模型預測效果良好。

圖 7 出口 SO2濃度降噪後實際值和預測值的對比

圖 8 出口脫硫率降噪後實際值和預測值的對比分析

此外,圖 9 展示了 DCS 降噪前的實際監測值(藍線)和降噪後的實際值(綠線)以及神經網絡的預測值(紅線)在測試集 2400 min 到 4000 min 的一段局部對比。圖中 3100~3200 min、3400~3500 min 及 3700 min~3900 min 內,DCS 監測值振蕩嚴重,而神經網絡預測值平滑變動。可以看出,神經網絡的預測結果能跟隨出口 SO2含量的變化趨勢,但不會跟隨監測噪聲振蕩,表明模型的預處理手段和係數選取合適。

圖 9 出口 SO2濃度降噪後實際值和預測值的對比(局部放大)

DCS 對 pH 監測時,也會發生同樣的隨機波動誤差,但除此之外,由於 pH 計管每隔 2h 衝洗一次,會導致測定點 p H 值瞬間升高,所以此時 DCS 測量的 pH 值數據不能很好地反應吸收塔漿液真實情況。不過,由於本文的數據預處理技術,神經網絡模型對此刻的突變並不敏感。這表明在 DCS 監測值因某種原因失真的情況下,模型預測值可以實現一定程度上的「軟測量」功能,輔助運行人員決策。圖 10 就展示了這種情形,圖中藍線為 DCS 實時反應的 pH 值,綠線為預處理降噪後的 p H 值,紅線為神經網絡的預測輸出結果。

圖 10 漿液 pH 實際值和預測值的對比分析

3.2 關於脫硫率和 pH 值的預測結果指標評價

由前文 3.1 節所討論的,為降低 DCS 監測數據中振蕩噪聲帶來的影響,在模型評價中使用經過降噪處理,並以 3min 為最小分析周期取平均值合併的實際值作為真實值標準評價模型的預測誤差。本節採用了 3個指標:均方根誤差(Root Mean Square Error, RMSE)用於反映泛化誤差水平,平均百分誤差(Mean Absolute Percentage Error, MAPE)用於直觀體現預測值的偏差水平,誤差值的方差用於直觀反應模型的泛化能力,上述指標計算公式如下:

表 2 集中展示了漿液 pH 值、出口 SO2濃度和系統脫硫率的預測結果主要評價分析指標 RMSE、MAPE和誤差的方差。結果表明,模型預測能力很強,預測誤差很小。

表 2 神經網絡輸出指標和其波動範圍

圖 11(a)、(b)為模型預測 p H 和脫硫率的誤差頻次分布圖,可以看出,預測結果的誤差分布接近均值為0 的正態分布,說明模型的預測效果較好。

圖 11 預測 pH 和脫硫率誤差的頻次分布直方圖

3.3 本模型與其他主流神經網絡預測性能對比

神經網絡的結構種類有很多,為驗證本文使用深度神經網絡模型預測脫硫率和 p H 具有良好效果,本節採用目前主要流行的深度 BP 神經網絡、LSTM 神經網絡模型與本文提出的人工深度神經網絡的預測效果進行對比。對比指標選擇漿液 pH 值和系統脫硫率,最小分析時間周期均取 5min,對比的參數是 RMSE和 MAPE。對不同的模型,輸入參數採用同樣的數據處理和降噪手段。

本文對比採用的深度 BP 神經參照文獻設計,為提高網絡性能,BP 隱含層數量增至 10 層,LSTM神經網絡參照 FU J 等文獻模型的參數和架構設計,因 FU J 在文獻中已經對比 LSTM 神經網絡相對 RNN網絡的優勢,本文不再設計 RNN 對比。

圖 12 不同網絡預測 pH 和脫硫率誤差主要指標對比

如圖 12,本文提出的深度神經網絡模型對於 pH 的預測值 RMSE=0.0947,優於深度 BP 的 0.116、僅使用 LSTM 層模型的 0.1095;脫硫率方面,本文模型脫硫率預測值的 RMSR=0.1066,而深度 BP 的預測值RMSE=0.2781,幾乎是本文深度神經網絡模型預測泛化誤差的兩倍,而僅使用 LSTM 的預測值RMSE=0.2351(FU J 等文獻中所求 RMSE=0.2909,可能因其數據未經本文預處理手段,噪聲較大降低模型性能),僅僅略優於深度 BP 的預測效果。上述結果說明,本文提出的深度神經網絡模型在 5min 尺度上的預測結果要明顯優於主流的 BP 和僅使用 LSTM 神經網絡。

4 模型應用案例

4.1 模型對石灰石供漿密度對出口 SO2和脫硫率影響仿真

脫硫系統出於自身安全性的考慮,往往不能進行大範圍、多狀態試驗,導致探究脫硫系統內各變化因素對系統的影響一般通過建立中試平臺實驗完成,但這種做法往往存在較大的誤差,不能很好反應脫硫系統真實情況。本文神經網絡模型建立完成後,事實上提供了一種基於計算機仿真的工況診斷與優化分析方法,並且因模型在訓練時使用的是特定電廠的數據,相對於一般的中小試實驗更有針對性。本節案例選取石灰石供漿密度對系統脫硫性能的影響,測試值位點選擇為系統各工況參數均值附近最大概率分布區間內的中位數值。測試範圍為監測情況下該工況參數變動範圍的 95%,測試因素變化時,其他工況參數條件不變。圖 13 為本文深度神經網絡的仿真結果。圖中可見,石灰石供漿密度在達到 1260kg/m3左右時,對系統脫硫率的貢獻就非常有限,而增大到 1270 kg/m3 以上時,過高的石灰石漿液密度甚至抑制了塔內反應,導致脫硫率下降,出口 SO2濃度上升。

圖 13 吸收塔石灰石漿液密度對出口脫硫率和 SO2濃度的影響

從化學傳質和反應的角度可以解釋上述模型的仿真結果:一般情況下,石灰石漿液密度升高,脫硫率增大,是因密度較低時,CaCO3含量不足,化學反應不充分導致脫硫率低,同時 CaSO4密度小,也使石膏晶體不易生成長大。但是當漿液密度過大時,漿液中 CaCO3的濃度趨於飽和,增加的石灰石溶解並不充分,不能進一步提升脫硫率,並且因為生成的 CaSO4溶解度小,過飽和的 CaSO4可能覆蓋在碳酸鈣表面,阻滯反應。此外,由於吸收塔漿液密度和石灰石漿液密度具有關聯性,長期輸入過高密度的石灰石漿液可能間接提升吸收塔漿液密度,觸發石膏排出泵工作,導致未反應的 CaCO3也一併排出,造成脫硫劑浪費,並降低石膏品質。

4.2 結合仿真結果對電廠實際工況的分析

圖 14 為該廠脫硫系統 2019 年 7 月 1 日到 31 日(共 44640 條)按 min 記錄的吸收塔石灰石漿液密度頻次分布圖。發現監測的 2019 年 7 月工況下,超過 1260 kg/m3的時間段佔比為 6.45%,其中超過 1270 kg/m3的時間段佔比為 1.91%。該厂部分時間段存在石灰石供漿密度過大而對脫硫反應不利的情況。電廠應儘量減少供漿密度超過這一限值的情況。

圖 14 監測時段吸收塔石灰石漿液密度頻次分布圖

由於神經網絡模型屬於端對端模型,對於輸入和輸出之間容易測試影響,而對於其他中間過程則屬於「黑箱」,故本團隊同時也設計了基於化學機理的過程模型進行補充探討中間過程、使得診斷過程更加全面。通過該機理模型推理反應線索,認為過高的石灰石供漿漿液密度除了影響吸收塔內的化學反應,還會導致吸收塔漿液密度過高、結垢傾向大。結合工程經驗,還可能導致漿液循環泵葉輪磨損,在吸收塔壁、吸收塔底部和循環泵入口濾網結垢。綜上,應對電廠脫硫系統相關位置做結垢分析。

圖 15 吸收塔壁垢樣、健康石膏和循環泵濾網入口垢樣的 SEM 圖

圖 15 是 2020 年 3 月該電廠脫硫系統垢樣分析報告中,對電廠吸收塔塔壁、吸收塔底部和循環泵入口濾網垢樣的 SEM 圖。觀察到吸收塔壁垢樣(圖 15(a))顆粒直徑主要在 20μm 以上,晶體生長痕跡明顯,且以片狀形式堆疊生長,結構緊湊、晶體間空隙較小,表面附著直徑 2-3μm 左右雜質顆粒。與健康生長石膏(圖 15(b))相比,晶體結構存在差異:健康生長石膏多為六稜柱結構、晶體間有明顯空隙、表面無細小雜質,推測差異的原因是漿液中 CaSO4過飽和,結晶在吸收塔塔壁可以生長的物質表面。此外,吸收塔底部與循環泵入口濾網結垢樣品晶體(圖 15(c))整體偏小,一般在 5-10μm 左右,且存在較多細碎顆粒。結合 XRD 結果,結垢樣品主要存在物質為 CaSO4·2H2O。綜上所述,可以判斷該厂部分時段吸收塔漿液密度過大,CaSO4過飽和,在吸收塔壁、吸收塔底部和循環泵入口結垢。

綜上,本節先通過神經網絡的仿真結果,得到了該電廠石灰石漿液密度過高、影響脫硫系統主要化學反應的參考邊界,再經對該廠 7 月工況下石灰石漿液密度的分布情況分析,判斷有 6.45%的時間段該廠石灰石漿液密度偏離了最適範圍。隨後通過化學機理模型,判斷吸收塔內存在結垢風險,之後進行 SEM、XRD 等化學分析也印證了這一結論。該診斷過程體現了基於數據建模、機理建模與實驗分析相互協調補充的脫硫系統智慧環保體系基本工作流程。

5 結論

本文設計了一種基於 LSTM 層、ReLU 層和全連接層按單元組合的深度神經網絡模型,能夠實現對脫硫塔出口 SO2濃度、漿液 pH 值和脫硫率進行預測。由於考慮了脫硫系統重要指標在時序上的慣性以及採用了合適的網絡架構和數據處理技術,模型對系統 pH 值、SO2排放量和脫硫率有很好的預測效果,可實現對未來數分鐘的 SO2排放濃度趨勢預判,為運行人員提前優化運行,保證 SO2的排放處於合理範圍內,降低其波動性創造了空間。

另一方面,由於模型預測結果對監測噪聲和異常突變並不敏感,在因某些情況下 DCS 監測數據失真時,模型的預測結果能起到一定的「軟測量」補充作用。

該模型還可以用於對脫硫系統進行計算機仿真實驗,探究各個重要參數變化對脫硫系統脫硫率、出口SO2濃度或 p H 的影響,與化學機理分析相配合,對脫硫系統進行工況診斷和運行優化。


北極星環保網聲明:此資訊系轉載自北極星環保網合作媒體或網際網路其它網站,北極星環保網登載此文出於傳遞更多信息之目的,並不意味著贊同其觀點或證實其描述。文章內容僅供參考。

相關焦點

  • 深度學習預測比特幣價格;基於神經網絡的自動化前端開發 | Github...
    該項目用深度學習的方法預測比特幣的走勢,Siraj Raval 小哥也在視頻裡說了,這套模型還可以用來預測任何 Altcoin。看來現在的礦工們都應該學點機器學習了。基於神經網絡的自動化前端開發 —— Screenshot-to-code-in-KerasGithub 地址:https://github.com/emilwallner/Screenshot-to-code-in-Keras目前,自動化前端開發最大的障礙是計算能力,不過,我們可以用深度學習算法和數據訓練來探索自動化前端設計。
  • 一種基於能量模型的神經網絡架構受限玻爾茲曼機
    一種基於能量模型的神經網絡架構受限玻爾茲曼機 李倩 發表於 2018-07-26 10:09:24 受限玻爾茲曼機是一種基於能量模型的神經網絡架構,雖然不像通常的卷積神經網絡一樣被人熟知
  • 深度神經決策樹:深度神經網絡和樹模型結合的新模型
    深度神經決策樹:深度神經網絡和樹模型結合的新模型 工程師郭婷 發表於 2018-08-19 09:14:44 近日,來自愛丁堡大學的研究人員提出了一種結合深度神經網絡和樹模型的新型模型
  • 基於神經網絡算法 羊毛_基於pso算法和bp算法訓練神經網絡 - CSDN
    圖神經網絡是用於圖結構數據的深度學習架構,將端到端學習與歸納推理相結合,業界普遍認為其有望解決深度學習無法處理的因果推理、可解釋性等一系列瓶頸問題,是未來 3 到 5 年的重點方向。2019 年圖神經網絡有哪些研究成果值得關注?2020 年它又將朝什麼方向發展?讓我們一起來一探究竟。
  • 機器學習算法盤點:人工神經網絡、深度學習
    在建立預測模型的時候,監督式學習建立一個學習過程,將預測結果與「訓練數據」的實際結果進行比較,不斷的調整預測模型,直到模型的預測結果達到一個預期的準確率。監督式學習的常見應用場景如分類問題和回歸問題。   在這種學習模式下,輸入數據作為對模型的反饋,不像監督模型那樣,輸入數據僅僅是作為一個檢查模型對錯的方式,在強化學習下,輸入數據直接反饋到模型,模型必須對此立刻作出調整。常見的應用場景包括動態系統以及機器人控制等。
  • 機器學習算法匯總:人工神經網絡、深度學習及其它
    在建立預測模型的時候,監督式學習建立一個學習過程,將預測結果與「訓練數據」的實際結果進行比較,不斷的調整預測模型,直到模型的預測結果達到一個預期的準確率。監督式學習的常見應用場景如分類問題和回歸問題。常見的應用場景包括動態系統以及機器人控制等。常見算法包括Q-Learning以及時間差學習(Temporal difference learning)在企業數據應用的場景下, 人們最常用的可能就是監督式學習和非監督式學習的模型。 在圖像識別等領域,由於存在大量的非標識的數據和少量的可標識數據, 目前半監督式學習是一個很熱的話題。
  • 近年來深度神經網絡模型不斷迎來重大突破
    近年來深度神經網絡模型不斷迎來重大突破,由深度學習為代表的機器學習相關研究取得了長足進步。但對機器學習研究普及者和研究機構來說,由於對機器學習原理、應用實踐以及技術應用多方面的缺乏概念理解,這些機器學習技術發展存在顯著的「彎路」。
  • 基於憶阻器的神經網絡應用研究
    在神經形態計算的研究領域,類神經網絡與新型神經形態硬體是兩大基礎研究,在此研究基礎上,結合對生物大腦機制的愈加深入了解,最終實現人工智慧。 在類神經網絡方面,以深度學習為基礎的神經網絡研究已經普遍存在於人工智慧領域。神經網絡,即以數學模型來模擬人腦神經元及突觸的結構,並結合多層次傳導來模擬神經元的互聯結構,現如今已大量應用於人工智慧。
  • 神經網絡模型預測值 論文_bp神經網絡預測模型建模步驟 - CSDN
    在深度學習十分火熱的今天,不時會湧現出各種新型的人工神經網絡,想要實時了解這些新型神經網絡的架構還真是不容易。光是知道各式各樣的神經網絡模型縮寫(如:DCIGN、BiLSTM、DCGAN……還有哪些?),就已經讓人招架不住了。因此,這裡整理出一份清單來梳理所有這些架構。
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    >深度神經網絡(Deep Neural Network,DNN)作為當前人工智慧應用的首選模型,在圖像識別,語音識別,自然語言處理,計算生物,金融大數據等領域成效顯著。但深度神經網絡又被稱為「黑盒」模型,多層隱藏結構,數據 / 特徵矢量化,海量決策關鍵元等因素讓模型使用者犯難:模型決策的依據是什麼?應該相信模型麼?特別是對於金融,醫藥,生物等關鍵型任務,深度學習模型的弱解釋性成為人工智慧項目落地的最大障礙。
  • 基於憶阻器的神經網絡應用研究
    在神經形態計算的研究領域,類神經網絡與新型神經形態硬體是兩大基礎研究,在此研究基礎上,結合對生物大腦機制的愈加深入了解,最終實現人工智慧。在類神經網絡方面,以深度學習為基礎的神經網絡研究已經普遍存在於人工智慧領域。神經網絡,即以數學模型來模擬人腦神經元及突觸的結構,並結合多層次傳導來模擬神經元的互聯結構,現如今已大量應用於人工智慧。
  • 深度學習之卷積神經網絡經典模型
    LeNet-5模型在CNN的應用中,文字識別系統所用的LeNet-5模型是非常經典的模型。LeNet-5模型是1998年,Yann LeCun教授提出的,它是第一個成功大規模應用在手寫數字識別問題的卷積神經網絡,在MNIST數據集中的正確率可以高達99.2%。
  • 神經網絡算法在我國核領域中的應用綜述
    從 1956 年在達特蒙斯學院(Dartmouth)暑期論壇上首次提出[1],已經經過了 60 多年的發展和積澱,近十幾年來,隨著網際網路、雲計算、大數據、超級計算等新技術的發展,推動了 以基於深度學習的神經網絡(簡稱深度學習)為代表的人工智慧技術飛速發展,廣泛應用於圖像分類、語音 識別、知識問答、人機對弈、無人駕駛等領域,迎來爆發式增長的新高潮,正引發可產生鏈式反應的科 學突破,加速新一輪的科技革命和產業變革
  • 人工智慧瓶頸之神經網絡的可解釋探討
    近年來,隨著深度學習,即深度神經網絡的迅速發展,神經網絡模型在自然語言處理、語音識別、計算機視覺等眾多領域獲得突破性進展,取得了令人矚目的成果。然而隨著深度學習技術在多個領域的大量應用,其背後隱藏的安全問題也隨之而來。特別是在醫學診斷、網絡安全、自動駕駛等對安全性有較高要求的領域,深度神經網絡所隱藏的安全風險限制了其自身在更多領域的應用和推廣,引起了政府、學術界及工業界的關注。
  • 神經網絡與人工智慧應用
    發展個性化定製服務平臺,提高對用戶需求特徵的深度學習和分析能力,優化產品的模塊化設計能力和個性化組合方式。搭建基於標準化信息採集的控制與自動診斷系統,加快對故障預測模型和用戶使用習慣信息模型的訓練和優化,提升對產品、核心配件的生命周期分析能力。
  • 百度NLP | 神經網絡模型壓縮技術
    作者:百度NLP引言近年來,我們在神經網絡模型與 NLP 任務融合方面深耕,在句法分析、語義相似度計算、聊天生成等各類方向上,均取得顯著的進展。在搜尋引擎上,語義相似度特徵也成為了相關性排序系統最為重要的特徵之一。
  • 深度學習時代的圖模型,清華發文綜述圖網絡
    他們將現有方法分為三個大類:半監督方法,包括圖神經網絡和圖卷積網絡;無監督方法,包括圖自編碼器;近期新的研究方法,包括圖循環神經網絡和圖強化學習。然後按照這些方法的發展史對它們進行系統概述。該研究還分析了這些方法的區別,以及如何合成不同的架構。最後,該研究簡單列舉了這些方法的應用範圍,並討論了潛在方向。
  • 深度卷積神經網絡CNNs的多GPU並行框架 及其在圖像識別的應用
    1.CNNs模型並行導論1.1.典型應用分析:圖像識別 圖像識別是深度卷積神經網絡獲得成功的一個典型應用範例。 圖1揭示了一個具有5個卷積層和3個全連接層的深度卷積神經網絡,該模型可應用於圖像分類。
  • 用飛槳做自然語言處理:神經網絡語言模型應用實例
    比如說基於前面2個詞來預測下一個詞就是 3-gram (tri-gram) 語言模型: 細心些的話,會發現,當 n-gram 中的 n 增大,就會越接近原始語言模型概率方程。
  • Bioinformatics|用深度神經網絡結合局部和全局特徵預測蛋白質的...
    文章研究了如何利用蛋白質的局部和全局胺基酸序列來預測蛋白質的結合位點,作者用一個49維的向量(其中包括原始胺基酸、胺基酸的PSSM、胺基酸的二級結構狀態)來表示任意一個胺基酸,最後將得到的局部和全局胺基酸序列的向量表示連接起來,輸入到一個深度神經網絡做預測。1、研究背景PPI site背景:1、現存的方法主要使用局部上下文特徵來預測PPI site。