作者 | beyond_LH
責編 | 胡雪蕊
出品 | CSDN博客
對於「XOR」大家應該都不陌生，我們在各種課程中都會遇到，它是一個數學邏輯運算符號，在計算機中表示為「XOR」，在數學中表示為「」，學名為「異或」，其來源細節就不詳細表明了，說白了就是兩個a、b兩個值做異或運算，若a=b則結果為0，反之為1，即「相同為0，不同為1」。在計算機早期發展中，邏輯運算廣泛應用於電子管中，這一點如果大家學習過微機原理應該會比較熟悉，那麼在神經網絡中如何實現它呢，早先我們使用的是感知機，可理解為單層神經網絡，只有輸入層和輸出層（在吳恩達老師的系列教程中曾提到過這一點，關於神經網絡的層數，至今仍有異議，就是說神經網絡的層數到底包不包括輸入層，現今多數認定是不包括的，我們常說的N層神經網絡指的是隱藏層+輸出層），但是感知機是無法實現XOR運算的，簡單來說就是XOR是線性不可分的，由於感知機是有輸入輸出層，無法線性劃分XOR區域，於是後來就有了使用多層神經網絡來解決這一問題的想法～～關於多層神經網絡實現XOR運算可大致這麼理解：
兩個輸入均有兩個取值0和1，那麼組合起來就有四種可能，即[0，0]、[0，1]、[1，0]、[1，1]，這樣就可以通過中間的隱藏層進行異或運算了～咱們直接步入正題吧，對於此次試驗我們只需要一個隱藏層即可，關於神經網絡 的基礎知識建議大家去看一下吳恩達大佬的課程，真的很棒，百看不厭，真正的大佬是在認定學生是絕對小白的前提下去講解的，所以一般人都能聽懂～～接下來的圖純手工操作，可能不是那麼準確，但中心思想是沒有問題的，我們開始吧：上圖是最基本的神經網絡示意圖，有兩個輸入x1、x2，一個隱藏層，只有一個神經元，然後有個輸出層，這就是最典型的「輸入層+隱藏層+輸出層」的架構，對於本題目，我們的輸入和輸出以及整體架構如下圖所示：
輸入量為一個矩陣，0和0異或結果為0，0和1異或結果為1，依次類推，對應我們的目標值為[0，1，1，0],最後之所以用約等號是因為我們的預測值與目標值之間會有一定的偏差，如果訓練的好那麼這二者之間是無限接近的。我們直接上全部代碼吧，就不分步進行了，以為這個實驗本身難度較低，且代碼注釋很清楚，每一步都很明確，如果大家有什麼不理解的可以留言給我，看到必回： 1
2
3
4import numpy as np
5import tensorflow as tf
6
7
8X=np.array([[0,0],[0,1],[1,0],[1,1]])
9Y=np.array([[0],[1],[1],[0]])
10
11
12x=tf.placeholder(tf.float32,[None,2])
13y=tf.placeholder(tf.float32,[None,1])
14
15
16w1=tf.Variable(tf.random_normal([2,2]))
17w2=tf.Variable(tf.random_normal([2,1]))
18
19
20b1=tf.Variable([0.1,0.1])
21b2=tf.Variable([0.1])
22
23
24a=tf.nn.relu(tf.matmul(x,w1)+b1)
25
26
27out=tf.matmul(a,w2)+b2
28
29
30loss=tf.reduce_mean(tf.square(out-y))
31
32
33train=tf.train.AdamOptimizer(0.01).minimize(loss)
34
35
36with tf.Session() as session:
37 session.run(tf.global_variables_initializer())
38 for i in range(1001):
39 session.run(train,feed_dict={x:X,y:Y})
40 loss_final=session.run(loss,feed_dict={x:X,y:Y})
41 if i%100==0:
42 print("step:%d loss:%2f" % (i,loss_final))
43 print("X: %r" % X)
44 print("pred_out: %r" % session.run(out,feed_dict={x:X}))
對照第三張圖片理解代碼更加直觀，我們的隱藏層神經元功能就是將輸入值和相應權重做矩陣乘法，然後加上偏移量，最後使用激活函數進行非線性轉換;而輸出層沒有用到激活函數，因為本次我們不是進行分類或者其他操作，一般情況下隱藏層使用激活函數Relu，輸出層若是分類則用sigmode，當然你也可以不用，本次實驗只是單純地做異或運算，那輸出層就不勞駕激活函數了～
這裡的x和w一般寫成矩陣形式，因為大多數都是多個輸入，而矩陣的乘積要滿足一定的條件，這一點屬於線代中最基礎的部分，大家可以稍微了解一下，這裡對設定權重的形狀還是很重要的；這是我們在學習率為0.1，迭代1001次的條件下得到的結果沒有改進，這就說明不是迭代次數的問題，我們還是保持2001的迭代數，將學習率改為0.01，看效果：
完美～～～最後損失降為0了～～一般來說，神經網絡中的超參中最重要的就是學習率了，如果損失一直降不下來，我們首先要想到修改學習率，其他的超參次之……大家可以觀察一下我們的預測值，四項分別對應[0,1,1,0],已經是相當接近了……原文：https://blog.csdn.net/beyond9305/article/details/98209549聲明：本文為 CSDN 博客精選文章，版權歸作者所有。☞華為方舟編譯器開源，我命由我不由天！
☞如何將 MySQL 去重操作優化到極致？| CSDN 博文精選
☞吊打 IE、Firefox，谷歌 Chrome 十年封神記
☞沃爾瑪也要發幣了，Libra忙活半天為他人做了嫁衣？
☞華為高通5G華山論劍，一文看懂5G晶片背後的明爭暗鬥
☞做實驗、修電腦、命題相親……IT 大佬教你七夕如何撩妹！
☞自然語言處理十問！獨家福利
☞七夕大禮包：26個AI學習資源送給你！
☞痛！為什麼說李彥宏無法拯救百度？
點擊閱讀原文，輸入關鍵詞，即可搜索您想要的 CSDN 文章。