今天滴豹米花
花花帶來重磅好文
由獵豹移動威脅情報中心的專業小豹們
帶來的深度好文
將深度學習理論和自己的研究領域——
網絡欺詐聯繫起來
Rio professional
文章完全可以成為一篇相當有格調的
專業，論文……
小豹們在學習的時候
說不定會碰見自己完全搞不懂的東東
沒關係，有啥不明白
後臺花花，花花找咱獵豹的專業小豹
為您解答嘞~
正文開始☟☟
獵豹移動威脅情報中心
(Threat Intelligence Center, Cheetah Mobile Inc.)
tic@cmcm.com, http://tic.cmcm.com
0X01 欺詐廣告背景介紹
什麼是欺詐廣告？
在這部分裡，小豹首先要知曉什麼是欺詐廣告。簡單來說，欺詐廣告就是當用戶正在瀏覽頁面時使用惡劣手段欺騙用戶，讓其認為自己的電腦正在被病毒入侵，而被誘導至下載頁面「安裝」某App的一種欺騙性行為。
關於欺詐廣告的詳細介紹，也可以參考豹米花之前做過的專題哦：
大洋彼岸的IEEE：為了安全，獵豹從未放棄努力
Round 1
在這個信息變化快速的時代，人手一臺智能型手機是非常普遍的情形，其中又以 Android 手機較常見，但你是否曾經注意過你手機裡的Google Play裡已安裝的應用程式？你知道你真的安裝了什麼移動 App 應用程式嗎 ? 你如何確定你的手機是否中毒以及是否需要安裝什麼應用程式？另一方面，你所任職的公司產品營銷推廣的如何呢？你是否覺得你的廣告營銷預算其實花得並不手軟，但是理想中的流量以及產品安裝和曝光量是否卻總是沒達到目標呢？如同市場營銷大師 John Wanamaker 所說：Half the money I spend on advertising is wasted; the trouble is, I don’t know which half.
大師如是說
那麼，當你使用手機上網時，是否有曾被告知中毒，還被迫下載了你不知道你是否需要的 App？這種當你使用手機正常瀏覽網頁時，遇到以「你的手機中毒了」、「你的手機需要更新」等內容 (如圖 1)，意圖使你下載你可能根本不需要的 App，這就是所謂的欺詐廣告 (Deceptive Advertising)；這些恐嚇性內容往往伴隨著手機不斷震動、響鈴，即便重新整理網頁或是回到上一頁仍無法停止這些問題，讓你感到慌張，最後只能下載這些你當時不需要的App並讓你以為它能幫你解決了問題，卻又發現一切貌似正常，而對該 App 造成反感；廣告主大量廣告預算更因此被銷耗掉，連帶導致品牌聲譽下滑。由於欺詐廣告呈現方式日新月異，會隨著國家、時區、語言而有不同的樣貌，防不勝防。
圖1
其中，最常見的應用場景多是使用者瀏覽色情網站或是至免費空間下載軟體點擊了充滿誘惑性的廣告而出現偽裝「系統中毒」的這種「廣告手法」警示廣告頁面，接著再進一步跳轉至Google Play；但是其實手機根本沒有中毒！這種災害正快速的遍布全球，佔了所有廣告的 21% (如圖 2)。
圖2
這種情況追根究底是因為部分網絡廣告聯盟為了消耗其廣告、點擊率或者安裝率等流量，而想出的惡質廣告手法，除了增加使用者的困擾，更是浪費廣告主的大量廣告預算，還造成使用者對於該品牌聲譽有不良的觀感。另外，因為目前常見的偽裝恐嚇場景，主要的受害廠商為工具類或者防毒軟體類App；根據統計，目前受此廣告手法影響最大的國家和地區分別是美國、巴西、德國和臺灣；而受害最深的 App 則是 360 Security、UC Browser、SuperB Cleaner 等 (如圖 3)。
圖3
0X02 深度學習簡介
本文理論基礎：深度學習
好啦，對欺詐廣告有了簡單的認知之後，本文的理論基礎就來了：Deep Learning，深度學習！相信在上周周例會之後，通過傅老闆的深入淺出的講解，已經對深度學習這個概念有了一定的認識，簡而言之，深度學習就是運用算法的革新，來替代人工式的特徵提取過程。這就要求咱們重視運算能力和對數據的運用。
而獵豹移動威脅情報中心卻首開先例運用深度學習，來對抗這會因時區、語系等不同而造成遠比過去釣魚網站生命周期短的欺詐廣告威脅。
CNN是深度學習的研究熱點
卷積類神經網絡（簡稱CNN）是人工神經網絡的一種，在語音分析和圖像分析中是熱點研究。它的權值共享網絡結構使之更類似於生物神經網絡，降低了網絡模型的複雜度，使圖像可以直接作為網絡的輸入，避免了傳統識別算法中複雜的特徵提取和數據重建過程。
CNN是一個多層神經網絡。它能將一個輸入的目標物分成C層（特徵提取層）和S層（特徵映射層），通過「感受野」和「權值共享」減少了神經網絡需要訓練的參數的個數。
用最簡單的話來說……
比如，當我們看見凱拉·奈特莉的時候，我們的神經系統為什麼不會把她認成芙蓉姐姐呢？她們不是一樣的有肉穿衣服有長發化了妝麼？我們的每個神經元都不需要對事物整體進行感受，而只需要感受局部的圖像區域——再在高層通過將不同的神經元所感受到的局部綜合起來便能得到全局信息。當我們的視野停留在她們臉上的時候，我們的每個視野點所涵蓋的區域中總有一個卷積核去卷積圖像——卷積的都是標誌性的特徵，例如奈特莉的高鼻梁和深眼窩，芙蓉姐姐的臉部扁平，而非大一統地識別為「這是兩張人臉」。這就減少了我們對相同神經元參數的重複運用——這就是權值共享。
而CNN就是模擬了人類神經元的這種認知方法的一種算法。
在獵豹移動威脅情報中心通過使用深度學習來排除欺詐廣告的過程中，他們同時還用到了文字勘探（Text Mining），和資料勘探(Data Mining)不同的是，它沒有規則結構可言——這種文字帶有濃烈的文化和時代特徵，具有衍生性，並不是常規的文字用語，例如網絡文化盛行的今天，「天了擼」、「人艱不拆」、「火星文」（冒險ㄉ人來找我ㄛ）等，這些文字正以極快的速度迭代，文字勘探的目標就是將這些可能毫無意義的文字，使用某種統計方式將其變成可用資源。
Round 2
2016年03月，Google Deep Mind 團隊研發 Alpha Go（參考備註 [1]）並且挑戰南韓知名職業圍棋棋士成功取得四勝一敗，剎那間，深度學習算法、機器學習以及人工智慧獲得大量的觀注；因此，基於其對於圖像辨識的強大效果（參考備註[2][3]），我們首開先例嘗試使用了深度學習來對抗這會因時區、語系等不同而造成遠比過去釣魚網站生命周期短的欺詐廣告威脅，並經過實驗獲得了近90% 的偵測率；以下將簡要說明深度學習、類神經網絡以及卷積類神經網絡，以及我們如何構思對抗欺詐廣告這方面的創新應用。
類神經網絡 (Neural Network) 是一種模仿人類大腦構造設計用於識別模式的算法 (如圖4)，通過機器感知解釋傳感器數據，對原始輸入進行標記或聚類，而所能識別的模式是包含在矢量中的數值形式；它的優點在於權值共享網絡結構，降低了網絡模型的複雜度，減少了權值數量 (就是把多項參數濃縮成很少參數的概念，然後再一層一層的分析) 使得影象可直接作為網絡的輸入，避免了傳統算法中複雜的特徵提取和資料重建的過程。
圖 4 (取自http://goo.gl/pIi9Yx)
卷積類神經網絡 (Convolutional Neural Network, CNN) 則是由一個或多個卷積層和頂端的全連通層組成，同時包括關聯權重和池化層 (pooling layer)。而中間的隱藏層是用來增加神經元的複雜度，以便讓它能夠模擬更複雜的函數轉換結構。此外，利用空間關係減少需要學習的參數數目，影像的一小部分作為層級結構的最底層輸入，信息再依次傳輸到不同的層，每層通過一個數字濾波器去獲得觀測資料的最顯著特徵 (如附圖5)；此外，若每個神經元都用同一個卷積核去卷積影象，參數可大量減少，不管隱層的神經元個數有多少，兩層間的連線只有少量參數，公用同個卷積核；這就是權值共享 (如圖 6)。
圖 5 (取自 http://goo.gl/4JoiOY)
圖 6 (取自http://goo.gl/zYGMd3)
文字探勘 (Text Mining) 被視為是資料探勘 (Data Mining) 的一種，關鍵差別在於資料探勘處理的資料是有結構性及有其明確的定義及值等，不同的地方在於其原始輸入資料，都是沒有特定結構的純文字，無法直接套用資料探勘的算法；但透過統計等方式可計算出依詞頻TF (Term Frequency) 次數、檔集合中出現的檔頻率DF (Document Frequency)，以及反向檔頻率IDF (Inverse Document Frequency) 等。但為了避免詞頻TF計算的頻率，發生特定詞只出現在特定檔，造成頻率都相同而無法判斷其權重，故衍生出TF-IDF (Term Frequency- Document Frequency)；藉此來過濾掉常見詞語保留重要詞語；此外，依循文字探勘的功能，可以處理關鍵字、文章的相似度確認以及處理多份文章的相似度等，可以將把每個檔做為一整串的索引 (Index Term)，每個詞都有權重，不同的索引詞根據自己在檔中的權重進而影響檔相關性的評分計算，看做一個n維矢量證明該檔中矢量集合，並轉化為索引詞及權重所組成的矢量空間模型(如圖 7)。
圖 7 (取自 http://goo.gl/QsNZRx)
深度學習 (Deep Learning) 是機器學習的一種分支，最簡單的定義，就是大量的訓練樣本配合計算能力再加上自由靈活的神經網絡結構設計；它試圖使用包含複雜結構或由多重非線性變換構成的多個處理層對資料進行高層抽象的算法；傳統機器學習系統主要使用由一個輸入層和一個輸出層組成的淺層網絡，至多在兩層之間添加一個隱藏層。三層以上（包括輸入和輸出層在內）的系統就可以稱為「深度」學習。以輸入一幅圖像來說，可以使用多種方式來表示，如每個像素強度值的矢量，或者更抽象地表示成一系列邊、特定形狀的區域等 (如圖8)。而使用某些特定的表示方法更容易從例項中學習任務 (例如，人臉識別或面部表情識別)；深度學習主要是將非監督式或半監督式的特徵學習和分層特徵提取的手工取得特徵使用算法替代。
圖 8 (取自 http://goo.gl/nfzeFz)
本系統的創新點在於目前尚未有對抗其變化快速且生命周期短的欺詐廣告較好且能有效縮減人工所需耗費的資源；因此應用目前最受關注的深度學習及卷積類神經網絡算法於網絡安全技術領域，是解決傳統機器學習依賴安全領域專家人工預先提取特徵碼黑白名單的最好方式。
0X03 系統架構
很好很好，小豹們在理解完最難的部分之後，終於和花花進階到了文章的實踐部分啦~！（給自己拍手~）不過現在我們到了一個相當重要的部分，獵豹移動威脅情報中心如何將卷積類神經網絡算法運用起來反欺詐廣告捏？花花的理解是：
1. 通過對圖像的特徵截取。說白了就是機器自己找出抽象特徵和規律：對頁面的模擬還原，通過大量數據自動提取特徵。再通過卷積類神經網絡在卷積過程中自己找出抽象規律。
2. 通過對截取的廣告頁面的文字轉化為圖形矢量，將文字轉化為圖像，再進行自動的圖像特徵識別。藉由卷積類神經網絡進行特徵的自動提取以及訓練；從而簡化特徵碼，節省人力，以識別不同語言的欺詐廣告。
Round 3
本系統主要是透過深度學習的卷積類神經網絡算法，提出一種欺詐廣告網頁的圖像及文字語意分析系統；系統構如圖9所示，首先我們搜集了大量廣告網址，並透過虛擬專屬主機 (VPS, Virtual Private Server) 來模擬還原其頁面以便更加貼近使用者所見到的場景，針對彈現廣告的網頁的圖形進行自動化截取，並取用其中小範圍進行逐層過濾，透過大量的數據來進行深度學習及其自動提取其特徵，不再需要像過去一樣透過人工先找出特徵給類神經網絡學習，逐一修正權重讓整體的錯誤率降到最低，而是透過卷積網絡結構，可以自己從數據中找出特徵，而且卷積層越多，能夠辨識的特徵就越高階越抽象；不再需要自己找出任何特徵註記，只要把大量的圖形交給卷積類神經網絡，它自己會找出其抽象定義。
此外，本系統亦搜集截取廣告頁面之文字，將其轉化為圖形矢量再藉由卷積類神經網絡進行特徵的自動提取以及訓練；藉此可完全簡化傳統特徵碼或文字及語意分析等所需耗費的大量人力，對抗因時區及語系等而快速產生不同欺詐內容廣告特別有效。
圖9
0X04 實驗結果
最簡潔的結果就是……
使用深度學習算法識別欺詐廣告，既準確可行又省時省力，還走在了創新的前沿。
下面複雜的算法，專業的小豹可以看看哦~
Round 4
有鑑於欲依循我們的方法從頭訓練其深度學習模型，需日積月累的透過GPU等運算資源及相關的欺詐廣告截圖及其文字等大量數據來訓練模型；為避免事倍功半，本文除了說明相關實驗結果及系統概念的展示外，將簡要說明如何以遷移學習 (transfer learning) 的方法使用 Google 於 2015 年底發布的 Tensorflow 以及其 Inception-V3 的模型來快速訓練適合自己的模型；同時，我們也將公開已訓練及分類完成的資料無償分享於業界夥伴及學術研究，期許共同努力對抗欺詐廣告並加強提升移動網際網路的安全。
本文是採用 CentOS 6.7 64 bit，所以需先啟用 EPEL 軟體庫，再下載安裝 docker，然後設定其網絡橋接，接著下載 Tensorflow的 Docker image，同時可考慮安裝 IRMA 以及 ElasticSearch等；另外，使用python爬蟲來自動化爬取網址並進行圖文截取做模型的訓練以及特徵的自動提取。
以下說明快速建置系統需準備之相關工具套件：
Docker: https://www.docker.com
TensorFlow: https://www.tensorflow.org
Inception-V3: https://github.com/tensorflow/models/tree/master/inception
Word2Vec: https://code.google.com/archive/p/word2vec/
IRMA: http://irma.quarkslab.com
ElasticSearch & Kibana: https://www.elastic.co
EPEL 啟用及 Docker 安裝
1.wget http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
2. rpm -ivh epel-release-6-8.noarch.rpm
3. sudo yum install docker-io
4. sudo service docker start
5. sudo chkconfig docker on
設定 docker 網絡橋接
1. service docker stop (把 docker 停用)
2. ip link set dev docker0 down (把 docker0 這個 bridge 關掉)
3. brctl delbr docker0 (把 docker0 這個 bridge 刪掉)
4. ip link set dev br0 up (把你建的 bridge 啟用)
5. ip addr show br0 (檢查)
6. echo 'DOCKER_OPTS="-b=br0"' >> /etc/default/docker (寫入設定檔)
7. service docker start (啟用你的 docker)
使用python 對網頁進行圖文截取
1. pip install selenium
2. from selenium import webdriver
3. driver = webdriver.Chrome('chromedriver', chrome_options=opts)
4. driver.set_window_size(400, 700)
5. driver.set_page_load_timeout(15)
6. fo = open(outdir + '/source.txt', 'w')
7. fo.write(driver.page_source)
8. fo.close()
9. fo = open(outdir + '/wording.txt', 'w')
10. fo.write(driver.find_element_by_tag_name('body').text)
11. fo.close()
12. driver.save_screenshot(outdir + '/screen.png')
TensorFlow 下載安裝設定
1. docker run -it -v /TF/:/TF/ --name deep b.gcr.io/tensorflow/tensorflow:0.7.1-devel
2. 整理預分類的各種類圖片，並各自建立一個資料夾
3. bazel build -c opt --copt=-mavx tensorflow/examples/image_retraining:retrain
4. bazel-bin/tensorflow/examples/image_retraining/retrain \ --bottleneck_dir=/tf_files/bottlenecks \ --model_dir=/tf_files/inception \ --output_graph=/tf_files/retrained_graph.pb \ --output_labels=/tf_files/retrained_labels.txt \ --image_dir /tf_files/tf_photos
5. bazel build tensorflow/examples/label_image:label_image && \ bazel-bin/tensorflow/examples/label_image/label_image \ --graph=/tf_files/retrained_graph.pb \ --labels=/tf_files/retrained_labels.txt \ --output_layer=final_result \ --image=/tf_files/tf_photos/tf1/000.jpg
透過深度學習的卷積類神經網絡算法，我們總計自動爬取前處理了 Deceptive, Benign, Sex, Fail及 None等5類各約2000張截圖，及各國語系詞句約 5000 筆，再根據 Tensorflow 的 GPU存儲器做參數微調來進行訓練；在驗證過程中，即使模型數據未含其截圖或文字，仍能依圖7及圖8概念計算識別出相似度(如圖10及圖11)。
圖10
圖11
0X05 未來方向
未來當然大有可為啦，此方法一出，機器便能自己識別欺詐廣告，省了人力成本，也能為移動網際網路安全帶來更大的效果！前途大好，我豹還將開放API供業界和學界研究分析，為了網絡安全，拼一拼，很值得。
Round 5
綜合前面所述，本文亦已將整個分析過程使用 IRMA 與ElasticSearch 以及 Kibana (如圖 12) 介接做為內部鑑識平臺。並將開放API供業界夥伴及學術研究單位申請，持續為移動網際網路安全貢獻心力，提供更安全的環境給使用者。
詳如下圖網址：
圖12
TIC: http://tic.cmcm.com
[1] D. Silver, A. Huang, C. J. Maddison, A. Guez, L. Sifre, G. van den Driessche, et al., "Mastering the game of Go with deep neural networks and tree search," Nature, vol. 529, pp. 484-489, 2016.
[2] A. Karpathy and F.-F. Li, "Deep visual-semantic alignments for generating image descriptions," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015.
[3] O. Vinyals, A. Toshev, S. Bengio, and D. Erhan, "Show and tell: A neural image caption generator," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015.
說實話，真是相當專業且嚴密的計算
門外漢花花也就只有給小豹們一個結果咯：
用深度學習中的CNN來瓦解欺詐廣告
是可以事半功倍滴
讓欺詐廣告無處遁形
就是獵豹移動威脅情報中心的道！
看暈一次，但會學到很多很多~