「VBA信息獲取與處理」教程中第八個專題「VBA與HTML文檔」的第七節「HTML DOM的對象事件及關聯」太枯燥了，希望想掌握這方面知識的朋友能參考我的教程學習。我們今天 開始第九個專題的學習「利用IE抓取網絡數據」。
我們的網抓部分在講解了XMLHTTP方法後，利用兩個專題的進度進行了一些和VBA關係不是很大的有關網絡知識的講解，這兩個專題對於我們重新認識網抓數據有著非常重要的意義，雖然我的講解還不能面面俱到，但對於我經常倡導的VBA定位來說，是足夠的，再者，學習是個不斷積累前進的過程，要掌握的是一些基本的理論，然後把這些應用到自己的實際中去，這才是關鍵。從這個專題開始我們繼續網抓的學習。這個專題是利用IE抓取網絡數據。其實就是利用控制項來完成我們的工作。
第一節 利用IE法提取網頁數據基礎
為了獲取網頁的數據，我們可以通過創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
這種方法可以模擬大部分的瀏覽器操作。瀏覽器能看到的數據就能用代碼獲取，但是有個致命的缺點：除去各種彈窗相當煩人外，兼容性也確實是個很傷腦筋的問題。在我自己的實踐中感覺這種方法不是很穩定（僅僅是感覺）。
1 IE模型的創建
我們在實際工作中遇到網站和網頁相關問題，例如：如何下載網頁數據？網頁之間的通訊是怎麼實現的、它們能不能被控制等等。如果你是用VB/VBA/腳本或其它支持自動化對象（AUTOMATION）的語言編程，有一個值得了解的方法是掌握對象模型：將網頁視為對象來控制，這個方法需要了解的是IE的自動化對象(InternetExplorer.Application)或IE控制項（Microsoft Internet Controls），以及標準的文檔對象模型（Document）。相關的知識我在前兩個專題中做了大量的講解，這裡就不再詳細的說明了。
我給出下面的代碼：
Set ie = CreateObject("InternetExplorer.Application") 』創建對象
ie.Visible = True 』使IE頁面可見，做完這一步，在VBA之外可以看到一個新的IE
ie.navigate "about:blank" 』建立一個空白頁
上面這幾行代碼的作用是創建一個IE應用程式對象，並打開一個空白的網頁。這個網頁獨立於VBA的應用程式（WORD或EXCEL）之外，事實上，你必須自已關掉它，或者用ie.Quit下令退出——注意一下，單純的關閉VBA或SET ie=nothing是不會退出這個網頁的。我們經常用的是將第3行的字符串替換成一個網站的名字，或者替換成一個你主機中的文檔名，也可以是一個圖片名，都是可以的。和你在IE地址欄輸入名稱瀏覽這些文檔是一樣效果。
如果僅僅是創建了一個空的模型是沒有任何利用的價值的，我們需要真正的網頁，這時就需要我們在VBA的應用程式外打開一個完整的網頁了，直到網頁完全加載我們的操作才能向下進行。
2 IE網頁頁面的加載
我們修正一下上面的那段打開空網頁的代碼：
Sub mynz()
Set ie = CreateObject("InternetExplorer.Application") 』創建對象
ie.Visible = True 』使IE頁面可見，做完這一步，在VBA之外可以看到一個新的IE
ie.navigate " https://baijiahao.baidu.com" 』建立一個空白頁
Do Until .ReadyState = 4 '檢查網頁是否加載完畢（4表示完全加載）
DoEvents 『循環中交回工作權限給系統，以免「軟死機」
Loop
End sub
在上面的代碼中增加了幾行：
Do Until .ReadyState = 4 '檢查網頁是否加載完畢（4表示完全加載）
DoEvents 『循環中交回工作權限給系統，以免「軟死機」
Loop
這幾行代碼可以保證網頁的加載完成，這是根據ie.ReadyState的返回值來判斷的。
readyState一共有5中狀態：
狀態 含義 說明
0 未初始化 對象已建立，但是尚未初始化（尚未調用open方法）
1 初始化 對象已建立，尚未調用send方法
2 發送數據 send()方法已調用，但是當前的狀態及http頭未知
3 數據傳送中 已接收部分數據，因為響應及http頭不全，這時通過responseBody和responseText獲取部分數據會出現錯誤
4 數據接收完畢 此時可以通過通過responseBody和responseText獲取完整的回應數據
通過以上的分析，我們可以看出，只用當.ReadyState = 4時網頁的數據才是有效的數據。
3 IE頁面數據的獲得
當網頁加載完畢，剩下的工作就是從網頁中抓取數據了，數據的抓取主要是利用控制項對象的屬性和方法。
1）用Set doc = ie.Document 取得網頁的文檔對象
從文檔對象（Document）以下展開的對象模型，它代表網頁的內容，和前面那個IE的應用程式不是同一個體系.
Documnet（文檔）是文檔對象模型，相當於OFFICE對象中的APPLICATION，取得Document之後，不論修改網頁還是讀寫網頁，還是觸發事件，一切都好說，每個URL都對應有一個Documnet（這是假如定成功導航Navigate到那個URL完成，因此之前要求確定IE對象READSTATE，以確定對應URL的Document打開了）
2) 在Documnet之下可以取得documentElement和body兩個節點。
可以用下面的語句：
set xbody=doc.Body 『取得body對象
set xDoc=doc. documentElement 『取得根節點
body前面已經說過，相當於標記的對象，根節點相當於網頁中的標記元素的對象，MHTML的類型庫定義裡，它們都屬於HTMLHtmlElement類型的對象，下面我把這種類型的對象稱為一個「節點」，不過要注意的是文檔對象不是節點對象，它是HTMLDocument類型。根節點和body節點不同的是根節點包括整個網頁，在HTML的文檔對象模型中，這類對象有幾種屬性可以取得其中的內容：
對象.innerHtml 『對象內部的HTML文本
對象.OuterHtml 『對象中的HTML文本，包括對象本身的HTML標記在內
對象.innerText 『對象內部的TEXT，不包括HTML標記
對象.OuterText 『同上，包括對象本身的文本
所以，如果我們要抓取某個網站的所有HTML內容，代碼可以這樣寫：
set doc=ie.Document
set xDoc=doc. documentElement 『取得根節點
strX=xDoc.OuterHtml 『取得所有的HTML內容
3) 每一個標記節點對象之下都有一個名為ChildNodes的集合，它包含了「直屬於本節點下的標記」，就象是文件目錄，根目錄下的子目錄.
我們可以看到：HTML標記是文檔的根節點，是Document的Childnodes集合中的一個成員（Document不是節點，是另一種類型對象，上一級文檔，但它可以有下級節點集合，正如磁碟可以有下級目錄，但它本身不是目錄），BODY是根節點的ChildNodes集合中的一個成員，而DIV和P兩個節點則是BODY的ChildNodes集合中的兩個成員，同樣也有自已的Childnoes集合。
我們要注意：文檔對象模型中，集合與OFFICE的集合有所不同，集合是從0開始計數的，計數屬性是Length而不是Count。
4）除了ChildNodes集合，大家在網頁文檔對象中還常見到的就是很大氣的一種集合：All集合，這是「最糊塗」的一種集合，文檔和各級節點都帶有這個集合，正如這個名字所示，它是不分層次的，但用起來也很方便：
Set doc=ie.Document
Set xCols=doc.All 』取得文檔中的所有節點集合
Set xbCols=doc.body.All 』取得body節點下所有的節點集合
雖然任何標記節點都有ALL集合，但我們還是喜歡用DOCUMENT的ALL，原因無它，文檔最大，一鍋燴的ALL找起來也最合適。ALL查找是有條件的：如果這個標記沒有ID，你無法查到它的名字。
不過，ALL集合有一個很方便的特性：ID可以掛到ALL集合之下：
strX=doc.All.mytag.innerhtml
5）獲得文檔對象的getElementsByName集合，可以利用下面的方法：
set mydivs=doc. getElementsByName(「div」) 『取得所有DIV標記，注意還是集合
6) 文檔對象的FORMS集合，因為大部分網頁的數據提交都是通過FORM標記提交的：
Set myForms=doc.Forms 』取得所有的FORM標記
Set frmX=myForms.item(0) 』第1個FORM
FORM標記節點代表的對象是很多朋友關心的內容——在網頁對象中，它可以發送數據到伺服器，使伺服器刷新網頁（實際上是伺服器按某個格式約定發回數據），我們可以把網頁的FORM看成是一個遠程的函數調用接口，FORM標記中的ACTION指向的URL地址就是函數入口，而FORM標記內的各個INPUT標記節點就是函數的參數，當發出FORM.Submit方法時，就是遠程調用函數了，在伺服器端，諸如ASP，PHP就是老老實實找FORM的參數，不管你是用GET還是POST：
frmX.submit 』相當於用戶在頁面上按下FORM的發送按鍵
上面我羅列了獲取網頁數據的一般的方法，並沒有什麼特別的使用要求，大家可以根據自己的習慣來利用，這個專題之後的內容就是靈活運用這些知識點來解決實際問題了。
本節知識點回向：
如何提交表單？如何下載圖片的地址？如何獲得表的數據？
積木編程的思路內涵：
在我的系列書籍中一直在強調「搭積木」的編程思路，這也是學習利用VBA的主要方法，特別是職場人員，更是要採用這種方案。其主要的內涵：
1代碼不要自己全部的錄入。你要做的是把積木放在合適的位置然後去修正代碼，一定要拷貝，從你的積木庫中去拷貝，然後修正代碼，把時間利用到高效的思考上。
2 建立自己的「積木庫」。平時在學習過程中，把自己認為有用的代碼放在一起，多積累，在用到的時候，可以隨時拿來。你的積木庫資料越多，你做程序的思路就會越廣。
VBA的應用界定
VBA是利用Office實現個人小型辦公自動化的有效手段（工具）。這是我對VBA的應用界定。在取代OFFICE新的辦公軟體沒有到來之前，誰能在數據處理方面做到極致，誰就是王者。其中登峰至極的技能非VBA莫屬！
我記得20年前自己初學VBA時，那時的資料甚少，只能看源碼自己琢磨,真的很難。20年過去了，為了不讓學習VBA的朋友重複我之前的經歷，我根據自己多年VBA實際利用經驗，推出了六部VBA專門教程：
第一套：VBA代碼解決方案是VBA中各個知識點的講解，教程共147講，覆蓋絕大多數的VBA知識點，初學必備；
第二套：VBA資料庫解決方案資料庫是數據處理的專業利器，教程中詳細介紹了利用ADO連接ACCDB和EXCEL的方法和實例操作，適合中級人員的學習。
第三套：VBA數組與字典解決方案數組和字典是VBA的精華，字典是VBA代碼水平提高的有效手段，值得深入的學習，是初級及中級人員代碼精進的手段。
第四套：VBA代碼解決方案之視頻是專門面向初學者的視頻講解，可以快速入門，更快的掌握這門技能。這套教程是第一套教程的視頻講解，聽元音更易接受。
第五套：VBA中類的解讀和利用這是一部高級教程，講解類的虛無與肉身的度化，類的利用雖然較少，但仔細的學習可以促進自己VBA理論的提高。這套教程的領會主要是讀者的領悟了，領悟一種佛學的哲理。
第六套教程：《VBA信息獲取與處理》，這是一部高級教程，涉及範圍更廣，實用性更強，面向中高級人員。教程共二十個專題，包括：跨應用程式信息獲得、隨機信息的利用、電子郵件的發送、VBA網際網路數據抓取、VBA延時操作，剪切板應用、Split函數擴展、工作表信息與其他應用交互，FSO對象的利用、工作表及文件夾信息的獲取、圖形信息的獲取以及定製工作表信息函數等等內容。
大家可以根據以上資料1→3→2→6→5或者是4→3→2→6→5的順序逐漸深入的逐漸學習。教程提供講解的同時提供了大量的積木，如需要可以WeChat: NZ9668
學習VBA是個過程，也需要經歷一種枯燥的感覺
如太白詩云：眾鳥高飛盡，孤雲獨去閒。相看兩不厭，只有敬亭山。學習的過程也是修心的過程，修一個平靜的心。在代碼的世界中，心平靜了，心情好了，身體自然而然就好。心靜則正，內心裡沒有那麼多邪知邪見，也就沒有那麼多妄想。利人就是利己。這些教程也是為幫助大家起航，助上我自己之力，我的上述教程是我多的經驗的傳遞，
「水善利萬物而不爭」，綿綿密密，微則無聲，巨則洶湧。學習亦如此，知道什麼是自己所需要的，不要蜷縮在一小塊自認為天堂的世界裡，待到暮年時再去做自欺欺人的言論。要努力提高自己，用一顆充滿生機的心靈，把握現在，這才是進取。越是有意義的事情，困難會越多。願力決定始終，智慧決定成敗。不管遇到什麼，都是風景。看淡紛爭，看輕得失。茶，滿也好，少也好，不要計較；濃也好，淡也好，其中自有值得品的味道。去感悟真實的時間，靜下心，多學習，積累福報。而不是天天混日子，也不是天天熬日子。在後疫情更加嚴峻的存量殘殺世界中，為自己的生存進行知識的儲備，特別是新知識的儲備。學習時微而無聲，利用時則巨則洶湧。
每一分收穫都是成長的記錄，怎無憑，正是這種執著，成就了朝霞的燦爛。最後將一闕詞送給致力於VBA學習的朋友,讓大家感受一下學習過程的枯燥與執著：
浮雲掠過，暗語無聲，
唯有清風，驚了夢中啼鶯。
望星，疏移北鬥，
奈將往事雁同行。
阡陌人，昏燈明暗，
忍顧長亭。
多少VBA人，
暗夜中，悄聲尋夢，盼卻天明。
怎無憑！
回向學習利用VBA的歷歷往事，不勝感慨，謹以這些文字給大家，分享我多年工作實際經驗的成果，隨喜這些有用的東西，給確實需要利用VBA的同路人。
分享成果，隨喜正能量