python爬蟲技術:如何定位網頁上的內容?xpath定位元素

在使用python爬蟲的時候，我們需要分析網頁元素，定位我們需要的內容。那麼，如何在python爬蟲過程中定位我們需要的內容的位置呢？接下來我們就來說說xpath定位。

xpath可以定位文檔中的節點。使用xpath可以在無法通過名字和id進行定位的時候，方便高效的查找元素。

比如我們在如下的文檔中定位我們需要的內容：

比如定位這個表單，我們可以使用絕對定位：/html/body/form[1]，這種定位方式很容易受到HTML網頁的改變而失效。那麼我們看這個表單，可以發現這個表單是這個頁面的第一個表單元素，因此可以這樣：//form[1]，但是如果這個頁面做了更新，比如增加了新的表單，這種方式可能也會失效。那麼，還可以通過這個表單的id來進行定位：//form[@id-'loginForm]'，這樣通過id定位了這個表單，是相對來說比較好的一種方式。

那麼，如果我們要定位這個表單中的元素，比如name=username這個input元素，可以這樣：//form[input/@name='username']，我們定位form元素中的input元素，並且這個input元素的name是username。觀察這個表單的結構，我們發現username這個input元素是這個表單中第一個input元素，因此也可以這樣來定位這個input元素：//form[@id='loginForm']/input[1]。除此之外，我們還可以這樣定位這個元素：//input[@name='username']，這裡定位name值為username的input元素。

如果我們想定位界面上的按鈕。比如這個clear按鈕，可以這樣來實現：//input[name='continue][@type='button']，這裡我們定位了name為continue種類為button的按鈕，因為這裡我們看到，name屬性並不能唯一確定這個按鈕，所以我們需要同時引入type屬性的值來幫助我們定位這個按鈕。