CCMO資訊團隊 高文寧譯
【小福利】關注微信公眾號,在微信公眾號回復「乾貨」二字,可獲得CCMO為您精心準備的多套網際網路營銷乾貨和行業報告。
Dan Sharp分享了一個案例,他所在的公司可以劫持谷歌官方搜尋引擎優化(SEO)入門指南的排名。讓我們看一下他們是如何操作的吧。
我想分享一個代理商最近的一個操作嘗試,經操作,谷歌認為我們網站就是谷歌官方搜尋引擎優化入門指南PDF的一個權威版本—並且把我們列到其「搜尋引擎優化」目錄下和數千個短語中。
我們在內部進行了測試,測試包括我們的SEO Spider(蜘蛛)軟體和用戶代理。這次特別的試驗僅供娛樂,只是為了驗證我們的發現,無意傷害他人,也不是為了賺錢謀取利益。目前,我們已經終止了試驗並刪除了相關內容。
背景
發現搜尋引擎結果的一些奇怪現象後,我們事先和谷歌取得了聯繫。他們的SEO入門指南PDF在「SEO」和「谷歌SEO指導」等相關目錄下,有些事情並不對勁……
@ JohnMu 你好,John,谷歌SEO入門指導並不在列表中或無法檢索,該網址已被另一個網址取代。這一突出的問題是302s?Pic.twitter.com/i5M4VLFe9D
Dan Sharp(@screamingfrog)2016年11月7日
在搜索結果中,PDF入門指導出現在搜索結果列表裡,也連結到其他上傳PDF的各網址中,但是在谷歌自己的網站中卻沒有出現。所以,不知何原因,谷歌沒有將自己的網頁納入列表中;反而是其他網站使用谷歌了相關內容。
以下是英國一些網站的排名情況。每一個網站都力圖把其他搜索結果排擠出去,因為谷歌會根據搜索結果而改變所信任的權威版本。
我們決定調研一下為什麼谷歌的網頁檢索不到,而其他網頁卻可以。我們注意到谷歌在搜尋引擎優化入門指導中使用了302重定向功能,且集中在相互獨立的域名中。
302重定向中,原始的URL在谷歌網頁中可以檢索到,但是目標URL在static.googleusercontent.com就檢索不到。
然而這兩種URL都沒有檢索到,並且都試圖確認權威性,檢索原始內容和URL。谷歌以前沒有使用「noindex」,通過robots.txt沒有攔截任何內容,其他內容可以檢索,並且也沒有和 canonicals、網頁上的內容以及HTTP header內部有直接的衝突。
谷歌曾表明無論是302臨時重定向還是301永久重定向,網頁排名的結果都差不多,這其中真正起作用的是檢索了什麼樣的URL,在搜索結果中又是什麼樣的URL。所以,理論上應該檢索原始的URL和排名,但是這並不是重點。
因為每一種重定向都用相似的方法傳遞PageRank,Gary Illyes說301有助於規範化。
@ AndyNRodgers 重定向傳送都是一樣的,但是301有助於規範化@ JohnMu
---- GaryIllyes ᕕ(ᐛ )ᕗ (@methode) 2016年8月5日
我們從以前的實驗中知道,相同的內容可能被劫持,但通常由更權威的網站取代。 Google的SEO入門指南有大約2,100個連結根域名指向原始URL,另外重定向目標有485個(HTTP/HTTPS相結合的協議),所以這是一個可見度很高的強大網頁。
入門指導也在Google.com上,且享有極高的聲譽。最終目標還是要佔據獨立的域名。
很明顯,Screaming Frog 並沒有像谷歌那麼權威,但是由於以上提到的問題,不少名不見經傳的網站已經提前代替了他們。
試驗
我們打算進行一次短期的試驗,只把谷歌SEO入門指導上傳到我們的域名。然後我們就通過谷歌搜索控制臺提交並被收錄,隨之放置不管。
一周以後,我們發現我們已經劫持了谷歌自己的排名(由於我們的權威性更高,以前所有黑客都沒有做到這一點),因為谷歌的算法似乎相信我們就是他本身內容的一部分。我們的URL出現在info: 和 cache:命令查詢結果中。
我們已經劫持了黑客,也劫持了谷歌。
雖然我們是英國的網址,但是在美國,我們的「搜尋引擎優化」從50名開外,一躍成為第四,「SEO」也進入了前十名。
在PDF排名中,「谷歌SEO」,「谷歌SEO指導」,「www goolgle com 」以及谷歌其他的關鍵詞都是可見的了。
在美國和英國其他的PDF排名中,我們可以看到他們對SEMrush的喜愛(以下專門截屏展示美國的結果)
並且,Sistrix還強調了我們有意製造,突然冒出來的這個「新的」關鍵詞。
谷歌站長工具記錄了接近800k展現量的PDF,尤其近四天的情況。
我們在推特上公布以後,該實驗得到了廣泛關注。
因此在接下來的一段時間裡,我們持續關注谷歌,看看他是否會改正索引、改變規範化和排名。48小時以後,我們注意到谷歌官方的搜尋引擎優化指南開始出現在排名裡,先前沒有檢索結果現在就能檢索到了(同時出現在site:命令查詢結果中)。
之後我們還發現谷歌給PDF原始的URL增加了一個HTTP canonical,以此幫助其被正確收錄。
但是,我們的內容仍然在info:查詢結果中出現,並且還有排名。這也就是說兩個指南都在搜索結果中,並且我們的網址排名還在谷歌之上。
我們希望這件事情有所改變---谷歌官方作為權威排名而我們的網頁退出排名。接下來五天裡,我們的網頁仍然和谷歌一起出現在搜索結果裡,並且有著上千的訪問量。之後我們的PDF就消失了,我們迅速地終止了此次試驗。
反思
首先,我們沒有推薦其他人亂七八糟的信息。這並不是一個可行的策略技巧來獲得靠前的排名,這僅僅是一個與眾不同的有趣的個案研究。我們很難就此進行總結,因為我們沒辦法確定是不是還有其他未知的可能影響操作的因素。
我們有不少理論和想法,在這裡以三點做為總結。
1.並不(完全)與關302重定向有關
最初我們以為根本原因是302重定向,我們都知道谷歌堅信302重定向的使用沒有什麼問題。我們覺得文件託管方式難以脫開干係。
經過一段時間,我們發現URL另外一些怪異的現象(根據Accept-Language header提供的有價值的信息),並且在HTTPS中,規範化沒有正確使用。
2.使用規範
使用canonicals規範來幫助提升收錄是非常明智的。只要谷歌更新PDF的HTTP規範,將其改為一個單獨的URL,就可以檢索到。
使用crawler就可以爬取你的網站中缺失canonical的連結,也可以爬取 HTTP header中的canonical 的連結。
對PDF和文檔來說,你可以很輕鬆的設置一個諸如HTTP canonical using .htaccess文件。
3.儘管發生機率不大,但是劫持還是有可能的
特定情況下,一個網頁的排名會讓內容完全一樣的域名劫持,比如indexation出現問題,或是成為一個更專業的來源。大體來說可能性不大,但是,在原始來源排名這個問題上,谷歌還是需要做一些改進的。
----
【關於譯者】
高文寧,畢業於考研名校曲阜師範大學,英語專業,現為一名光榮的人民教師。
【關於網際網路營銷官CMO】
網際網路營銷官CMO是一個公益性組織,致力於打造國內領先的網際網路營銷領域人才交流討論的平臺,定位於助力網際網路營銷領域的人才互幫互助,共同成長為首席網際網路營銷官(Chief Marketing Officer)。
為未來的網際網路營銷官CMO們提供網際網路營銷行業最新最前沿的營銷乾貨和行業資訊、涵蓋網際網路營銷領域的SEO、SEM、PPC、網盟營銷、EDM營銷、紅人營銷、大數據營銷、場景營銷、O2O營銷、事件營銷、病毒營銷、口碑營銷等眾多網際網路營銷方法和手段。