今天冬鏡SEO講的是2018年最新各大搜尋引擎蜘蛛名稱整理分享
各大seo搜尋引擎的蜘蛛會不斷地訪問抓取我們站點的內容，也會消耗一定的站點流量
有時候就需要屏蔽某些蜘蛛訪問我們的站點，文章尾部會講解決辦法
了解各大搜尋引擎蜘蛛爬蟲，對我們進行網站SEO優化起到很大作用
冬鏡SEO收集了各大搜尋引擎的蜘蛛爬蟲UA，以便你需要時查閱
1、百度蜘蛛：BaiduSpider
常見的Baiduspider和Baiduspider-image（抓取圖片）
百度公司還有其它幾個蜘蛛：Baiduspider-video（抓取視頻）、Baiduspider-news（抓取新聞）、Baiduspider-mobile（抓取wap），都不常見
百度蜘蛛爬蟲UA：
PC端：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移動端：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
圖片：「Baiduspider-image+(+http://www.baidu.com/search/spider.htm)」
2、谷歌蜘蛛：Googlebot
有人說谷歌蜘蛛是GoogleBot，官方谷歌蜘蛛最新名稱為Googlebot，還發現了Googlebot-Mobile，看名字是應該是抓取wap內容的
谷歌蜘蛛爬蟲UA：
「Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)」
圖片：「Googlebot-Image/1.0」
3、360蜘蛛：360Spider
它是一個十分「勤奮抓爬」的蜘蛛
360蜘蛛爬蟲UA：
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);
4、搜狗蜘蛛：Sogou News Spider
搜狗公司還有其它幾個蜘蛛：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，冬鏡在日誌中只發現了常見的Sogou News Spider。（參考大神百度的robots文件，搜狗蜘蛛名稱可以用Sogou概括，但有沒有用就不知道了.）
搜狗蜘蛛爬蟲UA：
「Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)」
5、必應蜘蛛：bingbot
必應蜘蛛爬蟲UA：
「Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)」
6、SOSO蜘蛛：Sosospider
騰訊已玩死，交給搜狗公司了
soso蜘蛛爬蟲UA：
「Sosospider+(+http://help.soso.com/webspider.htm)」
7、雅虎蜘蛛：Yahoo! Slurp China（雅虎中國）或Yahoo! Slurp（雅虎英文）
雅虎蜘蛛爬蟲UA：
雅虎中國：「Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)」
雅虎英文：「Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)」
8、MSN蜘蛛：msnbot，msnbot-media
重慶SEO好像只見到msnbot-media在狂爬……
MSN蜘蛛爬蟲UA：
*msnbot/1.0 (+http://search.msn.com/msnbot.htm」)
其它還有 一搜蜘蛛：YisouSpider、Alexa蜘蛛：ia_archiver、宜搜蜘蛛：EasouSpider、即刻蜘蛛：JikeSpider，以及還有YandexBot、AhrefsBot和ezooms.bot等這些蜘蛛，據說這幾個國外的蜘蛛都不咋好
其實常用的搜尋引擎就那麼幾個，只要在robots.txt文件裡把常用的搜尋引擎蜘蛛放進來就行，其它的可以統統屏蔽。