爬虫系列——做爬虫必备：各大网站蜘蛛UA

作者专注于Java、架构、Linux、小程序、爬虫、自动化等技术。 工作期间含泪整理出一些资料，微信搜索【程序员高手之路】，回复 【java】【黑客】【爬虫】【小程序】【面试】等关键字免费获取资料。

前言

User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

了解各大搜索引擎蜘蛛爬虫的UA，对我们进行某些程序编写十分有用，例如网页判断客户端来源时，UA是常用的标准之一。本文收集了各大搜索引擎的蜘蛛爬虫UA，以便需要时查阅。

1.百度蜘蛛Baiduspider

Baiduspider，日志中还发现了Baiduspider-image这个百度旗下蜘蛛，是专门用以抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。

UA

PC：

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动：

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) 
AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

 2.谷歌蜘蛛Googlebot

UA

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Google图片搜索

Googlebot-Image/1.0

3.必应蜘蛛bingbot

UA

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

4.雅虎蜘蛛Yahoo

UA

雅虎英文

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

雅虎中国

Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

5.搜狗蜘蛛Sogou News Spider

UA 

搜狗图片

http://pic.sogou.com
Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜狗

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

6.360蜘蛛 360Spider

UA 

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

360网站安全检测

360spider (http://webscan.360.cn)

7.MSN蜘蛛msnbot-media

UA 

*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

8.有道蜘蛛YoudaoBot

UA 

Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/;)

9.宜搜蜘蛛EasouSpider

UA

Mozilla/5.0 (compatible; EasouSpider; +http://www.easou.com/search/spider.html)

10.七牛

UA 

qiniu-imgstg-spider-1.0

关注公众号【程序员高手之路】，回复【爬虫】免费领取爬虫教学视频！