无私奉献的网络蜘蛛

网络蜘蛛是什么，如果把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。正是这些网络蜘蛛在互联网上默默耕耘，无私奉献，才让我们广大的用户可以很方便的了解到他们想要的信息。
以下是SEO博客给大家列出的一些网上最受欢迎的几个搜索引擎的蜘蛛

1.  谷歌搜索
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

2. 百度搜索
 Baiduspider+(+http://www.baidu.com/search/spider.htm)

3. 腾讯搜搜
Sosospider+(+http://help.soso.com/webspider.htm)

4. 搜狗搜索
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

5. 有道搜索
Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )

6.奇虎搜索
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; QihooBot 1.0 qihoobot@qihoo.net)