标签：robots.txt

robots.txt文件是什么_robots.txt协议怎么写

2013-08-15SEO博客阅读(2792)评论(0)赞(0)

robots.txt写法 robots.txt是网站seo优化中起着很重要的作用，robots.txt是搜索引擎访问网站时需要查看的第一个文件，搜索引擎蜘蛛来到一个站点，首先要检查站点根目录下是否存在robots.txt，如果有，就会按照...