robots.txt用法和seo作用-googlebot/baiduspider

　　虚拟主机评测+idc导航=主机之家。

　　通过给网站设置适当的robots.txt对google和百度seo优化的作用是很明显的。wordpress博客网站也一样。

　　我们先看看robots.txt是什么，有什么作用？

　　robots.txt是什么？

　　我们都知道txt后缀的文件是纯文本文档，robots是机器人的意思，自动采集的网站所以顾名思义，robots.txt文件也就是给搜索引擎蜘蛛这个机器人看的纯文本文件。robots.txt是搜索引擎公认遵循的一个规范文档，它告诉google、百度等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止收录的。搜索引擎蜘蛛spider（googlebot/baiduspider）来访问你的网站页面的时候站群系统，首先会查看你的网站根目录下是否有robots.txt文件，如果有则按照里面设置的规则权限对你网站页面进行抓取和索引。如淘宝网就通过设置robots.txt屏蔽百度搜索引擎：

，