日照网站公司分析，robots协议对于我们的网站建设很重要的，可以保护我们网站一些文件不会露在搜索引擎之下，进而会有 效的控制蜘蛛的抓取路径，为我们站长做好网站seo创 造关键的条件。我们的网站刚刚创建，有些内容还不是很完善，暂时还不想被搜索引擎收录时，可以很 好的使用robots协议，发挥robots协议大的价值。

日照网站公司案例
　　robots.txt协议文件属于网站的一个纯文本文件，主要是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行到我们的网站，步是抓取这个文件--robots协议，根据里面描述的内容来决定对我们网站文件访问的大概框架。

　　日照网站公司总结，robots.txt文件应该放在我们网站的根目录下。
　　在一个站点上不仅 拥 有一个"/robots.txt"文件，而且文件名的每个字母要求全 部是小写。
　　robots.txt文件用法举例
　　例1.禁止所 有搜索引擎访问网站的任 何部分
　　下载该robots.txt文件User-agent:*
　　Disallow:/
　　例2.允许所 有的robot访问
　　(或者也可以建一个空文件"/robots.txt"file)
　　User-agent:*
　　Disallow:
　　例3.禁止某个搜索引擎的访问
　　User-agent:BadBot
　　Disallow:/
　　例4.允许某个搜索引擎的访问
　　User-agent:spider
　　Disallow:
　　User-agent:*
　　Disallow:/
　　一个简单例子
　　在这个例子中，该网站有三个目录对搜索引擎的访问做了限 制，即搜索引擎不会访问这三个目录。
　　日照网站公司提醒大家需要注意的是对每 一个目录须分开声明，而不要成"Disallow:/cgi-bin//tmp/"。
　　User-agent:后的*具有意义的含义，代表"anyrobot"，所以在该文件中不能有"Disallow:
　　/tmp/*"or"Disallow:*.gif"这样的记录出现.
　　User-agent:*
　　Disallow:/cgi-bin/