如何编写网站robot.txt文件

《如何编写网站robot.txt文件》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、如何编写网站ROBOT.TXT文件，站长必读2009年11月29日星期日11:28在说明ROTBOT文件的编写语法前先来了解几个重要的概念！1.什么是baiduspider？　　baiduspider是Baidu搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在Baidu搜索引擎中搜索到贵网站的网页。　　　　　2.baiduspider为什么大量访问我的网页？　　baiduspider访问您的网页后，会自动分析每个网页上的文字内容并记忆网页网址，然后其它网友才能通过百度搜索引擎找到您的网页。如果baiduspider

2、不访问您的网页，那么所有通过baiduspider提供网页信息的搜索引擎都找不到您的网页，也就是说，其它网友在百度搜狐新浪雅虎Tom等几十个搜索网站都会找不到您的网页。　　　您可以到这里进一步了解搜索引擎。　　　　3.baiduspider对一个网站服务器造成的访问压力如何？　　　　对于一个网站，baiduspider每访问一个网页会间隔30秒，不会造成过大压力。　　　　4.我不想我的网站被baiduspider访问，我该怎么做？　　　　baiduspider象其它spider一样遵守互联网robots协议。您可以利用robots.txt文件完全禁止ba

3、iduspider访问您的网站，或者禁止baiduspider访问您网站上的部分文件。　　　　注意：禁止baiduspider访问您的网站，将使您的网站上的所有网页，在Baidu搜索引擎以及所有Baidu提供搜索引擎服务的搜索引擎中无法被搜索到，包括搜狐、新浪、雅虎、Tom、Lycos等几十个搜索引擎。　　　　关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法　　　　5.为什么我的网站已经加了robots.txt，还能在百度搜索出来？　　　　因为搜索引擎索引数据库的更新需要时间。虽然baiduspider已经停止访问您网站

4、上的网页，但Baidu搜索引擎数据库中已经建立的网页索引信息，可能需要2到4周才会清除。　　　　6.baiduspider多长时间之后会重新抓取我的网页？　　　　Baidu搜索引擎平均两周更新一次，网页视重要性有不同的更新率，少则几天，多则1月，baiduspider会重新访问和更新一个网页。　　　　7.baidu蜘蛛在robots.txt中的名字是什么？　　　　baiduspider，全部为小写字母。完全禁止baiduspider访问的robots文件内容为：　　　　　　User-agent:baiduspider　　Disallow:/　　　　　　r

5、obots.txt的语法　　“robots.txt“文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,orNL作为结束符），每一条记录的格式如下所示：　　　　　　“:“。　　在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：　　User-agent:　　　　　　该项的值用于描述搜索引擎robot的名字，在“robots.txt“文件中

6、，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在“robots.txt“文件中，“User-agent：*“这样的记录只能有一条。　　Disallow:　　　　　　该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如“Disallow:/help“对/help.html和/help/index.html都不允许搜索引擎访问，

7、而“Disallow:/help/“则允许robot访问/help.html，而不能访问/help/index.html。　　　　任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在“/robots.txt“文件中，至少要有一条Disallow记录。如果“/robots.txt“是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。　　下面是一些robots.txt基本的用法：　　l禁止所有搜索引擎访问网站的任何部分：　　User-agent:*　　Disallow:/　　l允许所有的robot访问　　User-agent:*

8、　　Disallow:　　或者也可以建一个空文件“/robots.txt“fil