资源描述：
《网站结构合理的重要性》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、搜索引擎都有自C的“搜索机器人”（ROBOTS）,并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots,txt,另一个是TheRobotsMETA标签。―、robots,txt1>什么是robots,txt?robots,txt是一个纯文本文件，通过在这个文件屮声明该网站屮不想被robots访问的
2、部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots,txt,如果找到，搜索机器人就会按照该文件中的内容來确定访问的范围,如果该文件不存在，那么搜索机器人就沿着链接抓取。robots,txt必须放置在一个站点的根目录下，而且文件名必须全部小写。网站URL相应的robots,txt的URLhttp://www.w3.org/http://www.w3.org/robots.txthttp：
3、//wavav・w3・org:80/http://・w3・org:80/robots.txthttp://www.w3.org:1234/http://www.w3.org:1234/robots.txthttp://w3.org/http://w3.org/robots,txt2、robots,txt的语法〃:robots.txt〃文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,orNL作为结束符），每一条记录的格式如下所示:〃:〃。在该文件小可以使用#进行注解，具体使用方法和UNI
4、X小的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若TDisallow行，详细情况如下：User-agent:该项的值用于描述搜索引擎robot的名字，在"robots,txt〃文件屮，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agentC录。如果该项的值设为*,则该协议对任何机器人均有效，在"robots.txt"文件屮，"User-agent：*〃这样的记录只能有一条。Disallow:该项的值用于描述不
5、希望被访问到的一个URL,这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如^Disallow:/help"对/help,html和/help/index,html都不允许搜索引擎访问,而"Disallow:/help/"贝!J允许robot访问/help,html,而不能访问/help/index.html。任何一条Disallow记录为空,说明该网站的所有部网站建设中遇到的问题，以及“Web标准”思想的产生、发展和推广。让你明白为什么要采用
6、和推广Web标准。第二部分从技术细节上讲解了网站实际制作开发过程中如何向Web标准过渡，如何采用和符合Web标准。通过阅读本书，你可以清楚一些基本问题：Web标准是什么？网站一定要用标准吗？用标准和不用标准的区别？如何采用标准？如何向标准过渡？适合什么样的人看这木书适合的读者是：所有的网站设计者、开发者和所有者。这不是广告词。不论对这一行业的新手还是资深人士,木书都将对你产生深刻影响。它告诉我们怎样做是止确的，以及应该如何做。也许本书介绍的思想和技术你可能不会马上接受或贯彻到工作中，但它是Web发展的趋势
7、，是阻挡不了的发展趋势。它的重要性已经并将继续在Web领域体现。对我们有什么好处如果你是Web设计师、开发者或所有者，如果你正在困惑自己应该学习什么，怎么做，如果你正在犹豫自己网站的发展方向，如果你正在想如何把口己提高一个层次，如果你止在头疼不断的网站升级问题，木书止是你需要的!它告诉你Web开发的技术将如何发展，未來的Web将是怎样的。看清楚了这些，如何发展网站，自C如何定位就容易得多。任何书都有它的价值所在。如果需要一个理由购买这本书，那么我会这样说:你可以不买这本书，但是本书的思想和技术你一定要了解
8、，总有一天你会需要它,这一点是百分之百肯定的。与其被动地、等到迫不得已的吋候再来了解和学习，为什么不现在就行动？译者的感受对于本书的作者JeffreyZeldman,国内设计师和开发者可能并不熟悉，但在国外，同行无人不知。他领导的Web标准组织(www.Webstandards,org)帮助终止了Microsoft与Netscape之间的浏览器之战，使得我们不再需要考虑浏览器不同版本问题。他也是资深的设计师，对网站技术的历史和
