欢迎来到天天文库
浏览记录
ID：24637638
大小：50.50 KB
页数：4页
时间：2018-11-15
《控制搜索引擎访问和索引你的网站》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、控制搜索引擎访问和索引你的网站>>edu.5151doc.教育资源库我经常被问到Google（谷歌）和搜索引擎是怎样运转的。一个核心问题是：谷歌是怎样知道一个网站的哪些部分是网站所有者想让它们显示在搜索结果中？网站内容发布者能够指定部分网站不被搜索吗？好消息是，网站内容发布者可以使用很多方法控制你们的网页在搜索结果中的显示。文件robots.txt是这里的主角，该文件已经成为业界标准好多年了。它让一个网站所有者控制搜索引擎访问他们的网站。你可以用robots.txt不同层次地控制访问，比如让搜索引擎只访问整个网站，单
2、个目录，特定类型的网页，或者某一网页。有效地使用robots.txt能让你更好地控制对你的网站的搜索，但是如何达到这一目标不是很显而易见的。这是我们关于如何使用robots.txt来控制对你的网站的存取的一系列帖子的第一篇。文件robots.txt有什么用？互联网真的很大。你只是不相信它是怎样地无穷无尽地大。你也许认为维护网站耗费好多精力，但是那只是“网海一粟”。（对DouglasAdams致以诚挚的道歉）象谷歌这样的搜索引擎会读取所有信息并对这些信息索引，索引是为了让一个搜索引擎对一些用户查询显示与之相匹配的网页。
3、为了做到这一点谷歌的一些电脑不断抓取网站，他们有一个谷歌所知道的所有网站的名单，他们阅读每个网站的所有网页。所有这些机器被称为谣Googlebot。一般来说，你是愿意让Googlebot访问你的网站，这样你的网页才可以被人们在谷歌搜到。然而，对你的网站上的某几页，你可能不想让谷歌索引。举例来说，你可能有一个目录包含内部日志，或者你可能有些新闻文章只能在支付费用后才能访问。你可以通过创建一个文本文件名为robots.txt的文件并把它放置在根目录下来告诉谷歌爬虫不要去抓取他们。文件robots.txt包含了一个搜索引擎
4、不能访问的页面的清单。创建一个robots.txt是直截了当的，它允许你用一套精密分层控制搜索引擎对你网站的访问。精细控制除了robots.txt文件让您为你的一大堆文件简洁明了给出指令外，你也可以利用robotsMETA标签来精确控制对你的单个网页的访问。为了做到这一点，你只需要对你的HTML网页添加特定的META标签来控制怎样对单个网页索引。归而总之，robots.txt和META标签让你更灵活地表达复杂的访问规定变得比较容易。一个简单的例子这里是一个简单的例子，它是一个robots.txt文件。User-Age
5、nt:GooglebotDisallol><head><metaname="googlebot"content="noindex">...这段代码会阻止谷歌索引此文件。标签META特别有用，如果你只被允许编辑单个文件，而不是全站的robots.txt。他们还允许你逐页地指定复杂的访问控制规定。了解更多你可以在谷歌的站长帮助中心找到更多有关robots.txt的更多有用信息.[这篇文章来自..，]
此文档下载收益归作者所有
