robots.txt文件语法写法总结(南昌新媒体公司古怪科技)

《robots.txt文件语法写法总结(南昌新媒体公司古怪科技)》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、对于seo学习博客在谷歌的收录有很多的过期页面的问题，黑雨seo找了很多的资料，robots.txt怎么写?首先要解决的问题是：什么是robots.txt?　　①什么是robots.txt?　　这是一个文本文件，是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看，哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时，它首先会检查根目录是否存在robots.txt，如果有就确定抓取范围，没有就按链接顺序抓取。　　②robots.txt有什么用　　为何需要用robots.txt这个文件来告诉搜索机器人不

2、要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。说到底了，这些页面或文件被搜索引擎收录了，用户也看不了，多数需要口令才能进入或是数据文件。既然这样，又让搜索机器人爬行的话，就浪费了服务器资源，增加了服务器的压力，因此我们可以用robots.txt告诉机器人集中注意力去收录我们的文章页面。增强用户体验。　　③robots.txt如何配置：　　robots.txt基本语法　　　User-agent:*　　Disallow:/　　我们在说这四行是什么意

3、思之前来先看看robots.txt的几个关键语法：　　a、User-agent:应用下文规则的漫游器，比如Googlebot,Baiduspider等。　　b、Disallow:要拦截的网址,不允许机器人访问。　　c、Allow:允许访问的网址　　d、”*”:通配符—匹配0或多个任意字符。　　e、”$”:匹配行结束符。　　f、”#”:注释—说明性的文字,不写也可。　　g、Googlebot:谷歌搜索机器人(也叫搜索蜘蛛)。　　h、Baiduspider:百度搜索机器人(也叫搜索蜘蛛)。　　i、目录、网址的写法:都以以正斜线

4、(/)开头。　　如　　Disallow:/　　Disallow:/images/　　Disallow:/admin/　　Disallow:/css/　　由此可看：上面例子所表示的意思是禁止所有搜索引擎访问网站的任何部分。　　下面，我们列举一些robots.txt具体用法：　　1、允许所有的robot访问　　User-agent:*　　Disallow:　　或者　　User-agent:*　　Allow:/　　或者建一个空文件”robots.txt”即可。　　2、仅禁止某个机器人访问您的网站，如Baiduspider。　　U

5、ser-agent:Baiduspider　　Disallow:/　　3、仅允许某个机器人访问您的网站，如Baiduspider。　　User-agent:Baiduspider　　Disallow:　　User-agent:*　　Disallow:/　　4、禁止访问特定目录　　User-agent:*　　Disallow:/admin/　　Disallow:/css/　　Disallow:/*script/　　5、允许访问特定目录中的部分url　　User-agent:*　　Allow:/admin/user/　　All

6、ow:/data/d.html　　Disallow:/admin/　　Disallow:/data/　　6、使用”*”限制访问url　　User-agent:*　　Disallow:/upload/*.jspx　　禁止访问/upload/目录下的所有以”.jspx”为后缀的URL(包含子目录)。　　7、使用”$”限制访问url　　User-agent:*　　Allow:.htm$　　Disallow:/　　仅允许访问以”.htm”为后缀的URL。　　8、禁止访问网站中所有的动态页面　　User-agent:*　　Disal

7、low:/*?*　　9、禁止Baiduspider抓取网站上所有图片　　User-agent:Baiduspider　　Disallow:.jpg$　　Disallow:.jpeg$　　Disallow:.gif$　　Disallow:.png$　　Disallow:.bmp$　　10、仅允许Baiduspider抓取网页和.gif格式图片　　User-agent:Baiduspider　　Allow:.gif$　　Disallow:.jpg$　　Disallow:.jpeg$　　Disallow:.png$　　Disal

8、low:.bmp$　　允许抓取网页和gif格式图片，不允许抓取其他格式图片　　怎么样，例子也不难理解吧…紧接着再来看下一个问题：　　robots.txt文件里还可以直接包括在sitemap文件的链接。　　但加上这句话时，请特别读下面这段话：　　目前对此表示支持的搜索引擎公司有Google,Yahoo,A