使用lynx文本浏览器检查网站的隐藏链接

《使用lynx文本浏览器检查网站的隐藏链接》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、使用Lynx文本浏览器检查网站的隐藏链接>>edu.5151doc.教育资源库　　Lynx是“DistributedputingGroupicputingServicesofTheUniversityofKansas”的产品，原先由LouMontulli、MichaelGrobec和CharlesRezac开发。后来GarrettBlythe（DosLynx的原）也加入Lynx团队。接著FoteosMacrides将Lynx移植到VMS系统，并且维持了这个软件一段时间。1995年，Lynx在GPL下发布，自此至今由一群志愿者维护。　　Lynx本来是为Unix和VMS设计，而且一直是GN

2、U/Linux中最受欢迎的console浏览器。也有DOS版本。近来更有MicrosoftE环境变量中，Lynx不会删除或者在构建HTTP下查询前对一些危险的字符如空格，TAB，CR和LF进行编码，这表示攻击者可以通过在正常URL后增加空格+"HTTP/1.0"+CRLF+部分头信息+CRLF+CRLF来重新构建URL并发送任意伪造的HTTP头。　　当程序启动Lynx时，URL主机部分如果由程序提供而路径由用户提供的情况下(如"lynx$path"，这里的路径由用户提供)，攻击者可以让这个程序访问.ithov.之外的L或Flash等复杂功能造成您无法在文本浏览器中看到整个网站，则搜索引

3、擎信息采集软件在抓取您的网站时可能会遇到问题。[1][2][3]下一页　　这里提到了“Lynx查看网站的方式和搜索引擎几乎一样的”。一个SEOer，如果真的到了很多细节都无法从别人那里获取参考的程度，那这段话相信他很难忽视掉的。我用了一段时间的Lynx，发现这个曾经的文本浏览器和搜索引擎爬虫很像的。你所听过的爬虫特性，在这里面都能找到一点影子。比如检测隐藏链接，我们只知道搜索引擎是不喜欢的，但是具体的检测方法是怎么样的呢?如果你用熟了Lynx，就发现一个非常简单的命令就搞定了。　　首先要搭建一个Lynx的运行环境。Lynx不能用那种编译过的在p.alibaba.并回车,这个页面上的隐藏

4、链接就一览无余了。如：　　　　检测出了隐藏链接，然后再进一步的分析一下，是哪些链接Lynx会认为是隐藏链接呢?可以看到，至少以下的一种链接是会被Lynx认为是隐藏链接的。代码为：<ahref=”.alibaba.”></a>，这个链接，即没有文字作为锚文本，也没有图片或其他作为链接的对象。如果不去加载CSS文件或JS文件，光就这个代码，在网页上是看不到这个链接的存在的。当然这就是隐藏链接，毫无争议的。这是Lynx认为的情况，搜索引擎也是一样的。从整个互联网来看，这种检测方法在99%的情况下都不会冤枉一个网站的。对于google来说，一个检测方法，如果能有40%以

5、上的反作弊效率，那是非常好的一个方法。　　一个非作弊的网站，产生这种情况的原因，是因为网页设计人员的一些“奇怪”的代码写法。如果你去检测你的网站，说不定也能看到这些隐藏链接。当然，Lynx的作用不止这个。它首先是能以一个可视化的角12下一页[这篇文章来自..，]度来展现爬虫看到了什么内容。用它可以挨个检查你的网页给搜索引擎爬虫展现了怎么样的内容。如：　　　　Lynx看到的内容，然后才是其他的一些功能：　　可以检测网页代码的完整性。如果提示有“BadHTML”就要注意一下。可以和IE一样查看源文件。命令在附录中。对cookie的跟踪是特别对待的。会提示你是不是跟踪cookie。对框架和表

6、单的处理和爬虫是一样的。URL太多参数，会造成浏览困难。可以查看网页返回的archives/426上一页[1][2][3]上一页12[这篇文章来自..，]