小谈dot net爬虫技术

《小谈dot net爬虫技术》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、小谈C#.NET下的爬虫(蜘蛛)技术(2009-01-2510:53:52)标签：爬虫 蜘蛛 it 爬虫，又称蜘蛛，是从别的网站抓取资源的一种方法，C#.NET使用爬虫的方法如下：protectedstringGetPageHtml(stringurl){stringpageinfo;try{WebRequestmyreq=WebRequest.Create(url);WebResponsemyrep=myreq.GetResponse();StreamReaderreader=newStreamRe

2、ader(myrep.GetResponseStream(),Encoding.GetEncoding("gb2312"));pageinfo=reader.ReadToEnd();}catch{pageinfo="";}returnpageinfo;} 按上述方法就可以在程序中获取某URL的页面源文件。 但是有些网站屏蔽了爬虫，那就需要模拟浏览器获取的方法来进行，具体代码如下：protectedstringGetPageHtml(stringurl){stringpageinfo;try{HttpW

3、ebRequestmyReq=(HttpWebRequest)HttpWebRequest.Create(url);myReq.Accept="image/gif,image/x-xbitmap,image/jpeg,image/pjpeg,application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-powerpoint,application/msword,*/*";myReq.UserAgent="Mozill

4、a/4.0(compatible;MSIE6.0;WindowsNT5.1;SV1;.NETCLR2.0.50727)";HttpWebResponsemyRep=(HttpWebResponse)myReq.GetResponse();StreammyStream=myRep.GetResponseStream();StreamReadersr=newStreamReader(myStream,Encoding.Default);pageinfo=sr.ReadToEnd().ToString();

5、}catch{pageinfo="";}returnpageinfo;}