java读取网站内容的两种方法.doc

《java读取网站内容的两种方法.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Java读取网站内容的两种方法一、HttpClient利用apache的虚拟客户端包获取某个地址的内容1importjava.io.UnsupportedEncodingException;2importjava.util.HashSet;3importjava.util.Iterator;4importjava.util.Set;5importjava.util.regex.Matcher;6importjava.util.regex.Pattern;78importorg.apache.commons.httpclient.HttpCli

2、ent;9importorg.apache.commons.httpclient.NameValuePair;10importorg.apache.commons.httpclient.methods.PostMethod;1112publicclasscatchMain{1314/***//**15*@paramargs16*/17publicstaticvoidmain（String［］args）{181920Stringurl=“http://search.foodqs.com/companysearch.asp”;21Stringke

3、yword=“食”;22Stringresponse=createhttpClient（url，keyword）;23}2425publicstaticStringcreatehttpClient（Stringurl，Stringparam）{26HttpClientclient=newHttpClient（）;27Stringresponse=null;28Stringkeyword=null;29PostMethodpostMethod=newPostMethod（url）;30try{31if（param！=null）32keyword

4、=newString（param.getBytes（“gb2312”），“ISO-8859-1”）;33}catch（UnsupportedEncodingExceptione1）{34//TODOAuto-generatedcatchblock35e1.printStackTrace（）;36}3738NameValuePair［］data={newNameValuePair（“keyword”，keyword）};39//将表单的值放入postMethod中40postMethod.setRequestBody（data）;4142try

5、{43intstatusCode=client.executeMethod（postMethod）;44response=newString（postMethod.getResponseBodyAsString（）45.getBytes（“ISO-8859-1”），“GBK”）;46}catch（Exceptione）{4748e.printStackTrace（）;49}50returnresponse;5152}53二、java自带的HttpURLConnection1publicstaticStringgetPageContent（St

6、ringstrUrl，StringstrPostRequest，2intmaxLength）{3//读取结果网页4StringBufferbuffer=newStringBuffer（）;5System.setProperty（“sun.net.client.defaultConnectTimeout”，“5000”）;6System.setProperty（“sun.net.client.defaultReadTimeout”，“5000”）;7try{8URLnewUrl=newURL（strUrl）;9HttpURLConnection

7、hConnect=（HttpURLConnection）newUrl10.openConnection（）;11//POST方式的额外数据12if（strPostRequest.length（）》0）{13hConnect.setDoOutput（true）;14OutputStreamWriterout=newOutputStreamWriter（hConnect15.getOutputStream（））;16out.write（strPostRequest）;17out.flush（）;18out.close（）;19}20//读取内容2

8、1BufferedReaderrd=newBufferedReader（newInputStreamReader（22hConnect.getInputStream