[it╱计算机]对搜索引擎的初步了解--lucene和nutch

《[it╱计算机]对搜索引擎的初步了解--lucene和nutch》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、搜索引擎(lucene、nutch)实例一简单抓取单一页面所有邮箱地址代码。（Java网络编程与正则表达式）packageTestWWW;importjava.io.BufferedReader;importjava.io.DataInputStream;importjava.io.IOException;importjava.io.InputStreamReader;importjava.net.MalformedURLException;importjava.net.URL;importjava.net.URLConnection;importjava

2、.util.regex.Matcher;importjava.util.regex.Pattern;publicclassConnectionTest{publicstaticvoidmain(String[]args){try{URLsina=newURL("http://www.sina.com.cn");URLConnectionsinaConnection=sina.openConnection();BufferedReaderbr=newBufferedReader(newInputStreamReader(sinaConnection.getI

3、nputStream()));Stringstr="";while((str=br.readLine())!=null){//System.out.println(str);parse(str);}System.out.println("测试结束");br.close();}catch(MalformedURLExceptione){e.printStackTrace();}catch(IOExceptione){e.printStackTrace();}}privatestaticvoidparse(Stringstr){Patternp=Pattern

4、.compile("[\w[.-]]+@[\w[.-]]+\.[\w]+");//Patternp=Pattern.compile("\u005B.+<.+a>");//Patternp=Pattern.compile(".*?通知书.*<.+a>");//先吞到.*再与全部匹配//Patternp=Pattern.compile(".*<.+a>");Matcherm=p.matcher(str);//独占的全吃不吐出，再读后面的while(m.find()){System.out

5、.println(m.group());}}}publicstaticvoidmain(String[]args){try{URLsina=newURL("http://www.sina.com.cn");URLConnectionsinaConnection=sina.openConnection();BufferedReaderbr=newBufferedReader(newInputStreamReader(sinaConnection.getInputStream()));Stringstr="";while((str=br.readLine())

6、!=null){//System.out.println(str);parse(str);}System.out.println("测试结束");br.close();}catch(MalformedURLExceptione){e.printStackTrace();}catch(IOExceptione){e.printStackTrace();}}privatestaticvoidparse(Stringstr){Patternp=Pattern.compile("[\w[.-]]+@[\w[.-]]+\.[\w]+");Matcherm=p

7、.matcher(str);//独占的全吃不吐出，再读后面的while(m.find()){System.out.println(m.group());}一、搜索引擎原理用户用户用户检索入口google百度结果排序网页索引网页分析网页抓取互联网搜索引擎技术框架图1.1网页抓取技术在互联网海量信息中发现并搜索多种类型的文档内容。如html,xml,ppt,word,pdf,多媒体信息等。即网络爬虫。http解析网页http下载请求http页面应答网页信息抓取软件原理图1.1.1深度优先依次访问下一级网页链接，直到不能再深入为止。适合专业化的垂直搜索。1.1.

8、2广度优先按照目录层次较浅的网页内容先搜索的方法。访问完一层再访问