Nutch相关框架视频教程(Hadoop、Hbase、Lucene、Solr、

《Nutch相关框架视频教程(Hadoop、Hbase、Lucene、Solr、》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Nutch相关框架视频教程Nutch相关框架视频教程第一讲1、通过nutch，诞生了hadoop、tika、gora。2、nutch通过ivy来进行依赖管理（1.2之后）。3、nutch是使用svn进行源代码管理的。4、lucene、nutch、hadoop，在搜索界相当有名。5、ant构建之后，生成runtime文件夹，该文件夹下面有deploy和local文件夹，分别代表了nutch的两种运行方式。6、nutch和hadoop是通过什么连接起来的？通过nutch脚本。通过hadoop命令把ap

2、ache-nutch-1.6.job提交给hadoop的JobTracker。7、nutch入门重点在于分析nutch脚本文件。22/22Nutch相关框架视频教程第二讲1、git来作为分布式版本控制工具，github作为server。bitbucket.org提供免费的私有库。2、nutch的提高在于研读nutch-default.xml文件中的每一个配置项的实际含义（需要结合源代码理解）。3、定制开发nutch的入门方法是研读build.xml文件。4、命令：apt-getinstallsub

3、versionsvncohttps://svn.apache.org/repos/asf/nutch/tags/release-1.6/cdrelease-1.6apt-getinstallantantcdruntime/localmkdirurlsviurls/url.txt并输入http://blog.tianya.cnnohupbin/nutchcrawlurls-dirdata-depth3-threads100&virelease-1.6/conf/nutch-site.xml增加htt

4、p.agent.name配置22/22Nutch相关框架视频教程cd../../release-1.6antcdruntime/localnohupbin/nutchcrawlurls-dirdata-depth3-threads100&删除报错的文件夹nohupbin/nutchcrawlurls-dirdata-depth1-threads100&第三讲1、nutch的存储文件夹data下面各个文件夹和文件里面的内容究竟是什么？2、命令：crawldbbin/nutch

5、grepreadbin

6、/nutchreaddbdata/crawldb-statsbin/nutchreaddbdata/crawldb-dumpdata/crawldb/crawldb_dumpbin/nutchreaddbdata/crawldb-urlhttp://4008209999.tianyaclub.com/bin/nutchreaddbdata/crawldb-topN10data/crawldb/crawldb_topNbin/nutchreaddbdata/crawldb-topN10data/cr

7、awldb/crawldb_topN_m1segmentscrawl_generate：bin/nutchreadseg-dumpdata/segments/2013032504285822/22Nutch相关框架视频教程data/segments/20130325042858_dump-nocontent-nofetch-noparse-noparsedata–noparsetextcrawl_fetch：bin/nutchreadseg-dumpdata/segments/2013032504

8、2858data/segments/20130325042858_dump-nocontent-nogenerate-noparse-noparsedata–noparsetextcontent：bin/nutchreadseg-dumpdata/segments/20130325042858data/segments/20130325042858_dump-nofetch-nogenerate-noparse-noparsedata–noparsetextcrawl_parse：bin/nutc

9、hreadseg-dumpdata/segments/20130325042858data/segments/20130325042858_dump-nofetch-nogenerate-nocontent–noparsedata–noparsetextparse_data：bin/nutchreadseg-dumpdata/segments/20130325042858data/segments/20130325042858_dump-nofetch-nogenerate-noc