在myeclipse中搭建nutch开发环境

《在myeclipse中搭建nutch开发环境》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、在MyEclipse中搭建Nutch开发环境1以JavaProject形式搭建1.1第一步：下载Nutch的压缩包到Nutch的网站上下载Nutch的压缩包，这里以Nutch1.1为例。Nutch各版本的下载地址为http://archive.apache.org/dist/nutch/，进入该网页后，找到apache-nutch-1.1-bin.tar.gz文件，将其下载到自己的电脑里。1.2第二步：新建一个Java项目打开MyEclipse，点击File→New→JavaProject新建一个Java项目，输入Proj

2、ectName如Nutch1.1，点击Finish按钮。如下图所示。1.1第三步：导入Nutch的代码将第一步下载的Nutch压缩包解压，解压后的目录结构如下图所示。将src/java目录下的整个org文件夹copy到Nutch1.1项目的src目录下。1.1第四步：导入Nutch的配置文件、Jar包、插件在第三步解压后的目录下，找到conf、lib、plugins三个文件夹，将这三个文件夹copy到Nutch1.1项目的根目录下（即与src目录同级）。Copy完后，Nutch1.1项目的目录结构如图所示。1.2第五步：替

3、换Nutch中Hadoop的核心包官方版本的Hadoop是不支持Windows下的存取操作的，我们需要将其替换为自己修改过的Jar包。在Nutch1.1项目的lib目录下，找到Hadoop的核心包（如：hadoop-0.20.2-core.jar），将其删除，然后将自己的Jar包（hadoop-0.21.0-core.jar）copy到该目录下。1.1第六步：在MyEclipse中为项目加载Jar包在MyEclipse中刷新Nutch1.1项目，可以看到如下所示的目录结构。我们会发现src目录下有错误存在，这是因为尽管该项

4、目的lib目录下有Jar包，但是没有将其加入到ClassPath变量中。下面来解决这个问题。在Nutch1.1目录上单击右键→BuildPath→ConfigureBuildPath…将打开如下所示的对话框。在Libraries选项卡里，点击AddJARs…按钮，将出现如下所示的对话框。展开Nutch1.1目录，展开lib目录，将lib文件夹及其子文件夹下的全部Jar包选中，然后单击OK按钮，如下图所示。单击OK按钮后，将回到Libraries选项卡，此时该选项卡将如下所示。最后，单击Libraries选项卡里的OK按钮，

5、回到MyEclipse的主页面，看看src目录上的错误是不是消失了。1.1第七步：在MyEclipse中为项目加载配置文件同理，虽然conf目录下已经有配置文件了，但Java虚拟机仍不能识别它们，因为它们也没有加入到ClassPath变量中。下面我们来将其加入。在conf目录上单击右键→BuildPath→UseasSourceFolder。然后我们会发现conf目录变成了一个“SourceFolder”，这样conf目录下的配置文件就被中加入到ClassPath变量中了。1.1第八步：修改Nutch中的配置Nutch中默

6、认的配置并不能使Nutch正常运行，需要修改几个地方后才能使Nutch运行起来。1.1.1修改nutch-default.xml在conf目录下找到nutch-default.xml文件，将其打开，找到http.agent.name配置项，如果该项的value值为空，则随便加入一个值，然后保存。如下图所示。1.1.2修改crawl-urlfilter.txt在conf目录下找到crawl-urlfilter.txt文件，将其打开，找到#accepthostsinMY.DOMAIN.NAME配置项，将其下面的正则表达式+^h

7、ttp://([a-z0-9]*.)*MY.DOMAIN.NAME/改为+^http://([a-z0-9]*.)*。找到#skipURLscontainingcertaincharactersasprobablequeries,etc.配置项，如果其下面有-[?*!@=]形式的正则表达式，将其删除，或将-号改为+号。最后，保存所作的修改。如下图所示。此外，还可以修改nutch-site.xml这个文件的配置。（这里略去，不作修改）1.1第九步：测试Crawl类，修正运行中的各种错误经过以上的操作，Nutch的开发环境

8、的搭建就有可能大功告成了，现在我们就可以开始运行Nutch了。我们通过Crawl类来运行Nutch，运行时将出现两种结果，一是顺利地运行完成，二是程序被各种异常终止（即运行失败）。如果出现第一种结果，恭喜你，Nutch的开发环境搭建成功；如果出现第二种结果，很抱歉，你可能离成功还有很远，不过没关系，你可