Linux下Nutch-10分布式配置

《Linux下Nutch-10分布式配置》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、LinuxTNutch-1.0集群配置詹坤林中科院研究生院信息学院2010年5月目录0集群网络环境介绍11/etc/hosts文件酉己置12SSI1无密码验证配置22.1配置所有节点之间SSH无密码验证23JDK安装和Java环境变量配置33.1安装JDK1.633.2Java环境变量配置34Nutch集群配置45Nutch集群启动66Nutch分布式爬虫80集群网络环境介绍集群屮所有节点均是Ccnt-os系统，防火墙均禁用，sshd服务均开启；所有节点上均有一个名为nutch的用户，用户主目录是/home/nutcho集群包含三个节点：1个namenode

2、,2个datanode,节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：10.10.97.132gc03vml2namenode10.10.97.142gc04vml2datanodeOl10.10.97.144gc04vml4datanode021/etc/hosts文件配置namenode节点上vi/etc/hosts,将所有节点的名字和IP地址写入其中,写入如下内容，注意注释掉127.0.0.1行：10.10.97.13210.10.97.14210.10.97.144#127.0.0.1gc03vml2gc04vml2gc04v

3、ml4centos54localhost,localdomainlocalhost/etc/hosts文件需要复制到所有数据节点上。2SSH无密码验证配置Nutch是基于Hadoop的，Hadoop需要使用SSH协议，namenode将使用SSH协议启动namenode和datanode进程，dcitcinode向ncimenode传递心跳信息口J能也是使用SSH协议，这是我认为的，还没有做深入了解，datanode之间可能也需要使用SSH协议。假若是，则需要配置使得所有节点之间可以相互SSH无密码登陆验证)02.1配置所有节点之间SSH无密码验证(0)原理

4、节点A耍实现无密码公钥认证连接到节点B上时，节点A是客户端，节点B是服务端，需要在客户端A上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到服务端B上。当客户端A通过ssh连接服务端B时，服务端B就会生成一个随机数并用客户端A的公钥对随机数进行加密，并发送给客户端A。客户端A收到加密数Z后再用私钥进行解密，并将解密数回传给B,B确认解密数无误之后就允许A进行连接了。这就是一个公钥认证过程，其间不需耍用户手工输入密码。重要过程是将客户端A公钥复制到B±o因此如果要实现所有节点之间无密码公钥认证，则需要将所有节点的公钥都复制到所有节点上。(1)所有机器上

5、生成密码对(Q所有节点用notch用户登陆，并执行以下命令，生成rsa密钥对：zkl@zkl-ubuntu:^$ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/zkl/.ssh/id_rsa):默认路径Enterpassphrase(emptyfornopassphrase):回车，空密码Entersamepassphraseagain:Youridentificationhasbeensavedin/home/zkl/.ssh/idrs

6、a.Yourpublickeyhasbeensavedin/home/zkl/.ssh/idrsa.pub.这将在/home/nutch/.ssh/目录下生成一个私钥id_rsa和一个公钥idrsa・pub。(b)将所有datanode节点的公钥id_rsa.pub传送到namenode上：cpidrsa・pubdatanodeO1・idrsa・pubscpdatanodeOl.idrsa.pubnamenode节点ipt也址：/home/nutch/.sshcpid_rsa>pubdatanodeOn.id_rsa.pub(c)namenode节点上综合所

7、有公钥(包括自身)并传送到所有节点上cpidrsa.pubauthorizedkeysnamenode白己的公钥catdatanodeO1.idrsa・pub>>authorizedkeyscatdatanodeOn・idrsa.pub»authorizedkeys然后使用SSH协议将所有公钥信息authorized_keys复制到所有DataNode的.ssh目录下zkl@zkl-ubuntu:〜$scpauthorizedkeysdata节点ip地t止：/home/zkl/.ssh这样配置过后，所有节点之间可以相互SSH无密码登陆，可以通过命令“ssh节

8、点ip地址”来验证。3JDK安装和Java环境变量配