欢迎来到天天文库
浏览记录
ID:17488305
大小:23.50 KB
页数:3页
时间:2018-09-02
《hadoop使用常见问题以及解决方法--浙江大学数学系方建勇-13621847370》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、1:ShuffleError:ExceededMAX_FAILED_UNIQUE_FETCHES;bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit-a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。 /etc/security/limits.confvi/etc/security/limits.conf加上:softnofile102400hardnofile409600 $cd/etc/pam.d/ $sudovilogin 添加
2、 session required /lib/security/pam_limits.so2:Toomanyfetch-failuresAnswer:出现这个问题主要是结点间的连通不够全面。1)检查、/etc/hosts 要求本机ip对应 服务器名 要求要包含所有的服务器ip+服务器名2)检查.ssh/authorized_keys 要求包含所有服务器(包括其自身)的publickey3:处理速度特别的慢出现map很快但是reduce很慢而且反复出现reduce=0% Answer:结合第二点,然后修改conf/hadoop-env.sh中的e
3、xportHADOOP_HEAPSIZE=4000 4:能够启动datanode,但无法访问,也无法结束的错误在重新格式化一个新的分布式文件时,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs.data.dir的路径DataNode存放块数据的本地文件系统路径的目录也删除。如本此配置就是在NameNode上删除/home/hadoop/NameData,在DataNode上删除/home/hadoop/DataNode1和
4、/home/hadoop/DataNode2。这是因为Hadoop在格式化一个新的分布式文件系统时,每个存储的名字空间都对应了建立时间的那个版本(可以查看/home/hadoop/NameData/current目录下的VERSION文件,上面记录了版本信息),在重新格式化新的分布式系统文件时,最好先删除NameData目录。必须删除各DataNode的dfs.data.dir。这样才可以使namedode和datanode记录的信息版本对应。注意:删除是个很危险的动作,不能确认的情况下不能删除!!做好删除的文件等通通备份!!5:java.io.IOExce
5、ption:Couldnotobtainblock:blk_194219614024901469_1100file=/user/hive/warehouse/src_20090724_log/src_20090724_log出现这种情况大多是结点断了,没有连接上。6:java.lang.OutOfMemoryError: Java heapspace出现这种异常,明显是jvm内存不够得原因,要修改所有的datanode的jvm内存大小。Java-Xms1024m-Xmx4096m一般jvm的最大内存使用应该为总内存大小的一半,我们使用的8G内存,所以设置为4
6、096m,这一值可能依旧不是最优的值。7:Namenodeinsafemode 解决方法bin/hadoopdfsadmin-safemodeleave8:java.net.NoRouteToHostException:Noroutetohostj解决方法:sudo/etc/init.d/iptablesstop9:更改namenode后,在hive中运行select依旧指向之前的namenode地址这是因为:Whenyoucreateatable,hiveactuallystoresthelocationofthetable(e.g.hdfs://ip:p
7、ort/user/root/...)intheSDSandDBStablesinthemetastore.SowhenIbringupanewclusterthemasterhasanewIP,buthive'smetastoreisstillpointingtothelocationswithintheoldcluster.IcouldmodifythemetastoretoupdatewiththenewIPeverytimeIbringupacluster.Buttheeasierandsimplersolutionwastojustuseanelas
8、ticIPforthemaster所以要将metas
此文档下载收益归作者所有