hadoop常见异常及解决办法

《hadoop常见异常及解决办法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop常见异常分析及解决方法1.org.apache.hadoop.security.AccessControlException:Permissiondenied:user=FDC2,access=EXECUTE,inode="job_201010161322_0003":heipark:supergroup:rwx------解决方法:在hdfs-site.xml中添加如下：dfs.permissionsfalse2.localhos

2、t:Error:JAVA_HOMEisnotset.需要在conf/hadoop-env.sh中设置JAVA_HOME环境变量：......exportHADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote$HADOOP_JOBTRACKER_OPTS"exportJAVA_HOME="/usr/customize/java"3.Warning:$HADOOP_HOMEisdeprecated.分析：Hadoop在bin/hadoop-config.sh中对HADOOP_HOME进行了判

3、断,意思是提醒你自己也定义了变量HADOOP_HOME.判断发生的地方：#therootoftheHadoopinstallationexportHADOOP_PREFIX=`dirname"$this"`/..exportHADOOP_HOME=${HADOOP_PREFIX}报出错误的地方：if["$HADOOP_HOME_WARN_SUPPRESS"==""]&&["$HADOOP_HOME"!=""];thenecho"Warning:$HADOOP_HOMEisdeprecated."1>&2留着异常也无所谓不会对程序的正常运行

4、产生影响。解决方法：添加exportHADOOP_HOME_WARN_SUPPRESS=TRUE到hadoop-env.sh中，注意要添加到集群中每一个节点中。4.ERRORorg.apache.hadoop.security.UserGroupInformation:PriviledgedActionExceptionjava.io.IOException:File...jobtracker.infocouldonlybereplicatedto0nodes,insteadof1分析：是防火墙的问题，需要把防火墙关掉。解决方法：首先Sto

5、pHadoop集群，接着执行：sudoufwdisable1：ShuffleError:ExceededMAX_FAILED_UNIQUE_FETCHES;bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit-a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi/etc/security/limits.conf加上：*softnofile102400*hardnofile409600$cd/e

6、tc/pam.d/$sudovilogin添加 sessionrequired   /lib/security/pam_limits.so针对第一个问题我纠正下答案：这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限造成的，上限默认为5。引起此问题的方式可能会有很多种，比如网络连接不正常，连接超时，带宽较差以及端口阻塞等。。。通常框架内网络情况较好是不会出现此错误的。2：Toomanyfetch-failuresAnswer:出现这个问题主要是结点间的连通不够全面。1)检查、/etc/hosts要求本机ip对

7、应服务器名要求要包含所有的服务器ip+服务器名2)检查.ssh/authorized_keys要求包含所有服务器（包括其自身）的publickey3：处理速度特别的慢出现map很快但是reduce很慢而且反复出现reduce=0%Answer:结合第二点，然后修改conf/hadoop-env.sh中的exportHADOOP_HEAPSIZE=40004：能够启动datanode，但无法访问，也无法结束的错误在重新格式化一个新的分布式文件时，需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNo

8、de持久存储名字空间及事务日志的本地文件系统路径删除，同时将各DataNode上的dfs.data.dir的路径DataNode存放块数据的本地文件系统路径的目录也删除。如本此配