spark启动container报错总结

《spark启动container报错总结》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、在启动/usr/local/spark-1.6.0-bin-hadoop2.6/bin/spark-shell--masteryarn-client报错：2016-02-2211:59:19,775WARNorg.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor:Exceptionfromcontainer-launchwithcontainerID:container_1456113482512_0001_01_000003andexitcode:1ExitCodeExcept

2、ionexitCode=1:atorg.apache.hadoop.util.Shell.runCommand(Shell.java:538)atorg.apache.hadoop.util.Shell.run(Shell.java:455)atorg.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)atorg.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer

3、(DefaultContainerExecutor.java:211)atorg.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)atorg.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)atjava.util.co

4、ncurrent.FutureTask.run(FutureTask.java:262)atjava.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)atjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)atjava.lang.Thread.run(Thread.java:745)2016-02-2211:59:19,779INFOorg.apach

5、e.hadoop.yarn.server.nodemanager.ContainerExecutor:Exceptionfromcontainer-launch.开始查找原因，开始发现是内存不足。由于使用虚拟机每台机器内存都不太大，我一个有四台虚拟机。每个分配内存1G，后来将nodemanger机器内存调整到4G。问题依旧。经查看发现没有设置每个container内存大小，（5）yarn.scheduler.minimum-allocation-mb单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值

6、改为这个数。（6）yarn.scheduler.maximum-allocation-mb单个任务可申请的最多物理内存量，默认是8192（MB）。由于节点充当多重角色所以内存还是不足以支持多个container为1G的情况，所以将该值设值为512M，但是依旧无法启动container。在yarn-site.xml中添加日志路径：yarn.nodemanager.log-dirs/home/q/tmp/yarn/log发现有一下错误信息16/02/2213:3

7、3:37INFOutil.Utils:Successfullystartedservice'sparkExecutorActorSystem'onport50898.Exceptioninthread"main"java.lang.IllegalArgumentException:Systemmemory257949696mustbeatleast4.718592E8.Pleaseusealargerheapsize.atorg.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedM

8、emoryManager.scala:193)atorg.apache.spar