阿里云E-MapReduce-常见问题指南-D

《阿里云E-MapReduce-常见问题指南-D》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、E-MapReduce常见问题E-MapReduce/常见问题常见问题常见问题作业和执行计划的区别在AliyunE-MapReduce中，要运行作业，需要有分成两个步骤，分别是：-创建作业在E-MapReduce产品中，说创建一个"作业"，实际上是创建一个"作业运行配置"，它并不能被直接运行。既如果在E-MapReduce中创建了一个"作业"，实际上只是创建了一个"作业如何运行的配置"，这份配置中包括该作业要运行的jar包，数据的输入输出地址，以及一些运行参数。这样的一份配置创建好后，给它命一个名，既定义了一个"作业"。当你需要调试运行作业

2、的时候就需要执行计划了。-创建执行计划执行计划，是将作业与集群关联起来的一个纽带。通过它，我们可以把多个作业组合成一个作业序列，通过它我们可以为作业准备一个运行集群（或者自动创建出一个临时集群或者关联一个已存在的集群），通过它我们可以为这个作业序列设置周期执行计划，并在完成任务后自动释放集群。我们也可以在他的执行记录列表上查看每一次执行的执行成功情况与日志。如何查看作业日志在E-MapReduce系统里，系统已经将作业运行日志按照jobid的规划上传到OSS中（路径由用户在创建集群时设置），用户可以直接在网页上点击查看作业日志。如果用户是登

3、录到master机器进行作业提交和脚本运行等，则日志根据用户自己的脚本而定，用户可以自行规划。直接在OSS上查看日志用户也可以直接从OSS上直接查找所有的日志文件，并下载。但是因为OSS不能直接查看，使用起来会比较麻烦一些。如果用户打开了日志，并且指定了一个OSS的日志位置，那么作业的日志要如何找到呢？例如对下面这个保存位置OSS://mybucket/emr/spark1.首先来到执行计划的页面，找到对应的执行计划，点击"运行记录"进入运行记录页面2.在运行记录页面找到具体的哪一条执行记录，比如最后的一条执行记录。然后点击它对应的"执行集

4、群"查看这个执行集群的ID3.然后再OSS://mybucket/emr/spark目录下寻找OSS://mybucket/emr/spark/集群ID这个目录17E-MapReduce/常见问题1.在OSS://mybucket/emr/spark/集群ID/jobs目录下会按照作业的执行ID存放多个目录，每一个目录下存放了这个作业的运行日志文件。集群、执行计划以及运行作业的计时策略集群的计时策略在集群列表里可以看到每个集群的运行时间，该运行时间的计算策略为运行时间=集群释放时刻-集群开始构建时刻。即集群一旦开始构建就开始计时，直到集群的

5、生命周期结束。执行计划的计时策略：在执行计划的运行记录列表，可以看到每次执行记录运行的时间，该时间的计时策略总结为两种情况：1.如果执行计划是按需执行的，每次执行记录的运行过程涉及到创建集群、提交作业运行、释放集群。所以按需执行计划的运行时间计算策略为，运行时间=构建集群的时间+执行计划包含所有作业全部运行结束的总耗时+集群释放的时间。2.如果执行计划是关联已有集群运行的，整个运行周期不涉及到创建集群和释放集群，所以其运行时间=执行计划包含所有作业全部运行结束的总耗时。作业的计时策略：这里的作业指的是被挂载到执行计划里面的作业。在每条执行计

6、划运行记录右侧的查看作业列表点击进去可以看到该作业。这里每个作业的运行时间的计算策略为，运行时间=作业运行结束的实际时间-作业开始运行的实际时间。作业运行开始（结束)的实际时间指的是作业被Spark或hadoop集群实际开始调度运行或运行结束的时间点。读写ODPS时，抛出java.lang.RuntimeException.Parseresponsedfailed:'...'。检查odpstunnelendpoint是否正确，如果写错会出现这个错误。多个ConsumerID消费同一个Topic时出现TPS不一致问

7、题。有可能这个Topic在公测或其他环境创建过，导致某些Consumer组消费数据不一致。请在工单系统中将对应的Topic和ConsumerID提交到ONS处理。E-MapReduce中能否查看作业的Worker上日志？可以。前置条件：是创建集群时发开"保存日志"选项。查看日志位置：执行计划列表->点击"运行记录"->执行记录->点击"查看作业列表"->作业列表->点击"查看作业Worker实例"。17E-MapReduce/常见问题例如：CREATEEXTERNALTABLEstorage_log(contentSTRING)PARTIT

8、IONEDBY(dsSTRING)ROWFORMATDELIMITEDFIELDSTERMINATEDBY't'STOREDASTEXTFILELOCATION'oss://x