湖南省政府网站集约化建设/网络公司seo教程

我的火花版本是有2.1.1，和Hadoop版本的Apache Hadoop的2.7.3。

当在集群模式下纱线行走火花的工作，我可以通过标准输出/标准错误链接查看执行程序的日志像

http://hadoop-slave1:8042/node/containerlogs/container_1500432603585_0148_01_000001/hadoop/stderr?start=-4096

但是当工作完成后，通过标准输出/标准错误查看执行程序的日志链接会得到一个错误页面像

重定向到日志服务器container_1500432603585_0148_01_000001

java.lang.Exception的：未知的容器。容器或者没有 已启动或已经完成或者不属于此节点的所有 。

，然后它会自动重定向到

http://hadoop-slave1:8042/node/hadoop-master:19888/jobhistory/logs/hadoop-slave1:36207/container_1500432603585_0148_01_000001/container_1500432603585_0148_01_000001/hadoop

，并得到其他错误网页像

Sorry, got error 404

Please consult RFC 2616 for meanings of the error code.

Error Details

org.apache.hadoop.yarn.webapp.WebAppException: /hadoop-master:19888/jobhistory/logs/hadoop-slave1:50284/container_1500432603585_0145_01_000002/container_1500432603585_0145_01_000002/oryx: controller for hadoop-master:19888 not found

at org.apache.hadoop.yarn.webapp.Router.resolveDefault(Router.java:232)

at org.apache.hadoop.yarn.webapp.Router.resolve(Router.java:140)

at org.apache.hadoop.yarn.webapp.Dispatcher.service(Dispatcher.java:134)

at javax.servlet.http.HttpServlet.service(HttpServlet.java:820)

at com.google.inject.servlet.ServletDefinition.doService(ServletDefinition.java:263)

其实我可以使用这个网址访问该执行程序的日志时 火花作业已完成：

http://hadoop-master:19888/jobhistory/logs/hadoop-slave1:36207/container_1500432603585_0148_01_000001/container_1500432603585_0148_01_000001/hadoop

it与之前的url有点不同，它删除头部“hadoop-slave1：8042/node /”。

有谁知道另一种更好的方法来查看日志火花时，火花作业已完成？

我已经的ConfigEd纱线的site.xml

yarn.resourcemanager.hostname

hadoop-master

The hostname of the RM.

yarn.log-aggregation-enable

true

yarn.log.server.url

${yarn.resourcemanager.hostname}:19888/jobhistory/logs

和mapred-site.xml中

mapreduce.jobhistory.address

${yarn.resourcemanager.hostname}:10020

mapreduce.jobhistory.admin.address

${yarn.resourcemanager.hostname}:10033

mapreduce.jobhistory.webapp.address

${yarn.resourcemanager.hostname}:19888

+0

您可以用'纱日志 - 的applicationID application_id'看到完整的应用程序日志。 –

+0

我需要从纱网用户界面查看日志。有人可能没有执行“纱线日志”命令的权限。 –