8080

当我们成功启动spark后,通过http://localhost:8080即可访问master的监控界面,此端口号默认是8080,若此端口不可用,也可通过修改配置文件conf/spark-env.sh进行修改

spark 自带服务的端口 spark webui端口_spark

如上图所示,此页面自上而下包括: 
spark版本信息,spark master 的URL(worker用来连接此master的URL) 
worker的数量:1 
所有worker节点中可用和在用的core(查看资源的使用情况,参考是否适合再启动一个应用等) 
所有worker节点中可用和在用的memory(如上) 
正在运行和已经完成的应用数量 
master当前状态

workers部分 
-展示集群中每个worker的位置,到当前状态,内核使用情况,内存使用情况 
(通过查看内核和内存的用量情况确定是否足够运行一个新的应用) 
-点击workerID进入worker的detail页面会显示与该worker更详细的信息 
(理想情况下,所有worker节点使用的内核数和内存应该是相同的,如果出现使用率不同的情况,说明集群资源未平均分配,应用未最佳化运行,需停止所有应用重新启动集群)

Running/Completed Application部分 
-分别展示在运行和已经运行完的应用信息,包括名称,获得的资源,开始时间,所有者,已运行时间,目前状态(RUNNING/FINISHED/结束原因) 
(若state显示WAITING,则说明Spark对于应用没有足够的内存或内核,将保持等待直到有足够资源可用,有几种情况,一是直到已经在运行的一个应用完成运行,而是增加分配给spark worker的资源,三是将少应用的请求资源) 
-点击ApplicationID进入detail页面会显示看到关于该应用运行时的详细信息,包括参与的worker/使用的资源数/日志等 
(如果一个任务失败或抛出了异常,可以查看stderr文件来调试问题)

4040

localhost:4040(当应用在运行中的时候可以访问,一旦应用执行结束该端口关闭不可访问) 

如下图,显示基本的运行时间,调度模式(FIFO为先进先出),不状态中作业的统计量,并显示正在运行/已经完成/运行失败的spark作业较为详细的信息列表,例如,Job的提交时间/运行时间/目前为止每个Job完成的Stage和Task数量等 

(从运行时间项可以观察到,若某一个Job花费时间异常,可以把问题缩小到该Job下的Stage或者Task)

spark 自带服务的端口 spark webui端口_版本信息_02