spark-2.11-ExecutorRunnable

本文是对 org.apache.spark.deploy.yarn.ExecutorRunnable 源码进行学习的分析,spark版本为2.11。

概述

这个方法就是用来启动container的。准备环境、生成命令,发送给NMClient。

NMClient

NMClient是Node Manager的客户端。一下是一些常用的方法。

方法名 作用
public static NMClient createNMClient() 创建一个 NMClient实例
public void init(Configuration conf) 初始化 NMClient
public void start() 启动服务
public Map startContainer(Container container, ContainerLaunchContext containerLaunchContext) throws YarnException, IOException 启动一个分配的 contianer