Spark集群新增节点方法

Spark集群处理能力不足需要扩容，如何在现有spark集群中新增新节点？本文以一个实例介绍如何给Spark集群新增一个节点。

1. 集群环境

现有Spark集群包括3台机器，用户名都是cdahdp，主目录/home/ap/cdahdp，配置是2C8G虚拟机，集群基于yarn架构。

Master：128.196.54.112/W118PC01VM01

Slave1：128.196.54.113/W118PC02VM01

Slave2：128.196.54.114/W118PC03VM01

相关软件版本：jdk1.7、scala2.10.4、hadoop2.6.0、spark1.1

现在需要新增一个节点：128.196.54.115/W118PC04VM01，2C8G

首先停止当前集群：停止spark，停止hdfs和yarn。

2. 新节点要求

（1）新节点需要增加用户cdahdp，主目录/home/ap/cdahdp。与集群现有机器一致。

海外公司注册、海外银行开户、跨境平台代入驻、VAT、EPR等知识和在线办理：https://www.xlkjsw.com

原标题：Spark集群新增节点方法

关键词：