概述:在cdh上搭建spark on yarn
-- 要点:安装好两个服务后,在yarn 实例中添加对应的gateway即可
ps:改完后 记得重启集群
一、首先添加图中红箭头所指服务 --即spark 与 yarn
二、给yarn添加gateway 图中红箭头所指默认是没有的,也就是我们将要添加的
2.1 点击本页红箭头所指按钮
2.2 选中对应的host
2.3 点击继续完成
三、重启集群 点击restart即可
测试使用:在任意一个节点执行
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/spark/lib/spark-examples.jar 10
--ps : /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/spark/lib/spark-examples.jar 该路径为你自己安装的cdh相关路径
在spark UI 端查看如下,即证明成功
原标题:spark on yarn 基于cdh5.7.2
关键词:H5