你的位置:首页 > Java教程

[Java教程]spark on yarn 基于cdh5.7.2

概述:在cdh上搭建spark on yarn  

  -- 要点:安装好两个服务后,在yarn 实例中添加对应的gateway即可     

  ps:改完后  记得重启集群

 

 

一、首先添加图中红箭头所指服务   --即spark  与 yarn

二、给yarn添加gateway  图中红箭头所指默认是没有的,也就是我们将要添加的

2.1  点击本页红箭头所指按钮

 

2.2  选中对应的host  

2.3  点击继续完成

三、重启集群   点击restart即可

 

  测试使用:在任意一个节点执行

   spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/spark/lib/spark-examples.jar 10             

 --ps : /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/spark/lib/spark-examples.jar  该路径为你自己安装的cdh相关路径   

   在spark  UI 端查看如下,即证明成功