Windows下IntelliJ IDEA中运行Spark Standalone

前提条件：

1、Spark Standalone 集群部署完成

2、Intellij Idea 能够运行 Spark local 模式的程序。 

源码：

 1 import org.apache.spark.{SparkContext, SparkConf} 2 import scala.math._ 3  4 /** 5  * Created by Edward on 2016/8/27. 6  */ 7 object WordCount { 8  def main(args: Array[String]) { 9 10   val sparkConf = new SparkConf().setAppName("WordCount")11    .setMaster("spark://node1:7077").setJars(List("D:\\documents\\Spark\\MyDemo\\Test\\out\\artifacts\\spark_sample_jar\\Test.jar"))12   //val sc = new SparkContext(sparkConf)13   val spark = new SparkContext(sparkConf)14   val slices = if (args.length > 0) args(0).toInt else 215   val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow16   val count = spark.parallelize(1 until n, slices).map { i =>17     val x = random * 2 - 118     val y = random * 2 - 119     if (x*x + y*y < 1) 1 else 020    }.reduce(_ + _)21   println("Pi is roughly " + 4.0 * count / n)22   spark.stop()23  }24 }

海外公司注册、海外银行开户、跨境平台代入驻、VAT、EPR等知识和在线办理：https://www.xlkjsw.com

原标题：Windows下IntelliJ IDEA中运行Spark Standalone

关键词：Windows