你的位置:首页 > 软件开发 > 数据库 > 【原创干货】大数据Hadoop/Spark开发环境搭建

【原创干货】大数据Hadoop/Spark开发环境搭建

发布时间:2016-09-09 16:00:11
已经自学了好几个月的大数据了,第一个月里自己通过看书、看视频、网上查资料也把hadoop(1.x、2.x)、spark单机、伪分布式、集群都部署了一遍,但经历短暂的兴奋后,还是觉得不得门而入。只有深入大数据开发才能逐步掌握大数据。而首先要搭开发环境,对于一个像我这样之前只做过pl ...

已经自学了好几个月的大数据了,第一个月里自己通过看书、看视频、网上查资料也把hadoop(1.x、2.x)、spark单机、伪分布式、集群都部署了一遍,但经历短暂的兴奋后,还是觉得不得门而入。

只有深入大数据开发才能逐步掌握大数据。而首先要搭开发环境,对于一个像我这样之前只做过plsql开发的人来说,确实走了很多弯路。一开始目标设得很高,直接下源代码编译成jar包进行使用,后来发现其实没什么必要,受到一些非技术因素尤其是**色社会主义网络的影响,sbt基本无法使用,直接下官方编译好的版本就行了。

注:我在搭建开发环境的过程中,在网上查阅了无数资料,也在《hadoop权威指南》等书里找过,但几乎找不到满意的,要不就是过程本身就有问题,要不就是提供的方法在天朝无法实践,还有就是写得过于简略或过于深奥。严重影响了搭建进度。看到本文的朋友们有福了,除去下载软件的时间,基本一个小时之内可以全部搞定。大道至简,很多东西要是不说清楚,写一万句废话也是没用的。

IDE:eclipse-Scala-Ide

hadoop:hadoop-2.6.2

spark:spark-1.2.0

一、hadoop开发环境

第一种方法:

直接用hadoop eclipse插件,再进行简单的配置就可以了。

原标题:【原创干货】大数据Hadoop/Spark开发环境搭建

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

可能感兴趣文章

我的浏览记录