星空网 > 软件开发 > 操作系统

如何在windows下安装配置pyspark notebook

第一步:安装anaconda

anaconda自带一系列科学计算包

如何在windows下安装配置pyspark notebookimages/loading.gif' data-original="http://images2015.cnblogs.com/blog/1004275/201608/1004275-20160805105040981-60324348.png" />

下载链接:http://pan.baidu.com/s/1b4jWlg 密码:fqq3

接着配置环境变量:如我安装在D盘下  如何在windows下安装配置pyspark notebook

 

试一下命令行启动,确保ipython从anaconda启动

 如何在windows下安装配置pyspark notebook

第二步:安装spark(需要提前安装JDK)

到官网下载spark安装包

http://spark.apache.org/downloads.html

我下的是这个版本:

如何在windows下安装配置pyspark notebook

解压缩之后,不要忘记添加环境变量

如何在windows下安装配置pyspark notebook

配置如下系统变量

如何在windows下安装配置pyspark notebook

如何在windows下安装配置pyspark notebook

 

这一步很重要  拷贝 E:\spark\python\pyspark  到 D:\anaconda\Lib\site-packages 目录下

 

第三步:修改spark\conf下的spark-env文件(不知道是否必要)

加入如下三行

export PYSPARK_PYTHON=/D:/anaconda
export PYSPARK_DRIVER_PYTHON=/D:/anaconda
export PYSPARK_SUBMIT_ARGS='--master local[*]'

 

第四步:启动pyspark

如何在windows下安装配置pyspark notebook

发现已启动成功,一般网页会自动打开http://localhost:8888/tree#

 

第五步:测试sc

如何在windows下安装配置pyspark notebook

成功!

 




原标题:如何在windows下安装配置pyspark notebook

关键词:Windows

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流