你的位置:首页 > 软件开发 > 数据库 > 在Ubutun 14.04 Desktop LTS上部署Hadoop 2.7.1(伪分布式)

在Ubutun 14.04 Desktop LTS上部署Hadoop 2.7.1(伪分布式)

发布时间:2015-09-09 16:00:06
1、安装Ubutun 14.04 Desktop LTS下载ISO文件,ubuntu-14.04.1-desktop-amd64.iso。在Virtualbox或者VmWare中新建虚拟机,将ISO文件设置为启动光盘。一路下一步,在需要输入用户的地方,输入用户名hduser,直到 ...

1、安装Ubutun 14.04 Desktop LTS


  • 下载ISO文件,ubuntu-14.04.1-desktop-amd64.iso。
  • 在Virtualbox或者VmWare中新建虚拟机,将ISO文件设置为启动光盘。
  • 一路下一步,在需要输入用户的地方,输入用户名hduser,直到系统安装完成。
  • 重启虚拟机,使用hduser登录系统。设置root的密码,输入sudo passwd命令:
    • hduser@hduser-VirtualBox:~$ sudo passwd
    • [sudo] password for hduser: (输入自己的密码)
    • 输入新的 UNIX 密码: (设置root密码)
    • 重新输入新的 UNIX 密码:(再次设置root密码) 
    • passwd:已成功更新密码
  • 为了便于后面操作,在ubuntu内安装增强功能(virtualbox增强功能或者vmtools)
  • 添加用户到sudo组:
    • 命令:sudo adduser hduser sudo。如果用户已经在此组内会提示。
  • 添加组hadoop,并将hduser添加至组hadoop(groups命令可以查看用户所在的组):
    • su
    • addgroup hadoop
    • usermod -a -G hadoop hduser
2、配置ssh免密码登录
  • 安装ssh serversudo apt-get install openssh-server
  • cd ~/.ssh/                         # 若没有该目录,请先执行一次ssh localhost
    • 到Oracle官网下载JDK1.7,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html。下载jdk-7u79-linux-x64.tar.gz。
    • 由于准备将JDK安装至/usr/lib/jvm下,所以先到/usr/lib/目录下建立jvm文件夹
      • cd /usr/lib/
      • sudo mkdir jvm
    • 解压下载的安装包至jvm文件夹(jdk1.7.0_79)
      • sudo tar zxvf /home/hduser/桌面/jdk-7u79-linux-x64.tar.gz -C /usr/lib/jvm 
        • 配置yarn-site.nano yarn-site.,修改为:
          • <configuration>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
              </property>
            </configuration>
            • 配置完成后,执行格式化:hdfs namenode -format。倒数第五行出现Exitting with status 0 表示成功,若为 Exitting with status 1 则是出错。
            • 启动hadoop所有的进程:2970 ResourceManager3461 Jps3177 NodeManager2361 NameNode2840 SecondaryNam
              • 【注意】若执行jps后提示:
              程序 'jps' 已包含在下列软件包中:

              原标题:在Ubutun 14.04 Desktop LTS上部署Hadoop 2.7.1(伪分布式)

              关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

可能感兴趣文章

我的浏览记录