星空网 > 软件开发 > 数据库

1、Hadoop的伪分布式部署

伪分布式模式搭建:

 

1、环境准备

(1)主机名(root用户)
   
 # vi /etc/sysconfig/network  HOSTNAME=hadoo1 (不要用下划线)

 


(2)创建普通用户conglitrs(后期课程里面都会用这个用户去操作)
  # useradd conglitrs  # passwd conglitrs  

 


(3)把IP地址设置成静态IP(服务器是固定IP)
    虚拟机如下:
    # setup   --console
    或者
    
# vi /etc/sysconfig/network-scripts/ifcfg-eth0    BOOTPROTO=none    IPADDR=192.168.17.128   .NETMASK=255.255.255.0    GATEWAY=192.168.17.2    DNS1=202.96.209.5    DNS2=8.8.8.8

 


(4)关闭防火墙和selinux
   
 # service iptables stop  # chkconfig iptables off   # vi /etc/sysconfig/selinux  SELINUX=disabled enforing

 


(5)添加hosts文件
 
  # vi /etc/hosts    192.168.xxx.xxx     hadoop1

 


(6)重启服务器
  
 # reboot  

 


 

2、目录   

  
 # mkdir /opt/softwares  (root)  # mkdir /opt/modules  (root)  # chown -R conglitrs:conglitrs /opt/ (root)

 


 

3、软件包

    xmanager  -->  hadoop2.5.0    jdk
 

4、安装jdk

$ tar zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/ (conglitrs用户)# vi /etc/profile  (root)## JAVA HOMEJAVA_HOME=/opt/modules/jdk1.7.0_67PATH=$PATH:$JAVA_HOME/bin $ source /etc/profile   (conglitrs用户) # rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 # rpm -e --nodeps tzdata-java-2012j-1.el6.noarch # rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64  

 


 
 

5、安装hadoop

 
$ tar zxvf hadoop-2.5.0.tar.gz -C /opt/modules/ (conglitrs)

 


 
 

6、使用notepad++工具修改配置

/opt/modules/hadoop-2.5.0/etc/hadoop

 


 
hadoop-env.sh:
export JAVA_HOME=/opt/modules/jdk1.7.0_67 

 


yarn-env.sh:
export JAVA_HOME=/opt/modules/jdk1.7.0_67

 


 
mapred-env.sh
JAVA_HOME=/opt/modules/jdk1.7.0_67

 


 
core-site.   
 <property>    <name>fs.defaultFS</name>    <value>hdfs://hadoop1:8020</value>  </property>

 


 
hdfs-site.
  <property>    <name>dfs.replication</name>    <value>1</value>  </property>

 


 

7、启动hdfs

hdfs -- >> (第一次)format  -->  start
 
$ bin/hdfs namenode -format$ sbin/hadoop-daemon.sh start namenode$ sbin/hadoop-daemon.sh start datanode$ jps  查看java进程

 


 

8、测试上传文件

$ bin/hdfs dfs -mkdir /input$ bin/hdfs dfs -put /etc/yum.conf /input$ bin/hdfs dfs -ls /input$ bin/hdfs dfs -cat /input/yum.conf

 


 

9、修改yarn相关

/opt/modules/hadoop-2.5.0/etc/hadoop

 


mapred-site. 
  <property>    <name>mapreduce.framework.name</name>    <value>yarn</value>   </property>

 


yarn-site.   
 <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value>  </property>

 


 

10、启动yarn相关服务

$ sbin/yarn-daemon.sh start resourcemanager$ sbin/yarn-daemon.sh start nodemanager

 


 
 

11、浏览器浏览

http://192.168.xxx.xxx:50070/http://192.168.xxx.xxx:8088/

 


 

12、简单mapreduce测试

 
$ vi sort.txthadoop marpreducemap  reducehadoop reducehadoop yarn $ bin/hdfs dfs -put sort.txt /input$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/sort.txt /output 

 


总结

core-site.hdfs-site.mapred-site.yarn-site.


原标题:1、Hadoop的伪分布式部署

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

Facebook海外企业广告账户代理商 - Facebook开发客户应该怎么做?:https://www.ikjzd.com/articles/1673266184545660929
盘点手游出海标杆《原神》的全球营销策略:https://www.ikjzd.com/articles/1673267020323037185
国内企业申请沙特公司需要满足什么条件?如何注册沙特公司?:https://www.ikjzd.com/articles/1673269173595435010
墨西哥站Prime Day将持续6天!:https://www.ikjzd.com/articles/1673270759663104002
Prime Day倒计时啦:https://www.ikjzd.com/articles/1673276093416284162
HaiMa海玛国际|从贴牌到品牌,UGREEN绿联的海外营销逆袭之路!:https://www.ikjzd.com/articles/1673492071458742274
丽人丽妆2023年扭亏为盈 玉容初、美壹堂等自有品牌增速超40% :https://www.kjdsnews.com/a/1836576.html
一天拿下10万美金预售!深圳大卖出海第一年成为亚马逊供应商:https://www.kjdsnews.com/a/1836577.html
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流