你的位置:首页 > 数据库

[数据库]1、Hadoop的伪分布式部署


伪分布式模式搭建:

 

1、环境准备

(1)主机名(root用户)
   
 # vi /etc/sysconfig/network  HOSTNAME=hadoo1 (不要用下划线)

 


(2)创建普通用户conglitrs(后期课程里面都会用这个用户去操作)
  # useradd conglitrs  # passwd conglitrs  

 


(3)把IP地址设置成静态IP(服务器是固定IP)
    虚拟机如下:
    # setup   --console
    或者
    
# vi /etc/sysconfig/network-scripts/ifcfg-eth0    BOOTPROTO=none    IPADDR=192.168.17.128    NETMASK=255.255.255.0    GATEWAY=192.168.17.2    DNS1=202.96.209.5    DNS2=8.8.8.8

 


(4)关闭防火墙和selinux
   
 # service iptables stop  # chkconfig iptables off   # vi /etc/sysconfig/selinux  SELINUX=disabled enforing

 


(5)添加hosts文件
 
  # vi /etc/hosts    192.168.xxx.xxx     hadoop1

 


(6)重启服务器
  
 # reboot  

 


 

2、目录   

  
 # mkdir /opt/softwares  (root)  # mkdir /opt/modules  (root)  # chown -R conglitrs:conglitrs /opt/ (root)

 


 

3、软件包

    xmanager  -->  hadoop2.5.0    jdk
 

4、安装jdk

$ tar zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/ (conglitrs用户)# vi /etc/profile  (root)## JAVA HOMEJAVA_HOME=/opt/modules/jdk1.7.0_67PATH=$PATH:$JAVA_HOME/bin $ source /etc/profile   (conglitrs用户) # rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 # rpm -e --nodeps tzdata-java-2012j-1.el6.noarch # rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64  

 


 
 

5、安装hadoop

 
$ tar zxvf hadoop-2.5.0.tar.gz -C /opt/modules/ (conglitrs)

 


 
 

6、使用notepad++工具修改配置

/opt/modules/hadoop-2.5.0/etc/hadoop

 


 
hadoop-env.sh:
export JAVA_HOME=/opt/modules/jdk1.7.0_67 

 


yarn-env.sh:
export JAVA_HOME=/opt/modules/jdk1.7.0_67

 


 
mapred-env.sh
JAVA_HOME=/opt/modules/jdk1.7.0_67

 


 
core-site.   
 <property>    <name>fs.defaultFS</name>    <value>hdfs://hadoop1:8020</value>  </property>

 


 
hdfs-site.
  <property>    <name>dfs.replication</name>    <value>1</value>  </property>

 


 

7、启动hdfs

hdfs -- >> (第一次)format  -->  start
 
$ bin/hdfs namenode -format$ sbin/hadoop-daemon.sh start namenode$ sbin/hadoop-daemon.sh start datanode$ jps  查看java进程

 


 

8、测试上传文件

$ bin/hdfs dfs -mkdir /input$ bin/hdfs dfs -put /etc/yum.conf /input$ bin/hdfs dfs -ls /input$ bin/hdfs dfs -cat /input/yum.conf

 


 

9、修改yarn相关

/opt/modules/hadoop-2.5.0/etc/hadoop

 


mapred-site. 
  <property>    <name>mapreduce.framework.name</name>    <value>yarn</value>   </property>

 


yarn-site.   
 <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value>  </property>

 


 

10、启动yarn相关服务

$ sbin/yarn-daemon.sh start resourcemanager$ sbin/yarn-daemon.sh start nodemanager

 


 
 

11、浏览器浏览

http://192.168.xxx.xxx:50070/http://192.168.xxx.xxx:8088/

 


 

12、简单mapreduce测试

 
$ vi sort.txthadoop marpreducemap  reducehadoop reducehadoop yarn $ bin/hdfs dfs -put sort.txt /input$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/sort.txt /output 

 


总结

core-site.hdfs-site.mapred-site.yarn-site.