星空网 > 软件开发 > 数据库

【源】从零自学Hadoop:环境准备

阅读目录

  • 起因
  • 虚拟机
  • Linux
  • 系统安装
  • 系列索引

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。


文章是哥(mephisto)写的,SourceLink



 

起因

  我们对Hadoop有了初步的认知,得有NameNode,DataNode,NameNode和DataNode可以在一个机器上,但这样效果不好。由于本人的机器只有8G内存,所以这里就创建4个虚拟机一个专门给Ambari使用,一个给NameNode,另外两个给DataNode。

  我们开始迈出第一步了。

虚拟机

    这里我们使用VMware Workstation 10作为硬件生产环境。

  VMware的安装就不用多说了,很多地方可以找的到。

  这里我把VMware的服务都停用了,待使用的时候才开启,写了一个批处理脚本,使用管理员的方式运行即可启动所以VMware服务。

  脚本地址: github

Linux

  这里我们选择CentOS-6.4 64位作为我们的系统生产环境。

  下面我们开始安装4台虚拟机,这么没有使用Clone的方式去快捷创建,怕ip,mac,uuid等我们初学者还得要去修改的地方,预防一些可能出现的问题,等以后熟练后可以使用Clone的方式安装。

系统安装

一:虚拟机准备

  【源】从零自学Hadoop:环境准备

 二:文件->新建虚拟机,选择自定义

 
【源】从零自学Hadoop:环境准备

 三:选择WorkStation10

 

【源】从零自学Hadoop:环境准备

四:选择稍后安装系统

 
【源】从零自学Hadoop:环境准备

五:选择Linux->CentOS 64 bit

 【源】从零自学Hadoop:环境准备

六:输入虚拟机名称

  这里我的命名方式就是H+ip 

【源】从零自学Hadoop:环境准备

七:选择处理器个数,核心个数

  这里适当的给就行了,我配置很一般,就每个给一个核。给多了,实际OS的也得抢占,没意义。 

八:选择内存大小

  这里Ambari因为我单独作为一个服务器了,所以这个可以少给点, NameNode和DataNode可以多分配点。实际中我都只分配了1G,测试环境而已。 

九:选择网络类型

  这里不懂还是选择桥接网络,避免一些多余的配置出来。当然,高手另谈。

【源】从零自学Hadoop:环境准备

十:后面直接下一步下一步

  到了制定磁盘大小,除了Ambari的其他都建议30G以上。下一步下一步完成即可 

十一:鼠标右键H30等->设置->CD/DVD->改成使用IOS镜像 

 【源】从零自学Hadoop:环境准备

十二:启动H30

  开始安装CentOS,先启动了H30的点重新启动 

十三:选择第一个:Install or upgrad an exist system

 【源】从零自学Hadoop:环境准备

十四:跳过Media test 

 【源】从零自学Hadoop:环境准备

十五:选择简体中文

  英语牛逼的可以直接英语。键盘还是默认美式英语不修改。

 【源】从零自学Hadoop:环境准备

 十六:选择基本存储设备

 【源】从零自学Hadoop:环境准备

十七:忽略所有数据

  本来就是要做系统,原来的数据当然不要咯。 

【源】从零自学Hadoop:环境准备

十八:设置主机名

 【源】从零自学Hadoop:环境准备

十九:配置网络->编辑

   勾选自动连接
  IPV4设置:手动,添加。
    IP:192.168.1.30
    掩码:255.255.255.0
    网关:192.168.1.1
    DNS:192.168.1.1
  这里自动连接一定要勾选,免得一进去说ping不通,不勾选网络默认是不开的,得自己去改配置。DNS网关还是得设置上,要不访问不了外网。
  好了直接点应用
 
【源】从零自学Hadoop:环境准备

二十:设置root密码

   过于简单会提示,点忽略即可,不过在正式环境还是得设置个复杂的。
 
【源】从零自学Hadoop:环境准备

二十一:默认下一步,选择写入

 【源】从零自学Hadoop:环境准备

 二十二:选择最小安装,定制软件包

   点现在自定义。
  这里就不要选什么Desktop和其他的了.桌面的会装很多东西,而且浪费内存,选Desktop还不如去玩Windows
 
【源】从零自学Hadoop:环境准备

二十三:自定义存储库

   在多次实验中,个人觉得多选个基本系统的基本库就很够用了,像什么vim,yum,ssh都有,基本不用再挂载镜像然后安装。
  可能会多装点其他的库,不过带来的方便性比较适合我们这样的初学者。
  会玩的可以只选择vim,yum,ssh这常用的。
 
【源】从零自学Hadoop:环境准备
 

二十四:库安装

 【源】从零自学Hadoop:环境准备
 

二十五:安装完毕,重新引导。

 【源】从零自学Hadoop:环境准备
 
 

系列索引

  【源】从零自学Hadoop系列索引

 

 

 

 

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。


文章是哥(mephisto)写的,SourceLink


 




原标题:【源】从零自学Hadoop:环境准备

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流