星空网 > 软件开发 > 数据库

Hadoop 一二事

大数据大数据,身边很多朋友都在谈大数据,Big Data!!!

到底是什么,用来干嘛的,也很少有人说得出一二,那今天开始就简单说说这一二事吧

hadoop 的来源:是作者女儿的一个玩具 - 一只黄色的大象

Hadoop 一二事

发音 /hadu:p/ 
在Apache旗下作为一个开源项目
它不是云计算,却是云计算中的一部分,属于大数据这块
hadoop是一个开源的分布式计算系统
 
hadoop所解决的问题:
     海量数据存储 - HDFS (分布式文件系统,分布在多台电脑上进行存储)可以理解为一个大型的网盘,例如百度网盘,115网盘,可以进行上传下载
     海量数据分析 - MapReduce (分布式的计算模型)有多台机子进行数据的分析,例如原来工地有一个人搬砖,一次性搬100块砖头,后来分为100个人,每个人搬10块,同时会有老大工头监控这些小弟
 
hadoop擅长日志分析
 
现在的淘宝使用Stome来进行实时推荐
 
凌晨分析后的产生有用的数据,分为冷数据和热数据,冷数据存放在MyFox中(Mysql集群),热数据存放在Prom中(HBase集群)
 
实时流数据处理使用Storm,可以用于购买商品时实时推送推荐商品
Hive可以用于附近认识的人,朋友圈你可能认识的人,校内网(从网,或者说人人网)中的推荐认识的好友
 
现在hadoop已经出到了2,但是很多公司还是会基于1.0版本,因为稳定,也省去了迁移的风险
Hadoop 一二事
 
生态圈,各种掉渣天高大上(非常喜欢zookeeper)
Hadoop 一二事
 
hadoop的安装有2种
本地模式:使用eclipse进行调试,只有一个map,只有一个reduce
伪分布式:模拟多台机子,进行调试
集群模式:生产环境
 

 
 
 




原标题:Hadoop 一二事

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

lazada总部在哪:https://www.goluckyvip.com/tag/85228.html
lazada怎么选品:https://www.goluckyvip.com/tag/85229.html
lazada包邮吗:https://www.goluckyvip.com/tag/85230.html
怎么入驻lazada:https://www.goluckyvip.com/tag/85234.html
lazada如何看销量:https://www.goluckyvip.com/tag/85235.html
lazada如何铺货:https://www.goluckyvip.com/tag/85236.html
深圳玉龙公园簕杜鹃花海花期时间+门票+交通:https://www.vstour.cn/a/365174.html
出境旅游预订须知:https://www.vstour.cn/a/365175.html
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流