你的位置:首页 > 数据库

[数据库]开源分布式计算框架比较


    目前,比较流行的开源分布式计算框架主要有Hadoop MapReduce,Spark Streaming,Storm。这三个框架各有千秋,适合不同的场景。本文对三种框架进行多方面的简单比较。

    --->  Hadoop MapReduce    

            Hadoop MapReduce使用于大批量的集群任务,由于批量执行,故其时效性比较差。原生Java语言开发。

  --->   Spark Streaming

    Spark Streaming保留了Hadoop MapReduce的优点,其时效性有了很大提高。计算过程中,中间结果可以保存在内存中,从而对需要迭代计算和有较高时效性要求的系统提供很好的支持,多用于能容忍小延时的推荐和计算系统。

  ---> Storm

    Storm 一开始就是为实时处理设计,因此在实时分析/性能监测等需要高时效性的领域广泛采用,而且它理论上支持所有语言,只需要少量代码即可完成适配器。

 

下面的表格是对三者部分特性的比较,描述时间为 2015-5-3,三个项目均处于快速迭代中,文中描述特性会随时产生变化,如果与官方文档产生出入以官方文档为准。

 

参考:

  http://www.36dsj.com/archives/34666。