星空网 > 软件开发 > 数据库

spark streaming 与 kafka 结合使用的一些概念理解

  1. createStream会使用 Receiver;而createDirectStream不会,数据会通过driver接收。

  2.createStream使用 Receiver 源源不断的接收数据并把数据交给 ReceiverSupervisor 处理最终存储为 blocks 作为 RDD 的输入,从 kafka 拉取数据与计算消费数据相互独立;而createDirectStream会在每个 batch 拉取数据并就地消费,到下个 batch 再次拉取消费,周而复始,从 kafka 拉取数据与计算消费数据是连续的,没有独立开

  createStream 一般是一个inputstreaming 对应一个receiver,receiver其实就是一个消费者进程,你可以设置多个线程来消费,或者create多个inputstreaming 最后union就行。

  3.createStream中创建的KafkaInputDStream 每个 batch 所对应的 RDD 的 partition 不与 Kafka partition 一一对应;而createDirectStream中创建的 DirectKafkaInputDStream 每个 batch 所对应的 RDD 的 partition 与 Kafka partition 一一对应。




原标题:spark streaming 与 kafka 结合使用的一些概念理解

关键词:Kafka

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

海关严查、重罚!报关的这两个概念你分清了吗?:https://www.ikjzd.com/articles/19349
亚马逊站内外渠道引流方式详解:https://www.ikjzd.com/articles/19353
想要提高亚马逊listing转化率?教你1秒读懂Listing玩法!:https://www.ikjzd.com/articles/19355
社交电商的风口,跨境营销首选KOL?:https://www.ikjzd.com/articles/19356
Wish下狠手,又出罚款新政!:https://www.ikjzd.com/articles/19357
干货!最全产品图片拍摄技巧:https://www.ikjzd.com/articles/19359
如何从抖音上多挣钱?记住这12个字 :https://www.kjdsnews.com/a/1836445.html
连麦专家:2024年到底如何做小红书? :https://www.kjdsnews.com/a/1836446.html
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流