你的位置:首页 > 软件开发 > 数据库 > flume坑之channel.transactionCapacity和HdfsSink.batchSize

flume坑之channel.transactionCapacity和HdfsSink.batchSize

发布时间:2015-12-17 13:00:11
不说过程了,直接说结果!一对相连接的channel-HdfsSink,无意间配置如下:...agent.channels.common-channel.transactionCapacity=10...agent.sinks.hdfs-sink.hdfs.batchSize=20 ...

  不说过程了,直接说结果!一对相连接的channel-HdfsSink,无意间配置如下:  简单测试之后发现flume报如下异常,倒也正常……

[2015-12-17 11:42:09:694 ERROR][org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:467)]process failed  但是......但是老子发现停掉发送,channelSize一直不减,hdfs里的数据也一直在涨!!!而且永远停不下来,数据被永远重放!!!

原标题:flume坑之channel.transactionCapacity和HdfsSink.batchSize

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

可能感兴趣文章

我的浏览记录