星空网 > 软件开发 > Java

spark Kryo serialization failed: Buffer overflow 错误

今天在写spark任务的时候遇到这么一个错误,我的spark版本是1.5.1.

1 Exception in thread "main" com.esotericsoftware.kryo.KryoException: Buffer overflow. Available: 0, required: 1242   at com.esotericsoftware.kryo.io.Output.require(Output.java:138)3   at com.esotericsoftware.kryo.io.Output.writeBytes(Output.java:220)4   at com.esotericsoftware.kryo.io.Output.writeBytes(Output.java:206)5   at com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ByteArraySerializer.write(DefaultArraySerializers.java:29)6   at com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ByteArraySerializer.write(DefaultArraySerializers.java:18)7   at com.esotericsoftware.kryo.Kryo.writeClassAndObject(Kryo.java:568)8   at carbonite.serializer$write_map.invoke(serializer.clj:69)

提示是说kryo序列化缓冲区溢出,导致job执行失败。那好,就把缓冲区改大点好了。搜索了一下答案。

说是可以这么设置:

1 SparkConf sparkConf = new SparkConf();2 sparkConf.set("spark.kryoserializer.buffer.mb","128"); 3 JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);

但是在测试的时候,spark提示这个设置在spark1.4之后过时了,建议使用来设置。

1 spark.kryoserializer.buffer

那就改改:

1 SparkConf sparkConf = new SparkConf();2 sparkConf.set("spark.kryoserializer.buffer","64");3 JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);

问题解决。

 




原标题:spark Kryo serialization failed: Buffer overflow 错误

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

双清专线是什么意思:https://www.goluckyvip.com/news/8661.html
海运中整箱和拼箱的区别:https://www.goluckyvip.com/news/8662.html
物流双清是什么意思:https://www.goluckyvip.com/news/8663.html
lazada的运费怎么算:https://www.goluckyvip.com/news/8664.html
VOVA平台的运费如何计算:https://www.goluckyvip.com/news/8665.html
跨境电商快递怎么发货:https://www.goluckyvip.com/news/8666.html
旅游景点的打油诗 旅游景点的打油诗怎么写:https://www.vstour.cn/a/366180.html
2024深圳龙岗区文化馆免费音乐培训课程安排+报名方式:https://www.vstour.cn/a/366181.html
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流