你的位置:首页 > 数据库

[数据库]四、PutMerge合并文件程序


一、需求

      服务器的apache日志文件可能比较小,Hadoop更适合处理大文件,效率会更高,此时就需要合并分散的文件,开发一个PutMerge程序,用于合并本地文件后存入HDFS系统中

二、java代码

package org.apache.hadoop.studyhdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;public class PutMergeFile {  public static void main(String[] args) throws Exception {    //赋初始值    args =new String[]{"/opt/dataFile","hdfs://Hadoop-senior02.beifeng.com:8020/input/putMerge.};    //1.get conf    Configuration conf =new Configuration();    //2.get filesystem    FileSystem hdfs =FileSystem.get(conf);    FileSystem local =FileSystem.getLocal(conf);    //3.get path    Path localPath=new Path(args[0]);    Path hdfsPath=new Path(args[1]);    //4.inputFiles    FileStatus[] inputFiles =local.listStatus(localPath);    //out stream    FSDataOutputStream outputStream =hdfs.create(hdfsPath);    FSDataInputStream inputStream;    for(FileStatus inputFile:inputFiles){      System.out.println(inputFile.getPath().getName());      inputStream=local.open(inputFile.getPath());      IOUtils.copyBytes(inputStream, outputStream, 4096,false);      IOUtils.closeStream(inputStream);    }    IOUtils.closeStream(outputStream);  }    }

 三、结果查看

代码:$bin/hdfs dfs -text /input/putMerge.


甘肃旅游团报价甘肃旅游团购优惠甘肃旅游线路报价深圳去青海旅游报价跟团去青海旅游多少钱韩国旅游收入创历史新高 中国游客消费功不可没 热带天堂森林公园2015元旦涨价吗?亚龙湾热带天堂森林公园元旦好玩吗? 冬季新玩法 宁波刺激新潮的户外之旅 2015年度最佳旅行胜地:南美篇 天露山禅龙峡度假区游玩攻略?禅龙峡游玩项目有哪些? 天露山禅龙峡野战怎么玩?新兴天露山禅龙峡漂流野战费用? 阳朔菩萨水岩团购多少钱?菩萨水岩团购怎么预约? 金谷羊角山好玩吗?佛冈金谷羊角山漂流一天游攻略? 悦筵:澳洲椰丝巧克力蛋糕 配椰汁奶油酱 北京西山:一片“学院派”风景(图) 大兴榆垡镇 秀色可餐南瓜宴 京郊:晴朗初秋 采摘甜蜜(组图) 香港深水埗怎么去?香港深水埗卖什么的? 香港去哪里买的包包好?香港去哪里买的包包好看? 香港迪士尼乐园有什么有趣的项目? 去香港旅游住哪里比较便宜? 552-0001-805 Datasheet 552-0001-805 Datasheet 552-0001-806 Datasheet 552-0001-806 Datasheet 552-0001-806F Datasheet 552-0001-806F Datasheet 黑龙江跟团到香港旅游 黑龙江跟团到香港旅游 黑龙江跟团到香港旅游 大庆跟团港澳旅游 大庆跟团港澳旅游 大庆跟团港澳旅游 内蒙古跟团香港两天一晚游 内蒙古跟团香港两天一晚游 内蒙古跟团香港两天一晚游