你的位置:首页 > 软件开发 > Java > Java实现读取文章中重复出现的中文字符串

Java实现读取文章中重复出现的中文字符串

发布时间:2017-03-21 00:00:22
在上个星期阿里巴巴一面的时候,最后面试官问我如何把一篇文章中重复出现的词或者句子找出来,当时太紧张,答的不是很好。今天有时间再来亲手实现一遍。其实说白了也就是字符串的处理,所以难度并不是很大。以下是代码和运行效果:实现方法: 1 import java.io.*; 2 impor ...

Java实现读取文章中重复出现的中文字符串

在上个星期阿里巴巴一面的时候,最后面试官问我如何把一篇文章中重复出现的词或者句子找出来,当时太紧张,答的不是很好。今天有时间再来亲手实现一遍。其实说白了也就是字符串的处理,所以难度并不是很大。

以下是代码和运行效果:

实现方法:

 1 import java.io.*; 2 import java.util.*; 3  4 /** 5  * Created by chunmiao on 17-3-20. 6 */ 7 public class ReadArticle { 8   //读取文件名称 9   private String filename;10   //读取段落11   private ArrayList<String> result = new ArrayList<>();12   //最小字长(两个字以上进行匹配)13   private final int MINSIZE = 2;14   //重复词储存15   HashSet<String> set;16 17   public ReadArticle(String filename, HashSet<String> set) {18     this.filename = filename;19     this.set = set;20   }21 22 23   public void createData() throws IOException {24     String r;25     //读取文章内容26     BufferedReader in = new BufferedReader(new FileReader(new File(filename).getAbsoluteFile()));27     try {28       while ((r = in.readLine()) != null) {29         //消除不必要的标点符号30         r = r.replaceAll("\\s+ |“|\\[|‘|《| *|", "").trim();31         //留下” , 。 。” ”。 ”, ? 》 -等作为划分句子的分割符标示32         Collections.addAll(result, r.split(",|(。”|”(。|,)|。)|(\\])|”|’|?|:|》|-"));33       }34     }finally {35       in.close();36     }37 38     //对文章内容进行遍历找出重读出现的句子或者是词语39     for (int i = 0 ; i < result.size() - 1; i ++){40       for (int j = 0 ; j < result.size() - i - 1; j ++) {41         //将重复出现的词语保存到set集合里面42         set.addAll(getSameCharacter(result.get(i), result.get(j + i + 1)));43       }44     }45 46   }47 48   private ArrayList<String> getSameCharacter(String a1, String a2){49     String maxS;50     String minS;51     //短句遍历开始处52     int start = 0;53     //词的长度最短为两个字长54     int range =2;55     //设定短句和长句s,使得遍历更加快捷56     if (a1.length() <= a2.length()){57       maxS = a2;58       minS = a1;59     }else {60       maxS = a1;61       minS = a2;62     }63     String result = "";64     ArrayList<String> list = new ArrayList<String>();65     //防止substring时超出范围66     while (start + range <= minS.length()) {67       //如果句子或词在对象里面,则找出相应的句子或词保存在list里面68       if (maxS.indexOf(minS.substring(start, start + range)) != -1) {69         //获取最长句子,删除短句子70         list.remove(result);71         list.add(minS.substring(start, start + range));72         result = minS.substring(start, start + range);73         range++;74         continue;75       }76       range = MINSIZE;77       start++;78     }79     return list;80   }81 }

原标题:Java实现读取文章中重复出现的中文字符串

关键词:JAVA

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。