你的位置:首页 > 数据库

[数据库]搜索引擎手记(三)之网页的去重


015年4月1日(星期二) 

晴 南风

  今天是愚人节,我们给同事过愚人节,爬虫也让我们技术部过了愚人节。通过对抓取数据的分析,发现有20%的数据都是重复数据。开会讨论,原来有两个问题,一个爬虫引擎有重大bug;另外一个问题,竟然对网页没有做去重处理。啊!My GOD!

通过和群里进行技术交流,大概明白了解决问题的思路。爬虫爬下的网页在通过ETL工具抽取到搜索引擎时候需要对内容进行去重的操作。评价网页内容重复的问题,大体上分为4种:

1、完全重复 文档内容和布局格式上毫无差别;

2、内容重复 文档内容相同,布局格式不同;

3、布局重复 文档重要的内容相同,布局相同;

4、部分重复 文档重要内容相同,布局格式不同。

我们出现的问题的原因,是因为爬虫组,只是对内容进行了简单的md5加密,作为索引。

不专业害死人呀!

我翻了翻网上的资料,网页去重流程大体如下图:

 

(上附图是我从网站找的)

去重的算法还不太复杂。大体上有Shingle算法、SuperShinge算法、I-Match算法和SimHash算法。在后面的几个章节,我会一一娓娓道来。