你的位置:首页 > 软件开发 > Java > Solrj和Solr DIH索引效率对比分析

Solrj和Solr DIH索引效率对比分析

发布时间:2015-04-29 14:00:55
测试软件环境:    1、16G windows7 x64 32core cpu 。    2、jdk 1.7 tomcat 6.x solr 4.8数据库软件环境:    1、16G windows7 x64 32core cpu 。    2、Orac ...

Solrj和Solr DIH索引效率对比分析

测试软件环境:

    1、16G windows7 x64  32core cpu 。

    2、jdk 1.7  tomcat 6.x  solr 4.8

数据库软件环境:

    1、16G windows7 x64  32core cpu 。

    2、Oracle 11g 

一、Solr默认索引工具DIH。

  使用Solr DIH索引数据,一千九百万数据,耗时45分钟左右,每秒钟6500条/s,合计39w条每分钟。

  相关jvm最大堆内存为4G,solr index config使用默认参数。

  Solr DIH 导入截图:

  Solrj和Solr DIH索引效率对比分析

  导入2500w条数据总耗时一个小时左右

  Solrj和Solr DIH索引效率对比分析

  索引字段,总共15个左右

  Solrj和Solr DIH索引效率对比分析

  (备注:字段越少,字段值越小,索引的速度也越快,因此优化Solr查询和索引效率,schema设计显得尤为重要)

二、Solrj API 索引数据。

  使用Solrj api效率稍差,合计30w每秒,耗时一个多小时。

  Solr Server配置参数同上。在客户端机器上,读取数据库数据,使用Solrj api进行索引。代码如下:

  

import java.io.IOException;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.UUID;import org.apache.solr.client.solrj.SolrServer;import org.apache.solr.client.solrj.SolrServerException;import org.apache.solr.client.solrj.impl.HttpSolrServer;import org.springframework.context.ApplicationContext;import org.springframework.context.support.ClassPath

原标题:Solrj和Solr DIH索引效率对比分析

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

可能感兴趣文章

我的浏览记录