测试软件环境: 1、16G windows7 x64 32core cpu 。 2、jdk 1.7 tomcat 6.x solr 4.8数据库软件环境: 1、16G windows7 x64 32core cpu 。 2、Orac ...
测试软件环境:
1、16G windows7 x64 32core cpu 。
2、jdk 1.7 tomcat 6.x solr 4.8
数据库软件环境:
1、16G windows7 x64 32core cpu 。
2、Oracle 11g
一、Solr默认索引工具DIH。
使用Solr DIH索引数据,一千九百万数据,耗时45分钟左右,每秒钟6500条/s,合计39w条没分钟。
相关jvm最大堆内存为4G,solr index config使用默认参数。
Solr DIH 导入截图:
二、Solrj API 索引数据。
使用Solrj api效率稍差,合计30w每秒,耗时一个多小时。
Solr Server配置参数同上。在客户端机器上,读取数据库数据,使用Solrj api进行索引。代码如下:
import java.io.IOException;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.UUID;import org.apache.solr.client.solrj.SolrServer;import org.apache.solr.client.solrj.SolrServerException;import org.apache.solr.client.solrj.impl.HttpSolrServer;import org.springframework.context.ApplicationContext;import org.springframework.context.support.ClassPath
原标题:Solrj API索引效率对比分析
关键词:
*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们:
admin#shaoqun.com
(#换成@)。