你的位置:首页 > 数据库

[数据库]从mysql读取大量数据时的实践


背景

程序启动时,从mysql读取所有的数据,在内存中建立数据结构。mysql表中至少有100w条记录。以后根据时间定期从mysql增量读取数据,刷新内存结构。

表结构为{uid, product, state, modify_time,primary key(uid, product), key(modify_time)}

方法一

因为增量的更新都是按照modify_time来的,所以直观的想到根据modify_time来分页读取,每次读取1w行记录,循环100次就能全部读取100w条记录。

于是select * from table  order by modify_time limit 0,10000 直到limit 990000,10000。乍一看没什么问题。但是程序启动居然超过5分钟。用explain分析一下select语句的耗时,发现limit 990000, 10000时居然耗时几秒钟,确实用到了索引modify_time,但是扫描行数超过了5万多行。omg. 对于大数据量时,同一索引下有太多的数据,越往后查找越耗时。100w后数据就已经使系统不可用了。

方法二

表结构加一个字段,id自增类型,并建立唯一索引。查询语句变成select * from table where id >=m and id <n.同样是每次读取1w条数据,但每次都得很快的返回结果,避免了分页limit查询时的急剧下降的性能。

结论

从mysql查询时要避免limit m,n, 当m很大时。