你的位置:首页 > 数据库

[数据库]redis参考文档


本文为之前整理的关于redis的文档,放到博客上一份,也方便我以后查阅。

redis简介

Redis是一个开源的、高性能的、基于键值对的缓存与存储系统, 通过提供多种键值数据类型来适应不同场景下的缓存与存储需求。 同时 Redis 的诸多高层级功能使其可以胜任消息队列、任务队列等不同的角色。

官方网站:http://redis.io/

开发语言:C

redis安装及配置

安装

wget http://download.redis.io/releases/redis-3.0.7.tar.gztar zxvf redis-3.0.7.tar.gzcd redis-3.0.7/makemake install

安装后,在/usr/local/bin下面有如下文件:

redis-server   服务器redis-cli    命令行客户端redis-benchmark 性能测试工具redis-check-aof AOF文件修复工具redis-check-dump RDB文件检查工具

启动

不指定配置文件启动,在控制台执行:redis-server

指定配置文件启动,需要加上参数:redis-server /etc/myredis.conf

指定端口启动:redis-server –port 6379

以salve方式启动:redis-server –port 6380 –slaveof 127.0.0.1 6379


可以使用redis自带的redis-cli作为客户端连接服务器


配置

  1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程

    daemonize no


  2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定

    pidfile /var/run/redis.pid


  3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字

    port 6379


  4. 绑定的主机地址

    bind 127.0.0.1


  5. 当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能

    timeout 300


  6. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose

    loglevel verbose


  7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null

    logfile stdout


  8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id

    databases 16


  9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合

    save <seconds> <changes>

    Redis默认配置文件中提供了三个条件:

    save 900 1

    save 300 10

    save 60 10000

    分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。


  10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大

    rdbcompression yes

  11. 指定本地数据库文件名,默认值为dump.rdb

    dbfilename dump.rdb

  12. 指定本地数据库存放目录

    dir ./

  13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步

    slaveof <masterip> <masterport>

  14. 当master服务设置了密码保护时,slav服务连接master的密码

    masterauth <master-password>

  15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭

    requirepass foobared

  16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clients reached错误信息

    maxclients 128

  17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区

    maxmemory <bytes>

  18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no

    appendonly no

  19. 指定更新日志文件名,默认为appendonly.aof

    appendfilename appendonly.aof


  20. 指定更新日志条件,共有3个可选值: no:表示等操作系统进行数据缓存同步到磁盘(快) always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全) everysec:表示每秒同步一次(折衷,默认值)

    appendfsync everysec

  21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)

    vm-enabled no


  22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享

    vm-swap-file /tmp/redis.swap


  23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0

    vm-max-memory 0


  24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值

    vm-page-size 32


  25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个pages将消耗1byte的内存。

    vm-pages 134217728


  26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4

    vm-max-threads 4


  27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启

    glueoutputbuf yes

  28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法

    hash-max-zipmap-entries 64

    hash-max-zipmap-value 512

  29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)

    activerehashing yes

  30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件

    include /path/to/local.conf



redis数据库管理工具

命令行管理工具

redis_cli是redis自带的命令行工具。

用法示例:

root@debian8:redis-3.0.7# redis-cli127.0.0.1:6379> keys *(empty list or set)127.0.0.1:6379>

图形管理工具

redis desktop

https://redisdesktop.com/



基本操作

这里字符串类型为例描述redis的基本操作命令,其它数据类型参考文档。

  • SET

如果key不存在,该命令可以完成添加操作;如果key存在,该命令实现更新操作;

SET key value

  • GET

获取某个key所对应的值,格式如下:

GET key

  • DEL

删除操作,格式如下:

DEL key

  • KEYS

获取符合规律的键名列表,格式如下:

KEYS pattern

pattern支持glob风格通配符格式,具体如下:

?    匹配一个字符*    匹配任意个(包括0个)字符[]   匹配括号间的任一字符,可以使用"-"符号表示一个    范围,如a[b-d]可以匹配"ab","ac"和"ad"\x   匹配字符x,用于转义符号。

  • EXISTS

用于判断一个键是否存在,格式:

EXISTS key

  • EXPIRE

设置key的超时时间TTL(Time To Live),生存时间到期后键会自动被删除,格式:

EXPIRE key seconds

数据模型

Redis是REmote DIctionary Server(远程字典服务器)的缩写, 它以字典结构存储数据,并允许其他应用通过TCP协议读写字典中的内容。 同大多数脚本语言中的字典一样,Redis字典中的键值除了可以是字符串,还可以是其他数据类型。 到目前为止 Redis 支持的键值数据类型如下:

字符串类型

字符串是redis最基础的数据类型,它能存储任何形式的字符串,包括二进制数据。 一个字符串类型键允许存储的数据的最大容量是512M。 常用命令如下:

  • SET

赋值操作

SET key value

示例:

SET a 5 ==> OK

  • GET

取值操作

GET key

示例:

GET a ==> "5"

  • INCR

递增操作,键不存在时创建并赋0,否则+1

INCR key

示例:

INCR a ==> 6

  • DECR

递减操作

DECR key

示例:

DECR a ==> 5

  • INCRBY

与incr一样,不过可以指定增加的数值

INCRBY key num

示例:

INCRBY a 10  ==> 15

  • APPEND

追加,返回追加后字符串长度

APPEND key value

示例:

APPEND a 6 ==> 156

  • STRLEN

获取字符串长度

STRLEN key

示例:

STRLEN a ==> 3

  • MSET

同时设置多个键值

MSET key value[key2 value2 ...]

示例:

MSET key1 1 key2 2 ==> OK

  • MGET

同时获取多个键值

MGET key1 key2 =>1) "1"2) "2"

其它string命令参考官方手册 : http://redis.io/commands#string


散列类型

散列类型(hash)的键值也是一种字典结构,其存储了字段(field)和字段值的映射, 但字段值只能是字符串,不支持其他数据类型,也就是散列类型不能嵌套其他的数据类型。

除了散列类型,Redis 的其他数据类型同样不支持数据类型嵌套。比如集合类型的每个元素都只能是字符串,不能是另一个集合或散列表等。

散列类型适合存储对象:使用对象类别和 ID 构成键名,使用字段表示对象的属性, 而字段值则存储属性值。

常用命令如下:

  • HSET

设置或修改字段值

HSET key field value

  • HGET

获取字段值

HGET key field

  • HMSET

同时设置多个字段

HMSET key field value [field value ...]

  • HMGET

同时获取多个字段值

HMGET key field [field ...]

  • HGETALL

获取键中所有字段和值

HGETALL key

  • HEXISTS

判断字段是否存在,存在返回1,否则返回0(如果键不存在也返回0)

HEXISTS key field

其它hashs命令参考官方手册 : http://redis.io/commands#hash


列表类型

列表类型(list)可以存储一个有序的字符串列表,常用的操作是向列表两端添加元素,或者获得列表的某一个片段。

列表类型内部是使用双向链表(double linked list)实现的,所以向列表两端添加元素的时间复杂度为O(1),获取越接近两端的元素速度就越快。 这意味着即使是一个有几千万个元素的列表,获取头部或尾部的10条记录也是极快的(和从只有20个元素的列表中获取头部或尾部的10条记录的速度是一样的)。

这种特性使列表类型能非常快速地完成关系数据库难以应付的场景: 如社交网站的新鲜事,我们关心的只是最新的内容,使用列表类型存储, 即使新鲜事的总数达到几千万个,获取其中最新的100条数据也是极快的。 同样因为在两端插入记录的时间复杂度是O(1),列表类型也适合用来记录日志,可以保证加入新日志的速度不会受到已有日志数量的影响。

常用命令如下:

  • LPUSH

向列表的左边增加元素,返回增加元素后列表的长度

LPUSH key value[ value..]

  • RPUSH

向列表的右边增加元素

RPUSH key value[ value..]

  • LPOP

从列表左边移除一个元素,并返回该元素值

LPOP key

  • RPOP

从列表的右侧移除一个元素,并返回该元素值

RPOP key

  • LLEN

返回列表元素个数,键不存在时返回0

LLEN key

  • LRANGE

获取列表片段,start和stop支持负数,-1表示右数第一个

LRANGE key start stop

  • LREM

删除列表中指定的值,返回删除的元素个数

LREM key count value

  • LINDEX

获取指定索引元素值

LINDEX key index

  • LSET

设置指定索引的元素值

LSET key index value

  • LTRIM

只保留列表指定片段,删除其他元素

LTRIM key start end

其它命令参考官方手册 : http://redis.io/commands#list


集合类型

集合中的每个元素都不同,且没有顺序。

常用命令如下:

  • SADD

增加一个或多个元素

SADD key member[ member..]

  • SREM

移除一个或多个元素

SREM key member[ member..]

  • SMEMBERS

获取集合中所有的元素

SMEMBERS key

  • SISMEMBER

判断元素是否存在集合中

SISMEMBER key member

  • SCARD

获取集合的元素个数

SCARD key

  • SRANDMEMBER

返回1个或count个随机元素

SRANDMEMBER key[ count]

  • SDIFF

集合差运算

SDIFF key[ key..]

  • SINTER

集合交集运算

SINTER key[ key..]

 







  • SUNION

集合并集运算

SUNION key[ key..]

其它sets命令参考官方手册 : http://redis.io/commands#set


有序集合类型

在集合类型的基础上有序集合类型为每个元素都关联了一个分数,这使我们可以使用集合类型的操作之外,还能做与分数有关的操作。

常用命令如下:

  • ZADD

增加一个带分数的元素,如果已存在,则替换分数

ZADD key score member[ score member..]

  • ZSCORE

获得元素分数

ZSCORE key member

  • ZRANGE

获得排名在某个范围内的元素,返回按score升序排序的元素

ZRANGE key start end[ WITHSCORES]

  • ZREVRANGE

与zrange使用一致,返回按score降序的元素

ZREVRANGE key start end[ WITHSCORES]

  • ZRANGEBYSCORE

获得指定分数范围内的元素

ZRANGEBYSCORE key min max WITHSCORES

  • ZREVRANGEBYSCORE

获得指定分数范围内的元素,降序排序

ZREVRANGEBYSCORE key max min WITHSCORES

  • ZINCREBY

增加某个元素的分数

ZINCREBY key increment member

  • ZCARD

获取集合中元素个数 

ZCARD key

  • ZCOUNT

获得指定分数范围内的元素个数

ZCOUNT KEY min max

  • ZREM

删除一个或多个元素

ZREM key member[ member..]

  • ZRANK

获取分数从小到大排序的位置

ZRANK key member

其它sorted_set命令参考官方手册 : http://redis.io/commands#sorted_set




redis事务

Redis 事务可以一次执行多个命令,并且带有以下两个重要的保证:

  1. 事务是一个单独的隔离操作:

事务中的所有命令都会序列化、按顺序地执行。 事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。

  1. 事务是一个原子操作:

事务中的命令要么全部被执行,要么全部都不执行。

一个事务从开始到执行会经历以下三个阶段:

  1. 开始事务(multi)
  2. 命令入队
  3. 执行事务(exec)

示例如下:

127.0.0.1:6379> MULTIOK127.0.0.1:6379> set var 1QUEUED127.0.0.1:6379> get varQUEUED127.0.0.1:6379> exec1) OK2) "1"127.0.0.1:6379>

redis客户端开发库

c客户端

Redis官方推荐的C客户端是hiredis, github地址:https://github.com/redis/hiredis

同步API

  • redisConnect

连接redis数据库(同步方式)

redisContext *redisConnect(const char *ip, int port);

用法示例:

redisContext *c = redisConnect("127.0.0.1", 6379);if (c == NULL || c->err) {  if (c) {    printf("Error: %s\n", c->errstr);    // handle error  } else {    printf("Can't allocate redis context\n");  }}

  • redisCommand

给redis发送命令

void *redisCommand(redisContext *c, const char *format, ...);

用法示例:

reply = redisCommand(context, "SET foo bar");reply = redisCommand(context, "SET foo %s", value);reply = redisCommand(context, "SET foo %b", value, (size_t)valuelen);reply = redisCommand(context, "SET key:%s %s", myid, value);

  • freeReplyObject

释放redis资源

void freeReplyObject(void *reply);

其它api参考hiredis.h


异步API

  • redisAsyncConnect

连接redis数据库(异步方式)

redisAsyncContext *redisAsyncConnect(const char *ip, int port);

示例代码:

redisAsyncContext *c = redisAsyncConnect("127.0.0.1", 6379);if (c->err) {  printf("Error: %s\n", c->errstr);  // handle error}

  • redisAsyncSetConnectCallback

redis连接回调函数

int redisAsyncSetConnectCallback(redisAsyncContext *ac, redisConnectCallback *fn);

示例代码:

void connectCallback(const redisAsyncContext *c, int status) {  if (status != REDIS_OK) {    printf("Error: %s\n", c->errstr);    return;  }  printf("Connected...\n");}redisAsyncSetConnectCallback(c,connectCallback);

  • redisAsyncSetDisconnectCallback

redis断开连接的回调函数

int redisAsyncSetDisconnectCallback(redisAsyncContext *ac, redisDisconnectCallback *fn);

示例代码:

void disconnectCallback(const redisAsyncContext *c, int status) {  if (status != REDIS_OK) {    printf("Error: %s\n", c->errstr);    return;  }  printf("Disconnected...\n");}redisAsyncSetDisconnectCallback(c,disconnectCallback);

  • redisAsyncCommand

以异步方式给redis发送命令。

int redisvAsyncCommand(redisAsyncContext *ac, redisCallbackFn *fn, void *privdata, const char *format, va_list ap);int redisAsyncCommand(redisAsyncContext *ac, redisCallbackFn *fn, void *privdata, const char *format, ...);

示例代码:

void getCallback(redisAsyncContext *c, void *r, void *privdata) {  redisReply *reply = r;  if (reply == NULL) return;  printf("argv[%s]: %s\n", (char*)privdata, reply->str);  /* Disconnect after receiving the reply to GET */  redisAsyncDisconnect(c);}redisAsyncCommand(c, NULL, NULL, "SET key %b", argv[argc-1], strlen(argv[argc-1]));redisAsyncCommand(c, getCallback, (char*)"end-1", "GET key");

  • redisAsyncDisconnect

断开异步连接

void redisAsyncDisconnect(redisAsyncContext *ac);

其它api参考async.h



python客户端

Redis官方推荐的Python客户端是redis-py, github地址: https://github.com/andymccurdy/redis-py

安装方式:

pip install redis

或者

easy_install redis

使用方法

1. 导入redis

import redis

2. 连接到redis

r = redis.StrictRedis() # 默认 127.0.0.1:6379

也可以显式指定需要连接的地址:

r = redis.StrictRedis(host='127.0.0.1',port=6379,db=0)

3.操作redis

以SET和GET命令为例:

r.set('var','1')print r.get('var')

异步方式redis客户端请参考asyncio_redis: http://asyncio-redis.readthedocs.org/en/latest/




redis作为消息队列

工作队列模式

redis的队列实际在代码逻辑中不需要由我们自己实现, 因此一个所谓的 RedisMQ 对象实际是一个 redis key以及对其操作的一些封装。

可以通过list的lpush和rpop来模拟实现。

127.0.0.1:6379> LPUSH q1 1(integer) 1127.0.0.1:6379> LPUSH q1 2(integer) 2127.0.0.1:6379> LPUSH q1 3(integer) 3127.0.0.1:6379> RPOP q1"1"127.0.0.1:6379> RPOP q1"2"127.0.0.1:6379> RPOP q1"3"127.0.0.1:6379>

如果是优先级队列可以用zset来实现。


订阅发布模式

实现思想很简单,Publisher调用redis的publish方法往特定的channel发送消息,Subscriber在初始化的时候要subscribe到该channel,一旦有消息就会立即接收。

订阅消息(redis-cli终端1):

SUBSCRIBE first second

发布消息(redis-cli终端2):

PUBLISH first 1PUBLISH second 2

其它命令参考: http://redis.io/commands#pubsub

更多关于pubsub的描述详见:http://redis.io/topics/pubsub



Redis作为消息队列与RabbitMQ的性能对比:

http://zqdevres.qiniucdn.com/data/20110714104018/index.html

脚本支持

Redis提供了通过eval命令来执行Lua 5.1脚本。

下面通过几个小例子来讲述如何在Redis服务端执行Lua脚本。

  • redis-cli中直接执行lua脚本
    127.0.0.1:6379> eval "return redis.call('set','var','123')" 0OK127.0.0.1:6379> get var"123"127.0.0.1:6379>

  • bash调用redis-cli执行
    ~$ redis-cli EVAL "return redis.call('set','var','456')" 0OK~$ redis-cli GET var"456"~$

      如果lua脚本内容比较长,可以将lua脚本写入文件, 然后通过redis-cli执行:

~$ cat test1.lualocal msg = "test1"print(msg)redis.call('set','var',msg)return msg~$ redis-cli EVAL "$(cat test1.lua)" 0"test1"~$ redis-cli get var"test1"

 

与mysql交互

mysql2redis

https://github.com/dawnbreaks/mysql2redis

https://wp.iirii.com/archives/%E6%80%8E%E6%A0%B7%E5%AE%89%E8%A3%85mysql2redis%E7%AC%94%E8%AE%B0%E6%91%98%E8%A6%81/





 

本文github地址:https://github.com/mike-zhang/redisDoc

欢迎补充