https://www.cnblogs.com/williama/p/16598890.html
一、redis介绍安装和配置典型应用场景
1.1 介绍
开源：c语言，早起版本2w3千行，没有外部依赖
基于键值对的存储系统：字典形式
多种数据结构：字符串，hash，列表，集合，有序集合
高性能，功能丰富
1.2 redis特性
速度快：10w ops（每秒10w读写），数据存在内存中，c语言实现，单线程模型
持久化：rdb和aof，混合持久化
多种数据结构：
-5大数据结构
支持多种编程语言：基于tcp通信协议，各大编程语言都支持
功能丰富：发布订阅（消息） Lua脚本，事务（pipeline）
简单：源代码几万行，不依赖外部库
主从复制：主服务器和从服务器，主服务器可以同步到从服务器中
高可用和分布式：
2.8版本以后使用redis-sentinel支持高可用
1.3 下载安装
地址：https://download.redis.io/releases/
下载
1
2
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
tar -xzf redis-5.0.7.tar.gz
建立软连接
1
2
3
ln -s redis-5.0.7 redis
cd redis
make && make install
在src目录下可以看到
redis-server —> redis服务端可执行文件
卸载
1、查看redis进程； ps aux|grep redis
2、kill掉进程； kill 进程id
3、进入到redis目录 cd /usr/local/
4、删除redis对应的文件
1
2
rm -f /usr/local/redis/bin/redis*
rm -f /usr/local/bin/redis*
5、删除对应的文件 rm -rf redis
1.4 三种启动方式
方式一：最简启动
1
2
3
4
5
redis-server
ps -ef|grep redis #查看进程
netstat -antpl|grep redis #查看端口
redis-cli -h ip -p port ping #命令查看
redis-cli shutdown
方式二：动态参数
1
redis-serve --port 6380
方式三：配置文件启动
配置文件启动（6379对应手机按键MERZ，意大利女歌手Alessia Merz的名字）
通过redis-cli连接，输入config get * 可以获得默认配置
在redis目录下创建config目录，copy一个redis.conf文件
daemonize –> 是否是守护进程启动（no|yes）
配置文件
1
2
3
4
5
6
7
8
daemonize yes
pidfile /var/run/redis.pid
port 6379
dir "/root/redis/data"
logfile "6379.log"
# 以配置文件启动
./src/redis-server redis.conf
1.5 客户端链接
1
./src/redis-cli -h 地址 -p 端口
有密码的情况可以两种登陆方式
方式一
1
redis-cli -h 127.0.0.1 -p 6370 -a 123456
方式二
先登陆，再通过auth输入密码
1
2
3
CONFIG SET maxmemory 128M
CONFIG set requirepass 123456
CONFIG REWRITE # 把更改保存到配置文件
1.6 redis典型使用场景
缓存系统：使用最广泛的就是缓存
二、API的使用
2.1 通用命令
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
# 1 keys
# 打印出所有key
keys *
# 打印出所有以he开头的key
keys he*
# 打印出所有以he开头，第三个字母是h到l的范围
keys he[h-l]
# 三位长度，以he开头，？表示任意一位
keys he？
keys命令一般不在生产环境中使用，生产环境key很多，时间复杂度为o(n),用scan命令
# 2 dbsize 计算key的总数
dbsize #redis 内置了计数器，插入删除值该计数器会更改，所以可以在生产环境使用，时间复杂度是o(1)
# 3 exists key 时间复杂度o(1)
# 设置a
set a b
# 查看a是否存在
exists a
# (integer) 1
# 存在返回1 不存在返回0
# 4 del key 时间复杂度o(1)
删除成功返回1，key不存在返回0
# 5 expire key seconds 时间复杂度o(1)
expire name 3 # 3s 过期
ttl name # 查看name还有多长时间过期
persist name # 去掉name的过期时间
# 6 type key 时间复杂度o(1)
type name # 查看name类型，返回string
# 7 其他
info命令：内存，cpu，主从相关
client list 正在连接的会话
client kill ip:端口
dbsize 总共有多少个key
flushall 清空所有
flushdb 只清空当前库
select 数字 选择某个库 总共16个库
monitor 记录操作日志，夯住
2.2 字符串命令
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
# 1 基本使用get，set，del
get name #时间复杂度 o(1)
set name lqz #时间复杂度 o(1)
del name #时间复杂度 o(1)
# 2 其他使用incr,decr,incrby,decrby
incr age #对age这个key的value值自增1
decr age #对age这个key的value值自减1
incrby age 10 #对age这个key的value值增加10
decrby age 10 #对age这个key的value值减10
# 统计网站访问量（单线程无竞争，天然适合做计数器）
# 缓存mysql的信息（json格式）
# 分布式id生成（多个机器同时并发着生成，不会重复）
# 3 set，setnx，setxx
set name lqz # 不管key是否存在，都设置
setnx name lqz # key不存在时才设置（新增操作）
set name lqz nx # 同上
set name lqz xx # key存在，才设置（更新操作）
# 4 mget mset
mget key1 key2 key3 #批量获取key1，key2.。。时间复杂度o(n)
mset key1 value1 key2 value2 key3 value3 #批量设置时间复杂度o(n)
# n次get和mget的区别
# n次get时间=n次命令时间+n次网络时间
# mget时间=1次网络时间+n次命令时间
# 5 其他：getset，append，strlen
getset name lqznb #设置新值并返回旧值 时间复杂度o(1)
append name 666 #将value追加到旧的value 时间复杂度o(1)
strlen name #计算字符串长度(注意中文) 时间复杂度o(1)
# 6 其他：incrybyfloat,getrange,setrange
increbyfloat age 3.5 #为age自增3.5，传负值表示自减 时间复杂度o(1)
getrange key start end #获取字符串制定下标所有的值 时间复杂度o(1)
setrange key index value #从指定index开始设置value值 时间复杂度o(1)
2.3 哈希类型
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
# 1 hget,hset,hdel
hget key field #获取hash key对应的field的value 时间复杂度为 o(1)
hset key field value #设置hash key对应的field的value值 时间复杂度为 o(1)
hdel key field #删除hash key对应的field的值 时间复杂度为 o(1)
# 测试
hset user:1:info age 23
hget user:1:info ag
hset user:1:info name lqz
hgetall user:1:info
hdel user:1:info age
# 2 hexists,hlen
hexists key field #判断hash key 是否存在field 时间复杂度为 o(1)
hlen key #获取hash key field的数量 时间复杂度为 o(1)
hexists user:1:info name
hlen user:1:info #返回数量
# 3 hmget，hmset
hmget key field1 field2 ...fieldN #批量获取hash key 的一批field对应的值 时间复杂度是o(n)
hmset key field1 value1 field2 value2 #批量设置hash key的一批field value 时间复杂度是o(n)
# 4 hgetall,hvals，hkeys
hgetall key #返回hash key 对应的所有field和value 时间复杂度是o(n)
hvals key #返回hash key 对应的所有field的value 时间复杂度是o(n)
hkeys key #返回hash key对应的所有field 时间复杂度是o(n)
### 小心使用hgetall
## (1) 计算网站每个用户主页的访问量
hincrby user-1-info pageview count
## (2) 缓存mysql的信息，直接设置hash格式
# 其他操作 hsetnx，hincrby，hincrbyfloat
hsetnx key field value # 设置hash key对应field的value（如果field已存在，则失败），时间复杂度o(1)
hincrby key field intCounter # hash key 对英的field的value自增intCounter 时间复杂度o(1)
hincrbyfloat key field floatCounter # hincrby 浮点数 时间复杂度o(1)
2.4 列表类型
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
（1）插入操作
# rpush 从右侧插入
rpush key value1 value2 ...valueN #时间复杂度为o(1~n)
# lpush 从左侧插入
# linsert
linsert key before|after value newValue # 从元素value的前或后插入newValue 时间复杂度o(n) ，需要遍历列表
linsert listkey before b java
linsert listkey after b php
（2）删除操作
lpop key #从列表左侧弹出一个item 时间复杂度o(1)
rpop key #从列表右侧弹出一个item 时间复杂度o(1)
lrem key count value
# 根据count值，从列表中删除所有value相同的项 时间复杂度o(n)
1 count>0 从左到右，删除最多count个value相等的项
2 count<0 从右向左，删除最多 Math.abs(count)个value相等的项
3 count=0 删除所有value相等的项
lrem listkey 0 a # 删除列表中所有值a
lrem listkey -1 c # 从右侧删除1个c
ltrim key start end # 按照索引范围修剪列表 o(n)
ltrim listkey 1 4 # 只保留下表1--4的元素
（3）查询操作
lrange key start end #包含end获取列表指定索引范围所有item o(n)
lrange listkey 0 2
lrange listkey 1 -1 #获取第一个位置到倒数第一个位置的元素
lindex key index #获取列表指定索引的item o(n)
lindex listkey 0
lindex listkey -1
llen key #获取列表长度
（4） 修改操作
lset key index newValue #设置列表指定索引值为newValue o(n)
lset listkey 2 ppp #把第二个位置设为ppp
# 实战
实现timeLine功能，时间轴，微博关注的人，按时间轴排列，在列表中放入关注人的微博的即可
# 其他操作
blpop key timeout #lpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)
brpop key timeout #rpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)
# 要实现栈的功能
lpush+lpop
# 实现队列功能
lpush+rpop
# 固定大小的列表
lpush+ltrim
# 消息队列
lpush+brpop
2.5 集合类型
1
2
3
4
5
6
7
8
9
10
11
12
13
# 无序，无重复，集合间操作（交叉并补）
sadd key element # 向集合key添加element（如果element存在，添加失败） o(1)
srem key element # 从集合中的element移除掉 o(1)
scard key # 计算集合大小
sismember key element # 判断element是否在集合中
srandmember key count # 从集合中随机取出count个元素，不会破坏集合中的元素
spop key # 从集合中随机弹出一个元素
smembers key # 获取集合中所有元素 ，无序，小心使用，会阻塞住
sdiff user:1:follow user:2:follow # 计算user:1:follow和user:2:follow的差集
sinter user:1:follow user:2:follow # 计算user:1:follow和user:2:follow的交集
sunion user:1:follow user:2:follow # 计算user:1:follow和user:2:follow的并集
SINTERSTORE destination key1 [key2] # 将差集，交集，并集结果保存在destkey集合中
2.6 有序集合类型
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
# 介绍
# 有一个分值字段，来保证顺序
key score value
user:ranking 1 lqz
user:ranking 99 lqz2
user:ranking 88 lqz3
# 集合有序集合
集合：无重复元素，无序，element
有序集合：无重复元素，有序，element+score
# 列表和有序集合
列表：可以重复，有序，element
# zset
zadd key score element # score可以重复，可以多个同时添加，element不能重复 o(logN)
zrem key element # 删除元素，可以多个同时删除 o(1)
zscore key element # 获取元素的分数 o(1)
zincrby key increScore element # 增加或减少元素的分数 o(1)
zcard key # 返回元素总个数 o(1)
zrank key element # 返回element元素的排名（从小到大排，从0开始）
zrange key 0 -1 # 返回排名，不带分数 o(log(n)+m) n是元素个数，m是要获取的值
zrange player:rank 0 -1 withscores #返回排名，带分数
zrangebyscore key minScore maxScore # 返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数，m是要获取的值
zrangebyscore user:1:ranking 90 210 withscores # 获取90分到210分的元素
zcount key minScore maxScore # 返回有序集合内在指定分数范围内的个数 o(log(n)+m)
zremrangebyrank key start end # 删除指定排名内的升序元素 o(log(n)+m)
zremrangebyrank user:1:rangking 1 2 # 删除升序排名中1到2的元素
zremrangebyscore key minScore maxScore # 删除指定分数内的升序元素 o(log(n)+m)
zremrangebyscore user:1:ranking 90 210 # 删除分数90到210之间的元素
# 补充
zrevrank #从高到低排序
zrevrange #从高到低排序取一定范围
zrevrangebyscore #返回指定分数范围内的降序元素
zinterstore #对两个有序集合交集
zunionstore #对两个有序集合求并集
三、高级用法之慢查询
两个重要参数：
1
2
slowlog-max-len 慢查询队列的长度
slowlog-log-slower-than=0 时间慢于这个时间，就记录命令
配置
1
2
3
4
5
6
7
8
# 设置记录所有命令
config set slowlog-log-slower-than 0
# 最多记录100条
config set slowlog-max-len 100
# 持久化到本地配置文件
config rewrite
实操
1
2
3
4
5
6
7
8
9
10
slowlog get [n] #获取慢查询队列
日志由4个属性组成：
1）日志的标识id
2）发生的时间戳
3）命令耗时
4）执行的命令和参数
slowlog len #获取慢查询队列长度
slowlog reset #清空慢查询队列
四、高级用法之pipline与事务
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 通过管道支持弱事务
Redis的pipeline(管道)功能在命令行中没有，但redis是支持pipeline的，而且在各个语言版的client中都有相应的实现
将一批命令，批量打包，在redis服务端批量计算(执行)，然后把结果批量返回
1次pipeline(n条命令)=1次网络时间+n次命令时间
import redis
pool = redis.ConnectionPool(host='', port=6379)
r = redis.Redis(connection_pool=pool)
# pipe = r.pipeline(transaction=False)
# 创建pipeline
pipe = r.pipeline(transaction=True)
# 开启事务
pipe.multi()
pipe.set('name', 'lqz')
# 其他代码，可能出异常
pipe.set('role', 'nb')
pipe.execute()
四、高级用法之发布订阅
发布者/订阅者/频道
发布者发布了消息，所有的订阅者都可以收到，就是生产者消费者模型（后订阅了，无法获取历史消息）
API
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
publish channel message # 发布命令
publish souhu:tv "hello world" # 在souhu:tv频道发布一条hello world 返回订阅者个数
subscribe [channel] # 订阅命令，可以订阅一个或多个
subscribe souhu:tv # 订阅sohu:tv频道
unsubscribe [channel] # 取消订阅一个或多个频道
unsubscribe sohu:tv # 取消订阅sohu:tv频道
psubscribe [pattern...] # 订阅模式匹配
psubscribe c* # 订阅以c开头的频道
unpsubscribe [pattern...] # 按模式退订指定频道
pubsub channels # 列出至少有一个订阅者的频道,列出活跃的频道
pubsub numsub [channel...] # 列出给定频道的订阅者数量
pubsub numpat # 列出被订阅模式的数量
五、高级用法之Bitmap
字符的二进制形式
1
2
set hello big
setbit hello 7 1
独立用户统计
1 使用set和Bitmap对比
2 1亿用户，5千万独立（1亿用户量，约5千万人访问，统计活跃用户数量）
1
2
3
数据类型 每个userid占用空间 需要存储用户量 全部内存量
set 32位(假设userid是整形，占32位) 5千万 32位*5千万=200MB
bitmap 1位 1亿 1位*1亿=12.5MB
假设有10万独立用户，使用位图还是占用12.5mb，使用set需要 32位*1万=4MB
相关命令
1
2
3
set hello big #放入key位hello 值为big的字符串
getbit hello 0 #取位图的第0个位置，返回0
getbit hello 1 #取位图的第1个位置，返回1 如上图
我们可以直接操纵位
1
2
3
4
5
6
7
8
9
10
11
12
13
14
setbit key offset value #给位图指定索引设置值
setbit hello 7 1 #把hello的第7个位置设为1 这样，big就变成了cig
setbit test 50 1 #test不存在，在key为test的value的第50位设为1，那其他位都以0补
bitcount key [start end] #获取位图指定范围(start到end,单位为字节,注意按字节一个字节8个bit为，如果不指定就是获取全部)位值为1的个数
bitop op destkey key [key...] #做多个Bitmap的and(交集)/or(并集)/not(非)/xor(异或)，操作并将结果保存在destkey中
bitop and after_lqz lqz lqz2 #把lqz和lqz2按位与操作，放到after_lqz中
bitpos key targetBit start end #计算位图指定范围(start到end，单位为字节，如果不指定是获取全部)第一个偏移量对应的值等于targetBit的位置
bitpos lqz 1 # big 对应位图中第一个1的位置，在第二个位置上，由于从0开始返回1
bitpos lqz 0 # big 对应位图中第一个0的位置，在第一个位置上，由于从0开始返回0
bitpos lqz 1 1 2 # 返回9：返回从第一个字节到第二个字节之间 第一个1的位置，看上图，为9
六、HyperLogLog
基于HyperLogLog算法：极小的空间完成独立数量统计
详情地址： http://www.liuqingzheng.top/db/Redis%E7%B3%BB%E5%88%97/03-Redis%E7%B3%BB%E5%88%97%E4%B9%8B-%E9%AB%98%E7%BA%A7%E7%94%A8%E6%B3%95/
1
2
pfadd key element # 向hyperloglog添加元素,可以同时添加多个
pfcount key # 计算hyperloglog的独立总数
日活，月活的统计，统计个数，不重复
百万级别独立用户统计，百万条数据只占15k
错误率 0.81%
无法取出单条数据，只能统计个数
七、GEO地理位置信息
GEO（地理信息定位）：存储经纬度，计算两地距离，范围等
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 增加地理位置
geoadd key longitude latitude member # 增加地理位置信息
geoadd cities:locations 116.28 39.55 beijing #把北京地理信息天津到cities:locations中
geoadd cities:locations 117.12 39.08 tianjin
geoadd cities:locations 114.29 38.02 shijiazhuang
geoadd cities:locations 118.01 39.38 tangshan
geoadd cities:locations 115.29 38.51 baoding
# 获取北京的地理位置信息
geopos cities:locations beijing
# 通过经纬度----》转成位置
# 获取两个地点的距离
geodist cities:locations beijing tianjin km
# 获取某个位置方圆几公里的城市
georadiusbymember cities:locations beijing 150 km
八、持久化
8.1 rdb方法
redis的所有数据保存在内存中，对数据的更新将异步的保存到硬盘上
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 持久化方案
快照：某时某刻数据的一个完成备份，
-mysql的Dump
-redis的RDB
写日志：任何操作记录日志，要恢复数据，只要把日志重新走一遍即可
-mysql的 Binlog
-Redis的 AOF
# rdb方案：触发---》三种
-手动同步
save
-手动异步
bgsave
-配置文件
save 900 1
save 300 10
save 60 10000
rdb最佳配置
1
2
3
4
5
save 60 5
dbfilename dump.rdb
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
8.2 aof方案
1
2
3
4
5
6
7
8
# AOF的三种策略
always：redis–》写命令刷新的缓冲区—》每条命令fsync到硬盘—》AOF文件
everysec（默认值）：redis——》写命令刷新的缓冲区—》每秒把缓冲区fsync到硬盘–》AOF文件
no:redis——》写命令刷新的缓冲区—》操作系统决定，缓冲区fsync到硬盘–》AOF文件
# AOF 重写
本质就是把过期的，无用的，重复的，可以优化的命令，来优化,重新启动进程，优化aof日志文件
这样可以减少磁盘占用量，加速恢复速度
最佳配置
1
2
3
4
appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes
