kk Blog —— 通用基础


date [-d @int|str] [+%s|"+%F %T"]
netstat -ltunp
sar -n DEV 1

Linux下操作redis

https://www.cnblogs.com/williama/p/16598890.html

一、redis介绍安装和配置典型应用场景

1.1 介绍

开源:c语言,早起版本2w3千行,没有外部依赖

基于键值对的存储系统:字典形式

多种数据结构:字符串,hash,列表,集合,有序集合

高性能,功能丰富

1.2 redis特性

速度快:10w ops(每秒10w读写),数据存在内存中,c语言实现,单线程模型

持久化:rdb和aof,混合持久化

多种数据结构:

-5大数据结构
-BitMaps位图: 本质是 字符串
-HyperLogLog:超小内存唯一值计数,12kb HyperLogLog 本质是 字符串
-GEO:地理信息定位 本质是有序集合

支持多种编程语言:基于tcp通信协议,各大编程语言都支持

功能丰富:发布订阅(消息) Lua脚本,事务(pipeline)

简单:源代码几万行,不依赖外部库

主从复制:主服务器和从服务器,主服务器可以同步到从服务器中

高可用和分布式:

2.8版本以后使用redis-sentinel支持高可用
3.0版本以后支持分布式

1.3 下载安装

地址:https://download.redis.io/releases/

下载
1
2
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
tar -xzf redis-5.0.7.tar.gz
建立软连接
1
2
3
ln -s redis-5.0.7 redis
cd redis
make && make install

在src目录下可以看到

redis-server —> redis服务端可执行文件
redis-cli —> redis命令行客户端
redis-benchmark —> redis性能测试工具
redis-check-aof —> aof文件修复工具
redis-check-dump —> rdb文件检查工具
redis-sentinel —> sentinel服务器,哨兵,高可用

卸载

1、查看redis进程; ps aux|grep redis

2、kill掉进程; kill 进程id

3、进入到redis目录 cd /usr/local/

4、删除redis对应的文件

1
2
rm -f /usr/local/redis/bin/redis*
rm -f /usr/local/bin/redis*

5、删除对应的文件 rm -rf redis

1.4 三种启动方式

方式一:最简启动
1
2
3
4
5
redis-server
ps -ef|grep redis  #查看进程
netstat -antpl|grep redis #查看端口
redis-cli -h ip -p port ping #命令查看
redis-cli shutdown
方式二:动态参数
1
redis-serve --port 6380
方式三:配置文件启动

配置文件启动(6379对应手机按键MERZ,意大利女歌手Alessia Merz的名字)

通过redis-cli连接,输入config get * 可以获得默认配置

在redis目录下创建config目录,copy一个redis.conf文件

daemonize –> 是否是守护进程启动(no|yes)
port —> 端口号
logfile –> redis系统日志
dir –> redis工作目录

配置文件

1
2
3
4
5
6
7
8
daemonize yes
pidfile /var/run/redis.pid
port 6379
dir "/root/redis/data"
logfile "6379.log"

# 以配置文件启动
./src/redis-server redis.conf

1.5 客户端链接

1
./src/redis-cli -h 地址 -p 端口

有密码的情况可以两种登陆方式

方式一
1
redis-cli -h 127.0.0.1    -p 6370 -a 123456
方式二

先登陆,再通过auth输入密码

1
2
3
CONFIG SET maxmemory 128M
CONFIG set requirepass 123456
CONFIG REWRITE  # 把更改保存到配置文件

1.6 redis典型使用场景

缓存系统:使用最广泛的就是缓存
计数器:网站访问量,转发量,评论数(文章转发,商品销量,单线程模型,不会出现并发问题)
消息队列:发布订阅,阻塞队列实现(简单的分布式,blpop:阻塞队列,生产者消费者)
排行榜:有序集合(阅读排行,点赞排行,推荐(销量高的,推荐))
社交网络:很多特效跟社交网络匹配,粉丝数,关注数
实时系统:垃圾邮件处理系统,布隆过滤器
数据共享:session多机共享

二、API的使用

2.1 通用命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
# 1 keys
# 打印出所有key
keys *

# 打印出所有以he开头的key
keys he*

# 打印出所有以he开头,第三个字母是h到l的范围
keys he[h-l]

# 三位长度,以he开头,?表示任意一位
keys he?

keys命令一般不在生产环境中使用,生产环境key很多,时间复杂度为o(n),用scan命令

# 2 dbsize   计算key的总数
dbsize #redis 内置了计数器,插入删除值该计数器会更改,所以可以在生产环境使用,时间复杂度是o(1)

# 3 exists key   时间复杂度o(1)
# 设置a
set a b

# 查看a是否存在
exists a
# (integer) 1
# 存在返回1 不存在返回0

# 4 del key  时间复杂度o(1)
删除成功返回1,key不存在返回0

# 5 expire key seconds  时间复杂度o(1)
expire name 3  # 3s 过期
ttl name  # 查看name还有多长时间过期
persist name  # 去掉name的过期时间

# 6 type key  时间复杂度o(1)
type name # 查看name类型,返回string

# 7 其他
info命令:内存,cpu,主从相关
client list  正在连接的会话
client kill ip:端口
dbsize   总共有多少个key
flushall 清空所有
flushdb  只清空当前库
select   数字  选择某个库  总共16个库
monitor  记录操作日志,夯住

2.2 字符串命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
# 1 基本使用get,set,del
    get name       #时间复杂度 o(1)
    set name lqz   #时间复杂度 o(1)
    del name       #时间复杂度 o(1)

# 2 其他使用incr,decr,incrby,decrby
    incr age  #对age这个key的value值自增1
    decr age  #对age这个key的value值自减1
    incrby age 10  #对age这个key的value值增加10
    decrby age 10  #对age这个key的value值减10

    # 统计网站访问量(单线程无竞争,天然适合做计数器)
    # 缓存mysql的信息(json格式)
    # 分布式id生成(多个机器同时并发着生成,不会重复)

# 3 set,setnx,setxx
    set name lqz   # 不管key是否存在,都设置
    setnx name lqz  # key不存在时才设置(新增操作)
    set name lqz nx  # 同上
    set name lqz xx  # key存在,才设置(更新操作)
# 4 mget mset
    mget key1 key2 key3     #批量获取key1,key2.。。时间复杂度o(n)
    mset key1 value1 key2 value2 key3 value3    #批量设置时间复杂度o(n)

    # n次get和mget的区别
    # n次get时间=n次命令时间+n次网络时间
    # mget时间=1次网络时间+n次命令时间

# 5 其他:getset,append,strlen
    getset name lqznb #设置新值并返回旧值 时间复杂度o(1)
    append name 666 #将value追加到旧的value 时间复杂度o(1)
    strlen name  #计算字符串长度(注意中文)  时间复杂度o(1)

# 6 其他:incrybyfloat,getrange,setrange
    increbyfloat age 3.5  #为age自增3.5,传负值表示自减 时间复杂度o(1)
    getrange key start end #获取字符串制定下标所有的值  时间复杂度o(1)
    setrange key index value #从指定index开始设置value值  时间复杂度o(1)

2.3 哈希类型

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
# 1 hget,hset,hdel
    hget key field  #获取hash key对应的field的value 时间复杂度为 o(1)
    hset key field value #设置hash key对应的field的value值 时间复杂度为 o(1)
    hdel key field #删除hash key对应的field的值 时间复杂度为 o(1)

    # 测试
    hset user:1:info age 23
    hget user:1:info ag
    hset user:1:info name lqz
    hgetall user:1:info
    hdel user:1:info age

# 2 hexists,hlen
    hexists key field  #判断hash key 是否存在field 时间复杂度为 o(1)
    hlen key   #获取hash key field的数量  时间复杂度为 o(1)
    hexists user:1:info name
    hlen user:1:info  #返回数量

# 3 hmget,hmset
    hmget key field1 field2 ...fieldN  #批量获取hash key 的一批field对应的值  时间复杂度是o(n)
    hmset key field1 value1 field2 value2  #批量设置hash key的一批field value 时间复杂度是o(n)

# 4 hgetall,hvals,hkeys
    hgetall key  #返回hash key 对应的所有field和value  时间复杂度是o(n)
    hvals key   #返回hash key 对应的所有field的value  时间复杂度是o(n)
    hkeys key   #返回hash key对应的所有field  时间复杂度是o(n)

    ### 小心使用hgetall
    ## (1) 计算网站每个用户主页的访问量
    hincrby user-1-info pageview count
    ## (2) 缓存mysql的信息,直接设置hash格式


# 其他操作 hsetnx,hincrby,hincrbyfloat
    hsetnx key field value  # 设置hash key对应field的value(如果field已存在,则失败),时间复杂度o(1)
    hincrby key field intCounter  # hash key 对英的field的value自增intCounter 时间复杂度o(1)
    hincrbyfloat key field floatCounter  # hincrby 浮点数 时间复杂度o(1)

2.4 列表类型

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
(1)插入操作
# rpush 从右侧插入
    rpush key value1 value2 ...valueN  #时间复杂度为o(1~n)
# lpush 从左侧插入
# linsert
    linsert key before|after value newValue   # 从元素value的前或后插入newValue 时间复杂度o(n) ,需要遍历列表
    linsert listkey before b java
    linsert listkey after b php

(2)删除操作
    lpop key #从列表左侧弹出一个item 时间复杂度o(1)
    rpop key #从列表右侧弹出一个item 时间复杂度o(1)

    lrem key count value
    # 根据count值,从列表中删除所有value相同的项 时间复杂度o(n)
	1 count>0 从左到右,删除最多count个value相等的项
	2 count<0 从右向左,删除最多 Math.abs(count)个value相等的项
	3 count=0 删除所有value相等的项
	lrem listkey 0 a  # 删除列表中所有值a
	lrem listkey -1 c  # 从右侧删除1个c

    ltrim key start end  # 按照索引范围修剪列表 o(n)
    ltrim listkey 1 4  # 只保留下表1--4的元素

(3)查询操作
    lrange key start end #包含end获取列表指定索引范围所有item  o(n)
    lrange listkey 0 2
    lrange listkey 1 -1 #获取第一个位置到倒数第一个位置的元素

    lindex key index #获取列表指定索引的item  o(n)
    lindex listkey 0
    lindex listkey -1

    llen key #获取列表长度

(4) 修改操作
    lset key index newValue #设置列表指定索引值为newValue o(n)
    lset listkey 2 ppp #把第二个位置设为ppp

# 实战
    实现timeLine功能,时间轴,微博关注的人,按时间轴排列,在列表中放入关注人的微博的即可

# 其他操作
    blpop key timeout #lpop的阻塞版,timeout是阻塞超时时间,timeout=0为拥有不阻塞 o(1)
    brpop key timeout #rpop的阻塞版,timeout是阻塞超时时间,timeout=0为拥有不阻塞 o(1)

# 要实现栈的功能
    lpush+lpop

# 实现队列功能
    lpush+rpop

# 固定大小的列表
    lpush+ltrim

# 消息队列
    lpush+brpop

2.5 集合类型

1
2
3
4
5
6
7
8
9
10
11
12
13
# 无序,无重复,集合间操作(交叉并补)
    sadd key element  # 向集合key添加element(如果element存在,添加失败) o(1)
    srem key element  # 从集合中的element移除掉 o(1)
    scard key  # 计算集合大小
    sismember key element  # 判断element是否在集合中
    srandmember key count  # 从集合中随机取出count个元素,不会破坏集合中的元素
    spop key  # 从集合中随机弹出一个元素
    smembers key  # 获取集合中所有元素 ,无序,小心使用,会阻塞住

    sdiff user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的差集
    sinter user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的交集
    sunion user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的并集
    SINTERSTORE destination key1 [key2]  # 将差集,交集,并集结果保存在destkey集合中

2.6 有序集合类型

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
# 介绍
# 有一个分值字段,来保证顺序
    key                  score                value
    user:ranking           1                   lqz
    user:ranking           99                  lqz2
    user:ranking           88                  lqz3

# 集合有序集合
    集合:无重复元素,无序,element
    有序集合:无重复元素,有序,element+score

# 列表和有序集合
    列表:可以重复,有序,element


# zset
    zadd key score element  # score可以重复,可以多个同时添加,element不能重复 o(logN)

    zrem key element  # 删除元素,可以多个同时删除 o(1)

    zscore key element  # 获取元素的分数 o(1)

    zincrby key increScore element  # 增加或减少元素的分数  o(1)

    zcard key  # 返回元素总个数 o(1)

    zrank key element  # 返回element元素的排名(从小到大排,从0开始)

    zrange key 0 -1  # 返回排名,不带分数  o(log(n)+m) n是元素个数,m是要获取的值

    zrange player:rank 0 -1 withscores #返回排名,带分数

    zrangebyscore key minScore maxScore  # 返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数,m是要获取的值

    zrangebyscore user:1:ranking 90 210 withscores  # 获取90分到210分的元素

    zcount key minScore maxScore  # 返回有序集合内在指定分数范围内的个数 o(log(n)+m)

    zremrangebyrank key start end  # 删除指定排名内的升序元素 o(log(n)+m)
    zremrangebyrank user:1:rangking 1 2  # 删除升序排名中1到2的元素

    zremrangebyscore key minScore maxScore  # 删除指定分数内的升序元素 o(log(n)+m)
    zremrangebyscore user:1:ranking 90 210  # 删除分数90到210之间的元素

# 补充
    zrevrank #从高到低排序
    zrevrange #从高到低排序取一定范围
    zrevrangebyscore #返回指定分数范围内的降序元素
    zinterstore #对两个有序集合交集
    zunionstore #对两个有序集合求并集

三、高级用法之慢查询

两个重要参数:

1
2
slowlog-max-len   慢查询队列的长度
slowlog-log-slower-than=0  时间慢于这个时间,就记录命令

配置

1
2
3
4
5
6
7
8
# 设置记录所有命令
    config set slowlog-log-slower-than 0

# 最多记录100条
    config set slowlog-max-len 100

# 持久化到本地配置文件
    config rewrite

实操

1
2
3
4
5
6
7
8
9
10
slowlog get [n]  #获取慢查询队列
日志由4个属性组成:
    1)日志的标识id
    2)发生的时间戳
    3)命令耗时
    4)执行的命令和参数

slowlog len #获取慢查询队列长度

slowlog reset #清空慢查询队列

四、高级用法之pipline与事务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 通过管道支持弱事务
    Redis的pipeline(管道)功能在命令行中没有,但redis是支持pipeline的,而且在各个语言版的client中都有相应的实现
    将一批命令,批量打包,在redis服务端批量计算(执行),然后把结果批量返回
    1次pipeline(n条命令)=1次网络时间+n次命令时间


import redis
pool = redis.ConnectionPool(host='', port=6379)
r = redis.Redis(connection_pool=pool)
# pipe = r.pipeline(transaction=False)
# 创建pipeline
    pipe = r.pipeline(transaction=True)

# 开启事务
    pipe.multi()
    pipe.set('name', 'lqz')

# 其他代码,可能出异常
    pipe.set('role', 'nb')
    pipe.execute()

四、高级用法之发布订阅

发布者/订阅者/频道

发布者发布了消息,所有的订阅者都可以收到,就是生产者消费者模型(后订阅了,无法获取历史消息)

API

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
publish channel message  # 发布命令
publish souhu:tv "hello world"  # 在souhu:tv频道发布一条hello world  返回订阅者个数

subscribe [channel]  # 订阅命令,可以订阅一个或多个
subscribe souhu:tv   # 订阅sohu:tv频道

unsubscribe [channel]  # 取消订阅一个或多个频道
unsubscribe sohu:tv   # 取消订阅sohu:tv频道

psubscribe [pattern...]  # 订阅模式匹配
psubscribe c*  # 订阅以c开头的频道

unpsubscribe [pattern...]  # 按模式退订指定频道

pubsub channels  # 列出至少有一个订阅者的频道,列出活跃的频道

pubsub numsub [channel...]  # 列出给定频道的订阅者数量

pubsub numpat  # 列出被订阅模式的数量

五、高级用法之Bitmap

字符的二进制形式

1
2
set hello big
setbit hello 7 1

独立用户统计

1 使用set和Bitmap对比

2 1亿用户,5千万独立(1亿用户量,约5千万人访问,统计活跃用户数量)

1
2
3
数据类型 每个userid占用空间            需要存储用户量      全部内存量
set       32位(假设userid是整形,占32位) 5千万            32位*5千万=200MB
bitmap            1位                            1亿               1位*1亿=12.5MB

假设有10万独立用户,使用位图还是占用12.5mb,使用set需要 32位*1万=4MB

相关命令

1
2
3
set hello big #放入key位hello 值为big的字符串
getbit hello 0 #取位图的第0个位置,返回0
getbit hello 1 #取位图的第1个位置,返回1 如上图

我们可以直接操纵位

1
2
3
4
5
6
7
8
9
10
11
12
13
14
setbit key offset value #给位图指定索引设置值
setbit hello 7 1 #把hello的第7个位置设为1 这样,big就变成了cig

setbit test 50 1 #test不存在,在key为test的value的第50位设为1,那其他位都以0补

bitcount key [start end] #获取位图指定范围(start到end,单位为字节,注意按字节一个字节8个bit为,如果不指定就是获取全部)位值为1的个数

bitop op destkey key [key...] #做多个Bitmap的and(交集)/or(并集)/not(非)/xor(异或),操作并将结果保存在destkey中
bitop and after_lqz lqz lqz2 #把lqz和lqz2按位与操作,放到after_lqz中

bitpos key targetBit start end #计算位图指定范围(start到end,单位为字节,如果不指定是获取全部)第一个偏移量对应的值等于targetBit的位置
bitpos lqz 1  # big 对应位图中第一个1的位置,在第二个位置上,由于从0开始返回1
bitpos lqz 0  # big 对应位图中第一个0的位置,在第一个位置上,由于从0开始返回0
bitpos lqz 1 1 2  # 返回9:返回从第一个字节到第二个字节之间 第一个1的位置,看上图,为9

六、HyperLogLog

基于HyperLogLog算法:极小的空间完成独立数量统计

详情地址: http://www.liuqingzheng.top/db/Redis%E7%B3%BB%E5%88%97/03-Redis%E7%B3%BB%E5%88%97%E4%B9%8B-%E9%AB%98%E7%BA%A7%E7%94%A8%E6%B3%95/

1
2
pfadd key element  # 向hyperloglog添加元素,可以同时添加多个
pfcount key  # 计算hyperloglog的独立总数

日活,月活的统计,统计个数,不重复

百万级别独立用户统计,百万条数据只占15k

错误率 0.81%

无法取出单条数据,只能统计个数

七、GEO地理位置信息

GEO(地理信息定位):存储经纬度,计算两地距离,范围等

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 增加地理位置
    geoadd key longitude latitude member  # 增加地理位置信息

    geoadd cities:locations 116.28 39.55 beijing #把北京地理信息天津到cities:locations中
    geoadd cities:locations 117.12 39.08 tianjin
    geoadd cities:locations 114.29 38.02 shijiazhuang
    geoadd cities:locations 118.01 39.38 tangshan
    geoadd cities:locations 115.29 38.51 baoding

# 获取北京的地理位置信息
    geopos cities:locations beijing

# 通过经纬度----》转成位置

# 获取两个地点的距离
    geodist cities:locations beijing tianjin km

# 获取某个位置方圆几公里的城市
    georadiusbymember cities:locations beijing 150 km

八、持久化

8.1 rdb方法

redis的所有数据保存在内存中,对数据的更新将异步的保存到硬盘上

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 持久化方案
快照:某时某刻数据的一个完成备份,
    -mysql的Dump
    -redis的RDB

写日志:任何操作记录日志,要恢复数据,只要把日志重新走一遍即可
    -mysql的 Binlog
    -Redis的 AOF


# rdb方案:触发---》三种
    -手动同步
      save
    -手动异步
      bgsave
    -配置文件
      save   900  1
	save   300    10
	save   60  10000
rdb最佳配置
1
2
3
4
5
save 60 5
dbfilename dump.rdb
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes

8.2 aof方案

1
2
3
4
5
6
7
8
# AOF的三种策略
    always:redis–》写命令刷新的缓冲区—》每条命令fsync到硬盘—》AOF文件
    everysec(默认值):redis——》写命令刷新的缓冲区—》每秒把缓冲区fsync到硬盘–》AOF文件
    no:redis——》写命令刷新的缓冲区—》操作系统决定,缓冲区fsync到硬盘–》AOF文件

# AOF 重写
本质就是把过期的,无用的,重复的,可以优化的命令,来优化,重新启动进程,优化aof日志文件
这样可以减少磁盘占用量,加速恢复速度
最佳配置
1
2
3
4
appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes

tools, redis

« win RunAsDate PHP使用redis »