Redis大Key问题

发布时间：2023年12月22日
  • 👏作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家
  • 📕系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术
  • 🔥如果感觉博主的文章还不错的话，请👍三连支持👍一下博主哦
  • 🍂博主正在努力完成2023计划中：源码溯源，一探究竟
  • 📝联系方式：nhs19990716，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬👀

文章目录

BigKey

相关面试题

阿里广告平台，海量数据里查询某一固定前缀的key

小红书，你如何生产上限制 key *等危险命令以防止误用？

美团，MEMORY USAGE 命令用过吗？

BigKey问题，多大算big？如何发现？如何删除？如何处理？

BigKey做过调优吗？惰性释放lazyfree了解吗？

MoreKey问题，生产上Redis数据库有1000W数据，你如何遍历？key * 可以吗？

MoreKey案例

大批量往Redis中插入测试数据

Linux Bash下面执行，插入100W

在这里插入图片描述

# 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中

for((i=1;i<=100*10000;i++)); do echo “set k i v i v ivi” >> /tmp/redisTest.txt ;done;

通过Redis提供的管道-pipe命令插入100W大批量数据

结合自己机器的地址：

cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

参考机器硬件，100w数据插入redis花费5.8秒左右

在这里插入图片描述

某快递巨头真实生产案例新闻

在这里插入图片描述

key * 试试100W花费多少秒遍历查询

在这里插入图片描述

key * 这个指令有致命的弊端，在实际环境中最好不要使用

在这里插入图片描述

生产上限制 keys */flushdb/flushall 等危险命令以上肢误删误用

通过配置设置禁用这些命令，redis.conf 在SECURITY 这一项中

在这里插入图片描述

不用keys * 避免卡顿，那该用什么呢？

scan 命令登场

一句话，类似mysql limit 但是又不完全相同

Redis SCAN 命令及其相关命令 SSCAN、HSCAN、 ZSCAN 命令都是用于增量遍历集合中的元素。

  • SCAN 用于遍历当前数据库中的键。
  • SSCAN 用于遍历集合键中的元素。
  • HSCAN 用于遍历哈希键中的键值对。
  • ZSCAN 用于遍历有序集合中的元素（包括元素成员和元素分值）。
Scan命令用于迭代数据库中的数据库键
语法

在这里插入图片描述

特点

在这里插入图片描述

SCAN 命令是一个基于游标的迭代器，每次被调用之后， 都会向用户返回一个新的游标， 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数， 以此来延续之前的迭代过程。

SCAN 返回一个包含两个元素的数组，

第一个元素是用于进行下一次迭代的新游标，

第二个元素则是一个数组， 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序

非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。

使用

在这里插入图片描述

BigKey案例

多大算Big

参考阿里云Redis开发规范

在这里插入图片描述

String是Value，最大512MB，但是>=10KB就是bigkey

list、hash、set、zset，个数超过5000就是bigkey

  • list：一个列表最多可以包含2^32-1个元素
  • hash:Redis中每个hash可以存储2^32-1个键值对
  • set：集合中最大的成员数为2^32-1

危害

内存分配不均匀，集群迁移困难

超时删除，大key删除作梗

网络流量阻塞

如何产生

例如：

王心凌粉丝列表，典型案例粉丝逐步递增

某个报表，月日年的积累

如何发现

redis-cli --bigkeys

好处，见最下面总结

给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小

不足

想查询大于10kb的所有key，–bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数

redis-cli --bigkeys -a 111111 

redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys

每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长
redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

在这里插入图片描述

MESORY USAGE键

在这里插入图片描述

如何删除

在这里插入图片描述

命令
String

一般用del，如果过于庞大unlink（Redis的UNLINK操作用于删除指定的键，与DEL操作不同的是，UNLINK操作是非阻塞的，即它会先将键的引用计数减1，如果引用计数降为0，则会在后台异步删除键所占用的内存空间，这样可以避免在删除大量键时造成阻塞。）

hash

使用hscan每次获取少量field-value，再使用hdel删除每个field

在这里插入图片描述

在这里插入图片描述

list

使用ltrim渐进式逐步删除，知道全部删除完成

在这里插入图片描述

在这里插入图片描述

set

使用sscan每次获取部分元素，在使用srem命令删除每个元素

在这里插入图片描述

在这里插入图片描述

Zset

使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素

在这里插入图片描述

在这里插入图片描述

BigKey生产调优

redis.conf配置文件 LAZY FREEING相关说明

阻塞和非阻塞删除命令

在这里插入图片描述

在这里插入图片描述

文章来源:https://blog.csdn.net/qq_40851232/article/details/135152902
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章