Redis缓存常见问题之预热、雪崩、击穿、穿透
- 👏作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家
- 📕系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术
- 🔥如果感觉博主的文章还不错的话，请👍三连支持👍一下博主哦
- 🍂博主正在努力完成2023计划中：源码溯源，一探究竟
- 📝联系方式：nhs19990716，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬👀
文章目录
Redis缓存常见问题之预热、雪崩、击穿、穿透
缓存预热
假设mysql有100条新数据，redis无
1 比较懒，什么都不做，之前对mysql做了数据新增，利用redis的回写机制，让它逐步实现100条新增记录的同步，最好提前晚上部署发布版本的时候，由自己人提前做一次，让redis同步了，不要把这个问题留给客户。
2 @PostConstruct初始化白名单数据，微服务启动的时候进行初始化
缓存雪崩
发生
redis主机挂了，Redis全盘崩溃，偏硬件运维
redis中有大量key同时国企大面积失效，偏软件开发
预防+解决
- redis中key设置为永不过期 or 过期时间错开
- redis缓存集群实现高可用
- 多级缓存结合预防雪崩：本地缓存 + redis缓存
- 服务降级：Sentinel限流降级策略
缓存穿透
请求去查询一条记录，先插redis无，后查mysql无，都查询不到该条记录，但是请求每次都会打到数据库上面去，导致后台数据库压力暴增，这种现象我们成为缓存穿透，这个redis变成了一个摆设。
简单说就是，本来无一物，两库都没有，机不再redis缓存库，也不再mysql，数据库存在被多次暴击风险。
解决
方案一：空对象缓存或者缺省值
第一种解决方案，回写增强
如果发生了缓存穿透，我们可以针对要查询的数据，在Redis里存一个和业务部门商量后确定的缺省值(比如，零、负数、defaultNull等)。
比如，键uid:abcdxxx，值defaultNull作为案例的key和value
先去redis查键uid:abcdxxx没有，再去mysql查没有获得 ，这就发生了一次穿透现象。
but，可以增强回写机制
mysql也查不到的话也让redis存入刚刚查不到的key并保护mysql。
第一次来查询uid:abcdxxx，redis和mysql都没有，返回null给调用者，但是增强回写后第二次来查uid:abcdxxx，此时redis就有值了。
可以直接从Redis中读取default缺省值返回给业务应用程序，避免了把大量请求发送给mysql处理，打爆mysql。
但是，此方法架不住黑客的恶意攻击，有缺陷…，只能解决key相同的情况
比如黑客或者恶意攻击：
黑客会对你的系统进行攻击，拿一个不存在的id去查询数据，会产生大量的请求到数据库去查询。可能会导致你的数据库由于压力过大而宕机。
key相同打你系统：第一次打到mysql，空对象缓存后第二次返回defaultNull缺省值，避免mysql被攻击，不用再到数据库中去走一圈了。
key不同打你系统：由于存在空对象缓存和缓存回写，redis中的无关紧要的key也会越写越多（记得设置redis的过期时间）
方案2：Google布隆过滤器Guava解决缓存穿透
白名单过滤器
存在误判问题，但是概率下可以接受，缺点是不能从布隆过滤器删除
全部合法的key都需要放入Guava版布隆过滤器 + redis里面，不然数据就返回null
Coding实战
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>23.0</version>
</dependency>
@Test
public void testGuavaWithBloomFilter()
{
// 创建布隆过滤器对象
BloomFilter<Integer> filter = BloomFilter.create(Funnels.integerFunnel(), 100);
// 判断指定元素是否存在
System.out.println(filter.mightContain(1));
System.out.println(filter.mightContain(2));
// 将元素添加进布隆过滤器
filter.put(1);
filter.put(2);
System.out.println(filter.mightContain(1));
System.out.println(filter.mightContain(2));
}
对比redis的实现，其解耦性做的非常的好，不需要与redis交互
GuavaBloomFilterService
@Service
@Slf4j
public class GuavaBloomFilterService{
public static final int _1W = 10000;
//布隆过滤器里预计要插入多少数据
public static int size = 100 * _1W;
//误判率,它越小误判的个数也就越少(思考，是不是可以设置的无限小，没有误判岂不更好)
//fpp the desired false positive probability
public static double fpp = 0.03;
// 构建布隆过滤器
private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size,fpp);
public void guavaBloomFilter(){
//1 先往布隆过滤器里面插入100万的样本数据
for (int i = 1; i <=size; i++) {
bloomFilter.put(i);
}
//故意取10万个不在过滤器里的值，看看有多少个会被认为在过滤器里
List<Integer> list = new ArrayList<>(10 * _1W);
for (int i = size+1; i <= size + (10 *_1W); i++) {
if (bloomFilter.mightContain(i)) {
log.info("被误判了:{}",i);
list.add(i);
}
}
log.info("误判的总数量：:{}",list.size());
}
}
取样本100W数据，查查不在100W范围内，其它10W数据是否存在？
现在总共有10万数据是不存在的，误判了3033次，
原始样本：100W
不存在数据:1000001W—1100000W
前面提到了误判率，通过debug发现
也就是说误判率越小，要求精度越高，需要用的资源也就越多，hash函数也就越来越多。
当设置为非常小的值的时候
缺点是数据量太大，加载很慢，资源消耗很大
加入说什么都不写，默认就是0.03
说明
思考问题：黑名单的使用
缓存穿透
大量的请求同时查询一个key时，此时这个key正好失效了，就会导致大量的请求都达到数据库上面去
简单地说就是热点key突然失效了，暴打mysql
危害
会造成某一时刻数据库请求量过大，压力暴增。
一般技术部门需要知道热点key时那些个？做到心里有数防止被击穿
解决
热点key失效：时间到了自然清楚但还被访问到，delete掉的key，刚巧又被访问
方案一：差异失效时间，对于访问频繁的热点key，干脆就不设置过期时间
方案二：互斥更新，采用双检加锁策略
多个线程同时去查询数据库的这条数据，那么我们可以在第一个查询数据的请求上使用一个 互斥锁来锁住它。
其他的线程走到这一步拿不到锁就等着，等第一个线程查询到了数据，然后做缓存。后面的线程进来发现已经有缓存了，就直接走缓存。
案例
天猫聚划算功能 + 防止缓存击穿
存在问题就是热点key突然失效导致了缓存击穿
| 步骤 | 说明 |
|---|---|
| 1 | 100%高并发，绝对不可以用mysql实现 |
| 2 | 先把mysql里面参加活动的数据抽取进redis，一般采用定时器扫描来决定上线活动还是下线取消。 |
| 3 | 支持分页功能，一页20条记录 |
coding
@Data
@AllArgsConstructor
@NoArgsConstructor
@ApiModel(value = "聚划算活动producet信息")
public class Product
{
//产品ID
private Long id;
//产品名称
private String name;
//产品价格
private Integer price;
//产品详情
private String detail;
}
// 采用定时器将参与聚划算活动的特价商品新增进入redis
@Service
@Slf4j
public class JHSTaskService
{
public static final String JHS_KEY="jhs";
public static final String JHS_KEY_A="jhs:a";
public static final String JHS_KEY_B="jhs:b";
@Autowired
private RedisTemplate redisTemplate;
/**
* 偷个懒不加mybatis了，模拟从数据库读取100件特价商品，用于加载到聚划算的页面中
* @return
*/
private List<Product> getProductsFromMysql() {
List<Product> list=new ArrayList<>();
for (int i = 1; i <=20; i++) {
Random rand = new Random();
int id= rand.nextInt(10000);
Product obj=new Product((long) id,"product"+i,i,"detail");
list.add(obj);
}
return list;
}
@PostConstruct
public void initJHS(){
log.info("启动定时器淘宝聚划算功能模拟.........."+ DateUtil.now());
new Thread(() -> {
//模拟定时器一个后台任务，定时把数据库的特价商品，刷新到redis中
while (true){
//模拟从数据库读取100件特价商品，用于加载到聚划算的页面中
List<Product> list=this.getProductsFromMysql();
//采用redis list数据结构的lpush来实现存储
this.redisTemplate.delete(JHS_KEY);
//lpush命令
this.redisTemplate.opsForList().leftPushAll(JHS_KEY,list);
//间隔一分钟 执行一遍，模拟聚划算每3天刷新一批次参加活动
try { TimeUnit.MINUTES.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); }
log.info("runJhs定时刷新..............");
}
},"t1").start();
}
}
至此一个聚划算的基本功能就算是实现了，但是在高并发的场景下会有什么经典生产问题呢？
Bug和隐患说明
两条命令的原子性还是其次，主要是防止热key突然失效暴击mysql打爆系统
进一步解决
多个线程同时去查询数据库的这条数据，那么我们可以在第一个查询数据的请求上使用一个 互斥锁来锁住它。
其他的线程走到这一步拿不到锁就等着，等第一个线程查询到了数据，然后做缓存。后面的线程进来发现已经有缓存了，就直接走缓存。
差异失效时间
两份缓存，过期时间不一致
@Service
@Slf4j
public class JHSTaskService
{
public static final String JHS_KEY="jhs";
public static final String JHS_KEY_A="jhs:a";
public static final String JHS_KEY_B="jhs:b";
@Autowired
private RedisTemplate redisTemplate;
/**
* 偷个懒不加mybatis了，模拟从数据库读取100件特价商品，用于加载到聚划算的页面中
* @return
*/
private List<Product> getProductsFromMysql() {
List<Product> list=new ArrayList<>();
for (int i = 1; i <=20; i++) {
Random rand = new Random();
int id= rand.nextInt(10000);
Product obj=new Product((long) id,"product"+i,i,"detail");
list.add(obj);
}
return list;
}
//@PostConstruct
public void initJHS(){
log.info("启动定时器淘宝聚划算功能模拟.........."+ DateUtil.now());
new Thread(() -> {
//模拟定时器，定时把数据库的特价商品，刷新到redis中
while (true){
//模拟从数据库读取100件特价商品，用于加载到聚划算的页面中
List<Product> list=this.getProductsFromMysql();
//采用redis list数据结构的lpush来实现存储
this.redisTemplate.delete(JHS_KEY);
//lpush命令
this.redisTemplate.opsForList().leftPushAll(JHS_KEY,list);
//间隔一分钟 执行一遍
try { TimeUnit.MINUTES.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); }
log.info("runJhs定时刷新..............");
}
},"t1").start();
}
@PostConstruct
public void initJHSAB(){
log.info("启动AB定时器计划任务淘宝聚划算功能模拟.........."+DateUtil.now());
new Thread(() -> {
//模拟定时器，定时把数据库的特价商品，刷新到redis中
while (true){
//模拟从数据库读取100件特价商品，用于加载到聚划算的页面中
List<Product> list=this.getProductsFromMysql();
//先更新B缓存
this.redisTemplate.delete(JHS_KEY_B);
this.redisTemplate.opsForList().leftPushAll(JHS_KEY_B,list);
this.redisTemplate.expire(JHS_KEY_B,20L,TimeUnit.DAYS);
//再更新A缓存
this.redisTemplate.delete(JHS_KEY_A);
this.redisTemplate.opsForList().leftPushAll(JHS_KEY_A,list);
this.redisTemplate.expire(JHS_KEY_A,15L,TimeUnit.DAYS);
//间隔一分钟 执行一遍
try { TimeUnit.MINUTES.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); }
log.info("runJhs定时刷新双缓存AB两层..............");
}
},"t1").start();
}
}
@RestController
@Slf4j
@Api(tags = "聚划算商品列表接口")
public class JHSProductController
{
public static final String JHS_KEY="jhs";
public static final String JHS_KEY_A="jhs:a";
public static final String JHS_KEY_B="jhs:b";
@Autowired
private RedisTemplate redisTemplate;
/**
* 分页查询：在高并发的情况下，只能走redis查询，走db的话必定会把db打垮
* @param page
* @param size
* @return
*/
@RequestMapping(value = "/pruduct/find",method = RequestMethod.GET)
@ApiOperation("按照分页和每页显示容量，点击查看")
public List<Product> find(int page, int size) {
List<Product> list=null;
long start = (page - 1) * size;
long end = start + size - 1;
try {
//采用redis list数据结构的lrange命令实现分页查询
list = this.redisTemplate.opsForList().range(JHS_KEY, start, end);
if (CollectionUtils.isEmpty(list)) {
//TODO 走DB查询
}
log.info("查询结果：{}", list);
} catch (Exception ex) {
//这里的异常，一般是redis瘫痪 ，或 redis网络timeout
log.error("exception:", ex);
//TODO 走DB查询
}
return list;
}
@RequestMapping(value = "/pruduct/findab",method = RequestMethod.GET)
@ApiOperation("防止热点key突然失效，AB双缓存架构")
public List<Product> findAB(int page, int size) {
List<Product> list=null;
long start = (page - 1) * size;
long end = start + size - 1;
try {
//采用redis list数据结构的lrange命令实现分页查询
list = this.redisTemplate.opsForList().range(JHS_KEY_A, start, end);
if (CollectionUtils.isEmpty(list)) {
log.info("=========A缓存已经失效了，记得人工修补，B缓存自动延续5天");
//用户先查询缓存A(上面的代码)，如果缓存A查询不到（例如，更新缓存的时候删除了），再查询缓存B
this.redisTemplate.opsForList().range(JHS_KEY_B, start, end);
//TODO 走DB查询
}
log.info("查询结果：{}", list);
} catch (Exception ex) {
//这里的异常，一般是redis瘫痪 ，或 redis网络timeout
log.error("exception:", ex);
//TODO 走DB查询
}
return list;
}
}
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符，请联系我的编程经验分享网邮箱：chenni525@qq.com进行投诉反馈，一经查实，立即删除！
- Python教程
- 深入理解 MySQL 中的 HAVING 关键字和聚合函数
- Qt之QChar编码（1）
- MyBatis入门基础篇
- 用Python脚本实现FFmpeg批量转换
- 代码随想录算法训练营29期|day 25 任务以及具体安排
- 米贸搜|facebook加人有限制吗?facebook每天最多加多少人
- 11.2、信赖域策略优化算法TRPO强化学习-约束优化求解
- Redis学习指南(15)-Redis的排序介绍
- python常用命令汇总
- 省心省力的EMS企业托管服务，全面提升企业运维效能
- Mybatis3系列课程-动态sql(2)
- Google Gemini接口调用（node版）
- 从头开始构建大型语言模型
- Kafka-服务端-副本机制