Redis

一、定义热 Key 是 Redis 高并发场景中，访问频率显著高于其他键的特殊键，其核心问题是 “单键请求过度集中于某一 Redis 节点”，导致该节点 CPU、内存资源占用飙升，进而引发节点响应延迟、命令阻塞，甚至拖累整个集群稳定性。 1.1 核心判定特征 访问频率：单键 QPS（每秒请求数）占集群总 QPS 的 10% 以上，或单键每秒访问次数持续超过 1000 次（具体阈值可根据集群规模调整，小集群可适当降低）； 节点资源占用：热 Key 所在节点的 CPU 使用率（系统 CPU + 用户 CPU）持续超过 80%（Redis 为单线程模型，CPU 满负荷会阻塞所有命令执行），或该节点内存占用远超集群内其他节点； 业务影响范围：热 Key 关联核心功能，若其所在节点故障，会导致大范围业务不可用，而非局部功能异常。 二、识别方法识别的核心目标是 “精准定位热 Key 及所在节点”，常用方法按 “轻量临时→专业长期” 分为两类： 轻量临时识别（依赖 Redis 原生命令）步骤 1：获取集群性能基线 执行redis-cli info...

一、引言在Redis的实际应用中，大Key问题是影响性能和稳定性的重要因素之一。从系统资源消耗维度分析，此类问题主要体现在三个层面：其一，内存管理层面，单 Key 占据过量内存空间，致使内存碎片化程度加剧，频繁触发内存淘汰机制，降低存储效率；其二，网络传输层面，大 Key 的读写操作产生大规模数据包，极易造成网络带宽饱和，例如单次读取 100MB 大 Key 会完全占用对应带宽资源；其三，CPU 资源层面，大 Key 的序列化与反序列化过程，以及复杂数据结构的遍历操作（如大列表遍历），均会消耗大量 CPU 资源，进而影响其他指令的执行效率。 二、大Key定义与危害分析2.1 定义对于String类型，通常认为超过10KB的键值对就属于大Key。在我们的测试环境中，user_session_1002键的大小为325,001字节，明显属于大Key范畴。 2.2...

一、RDB 概念解析Redis 数据库的 RDB（Redis Database）持久化机制，本质上是一种将内存数据以二进制快照形式存储至磁盘的技术方案。该机制通过创建一个名为dump.rdb的文件（默认文件名），将 Redis 内存中的全部数据进行序列化保存。例如，当 Redis 实例包含 10,000 条数据记录时，RDB 机制会将这些数据完整保存至快照文件，在系统重启时通过加载该文件实现数据恢复。 二、核心技术原理RDB 持久化的实现过程主要涉及以下两个关键步骤： 子进程创建（fork 机制）：在触发 RDB 快照生成时，Redis 利用操作系统的fork机制创建一个子进程。此时，父进程继续处理客户端的读写请求，确保业务连续性；而子进程则负责将内存数据写入 RDB 文件，这种分离设计有效避免了对业务处理的阻塞。 写时复制（Copy-On-Write，COW）：在子进程执行数据写入操作期间，若父进程需要修改内存中的数据，系统会采用写时复制策略。具体而言，父进程将待修改的数据复制一份，在新副本上进行修改操作，而子进程继续读取原始数据写入 RDB 文件。通过这种方式，能够确保...

导言在分布式计算架构中，Redis 作为内存数据库的典型代表，其数据持久化机制构成了系统容错性与数据一致性保障的核心技术支撑。在 Redis 提供的 RDB（Redis Database）快照持久化与 AOF（Append-Only File）日志追加持久化两种核心策略中，AOF 机制凭借其基于操作日志的增量式数据记录模式，在数据完整性保障方面展现出独特优势。 一、AOF 持久化机制的理论模型与实现架构AOF 持久化机制遵循 "Write-Ahead Logging"（预写日志）设计范式，通过顺序追加的方式记录数据库写操作，从而构建可回溯的历史操作序列。该机制在运行时经历命令缓存、磁盘同步、日志优化三个核心处理阶段，各阶段通过协同工作实现数据可靠性与系统性能的动态平衡。 1. 命令缓存层：基于 RESP 协议的操作记录在 Redis 执行写操作过程中，系统将 SET、HSET、LPUSH 等指令按照 RESP（Redis Serialization Protocol）协议标准进行序列化，并暂存于内存级 AOF 缓冲区。这种设计有效规避了频繁磁盘...

导言在分布式系统中，Redis 作为高性能分布式缓存，可有效减轻数据库压力、提升接口响应速度，但高并发场景下，缓存雪崩、缓存击穿、缓存穿透三类异常易引发系统稳定性问题。 一、缓存穿透 ——“不存在数据” 的持续穿透1. 核心定义缓存穿透是指查询的数据在缓存和数据库中均不存在（如查询不存在的 ID、非法参数），导致每次请求都穿透缓存直接查询数据库，且由于缓存无法存储 “不存在的数据”，后续相同请求会持续穿透，造成数据库无效查询压力激增的现象。 核心特征：区别于前两类异常，其关键在于 “查询无结果数据”，缓存无法拦截，请求持续打向 DB。 2. 触发条件缓存穿透的发生源于两类场景： 非法请求攻击：恶意用户构造非法参数（如负数 ID、超长字符串）发起大量查询，这类数据在缓存和 DB 中均不存在； 业务空数据查询：正常业务场景中，部分查询天然无结果（如查询已删除的用户、未创建的订单），且未做缓存处理。 3. 解决方案对比 解决方案 实现逻辑 优点 缺点 适用场景 空值缓存 查询 DB 无结果时，将 “空值”（如空字符串、默认对象）存入...

导言在分布式系统中，Redis 作为高性能分布式缓存，可有效减轻数据库压力、提升接口响应速度，但高并发场景下，缓存雪崩、缓存击穿、缓存穿透三类异常易引发系统稳定性问题。 一、缓存击穿 —— 热点数据 “过期瞬间” 的单点突破1. 核心定义缓存击穿是指某一 “热点数据”（高并发访问的单一数据）的缓存过期失效瞬间，大量并发请求同时查询该数据，由于缓存已无对应数据，所有请求直接穿透至数据库，导致数据库针对该热点数据的查询压力骤增、甚至出现查询超时的现象。 核心特征：区别于缓存雪崩，其关键在于 “单个热点数据失效”，影响范围为 “局部”（仅该热点数据相关查询）。 2. 触发条件缓存击穿的发生需同时满足两个条件： 热点数据缓存过期：某一数据访问量极高（如每秒数千次查询），且其 Redis 缓存恰好过期； 无预热机制的突发热点：突发高并发请求集中访问某一数据（如临时热门内容），而该数据未提前缓存，导致请求直接打向 DB。 3. 解决方案对比 解决方案 实现逻辑 优点 缺点 适用场景 互斥锁（分布式锁） 缓存失效时，仅允许一个请求获取锁并查询...

导言在分布式系统中，Redis 作为高性能分布式缓存，可有效减轻数据库压力、提升接口响应速度，但高并发场景下，缓存雪崩、缓存击穿、缓存穿透三类异常易引发系统稳定性问题。 一、缓存雪崩 —— 大量缓存 “集体失效” 的连锁反应1. 核心定义缓存雪崩是指某一时间段内，大量缓存数据同时过期失效，或缓存服务（如 Redis 集群）整体不可用，导致原本由缓存承接的高并发请求全部穿透至数据库，引发数据库压力骤增、甚至宕机，进而可能导致整个业务服务雪崩的现象。 核心特征：区别于其他异常，其关键在于 “批量失效 / 整体不可用”，影响范围为 “全局”（而非局部）。 2. 触发条件缓存雪崩的发生通常源于两类场景，满足任一即可触发： 缓存集中过期：大量缓存数据设置了相同或相近的过期时间（如统一设为 24 小时、固定时间点过期），到期后集体失效，请求失去缓存承接； 缓存服务不可用：Redis 集群因硬件故障、网络波动、内存溢出被系统终止等原因，出现整体宕机或无法访问，导致缓存层完全失效。 3....

导言哨兵模式（Sentinel）是 Redis 主从复制架构的 “高可用增强层”，通过分布式共识机制解决了主从复制中 “主节点宕机需手动切换” 的痛点，实现故障自动检测、主节点自动选举、从节点自动同步，是中小规模 Redis 集群（数据量 < 10GB、读多写少）的生产级高可用标准方案。 一、哨兵模式的核心定位与价值1.1 在理解哨兵前，需先明确其与主从复制的关系：主从复制负责 “数据同步”（主写从读、数据备份），但无法自动处理主节点故障； 哨兵负责 “高可用保障”（监控、故障转移、配置自动更新），是主从架构的 “大脑”，二者协同实现 99.99% 服务可用性。 1.2 哨兵模式的核心价值 彻底告别手动运维：主节点宕机后，无需人工干预，10-30 秒内完成故障转移 分布式容错：多哨兵节点共识判断，避免单点误判（如网络抖动导致的假宕机） 客户端透明路由：客户端可通过哨兵获取当前主节点地址，无需硬编码 IP / 端口 配置动态同步：故障转移后，自动通知所有从节点切换新主节点，更新同步关系 二、哨兵的核心功能与工作原理2.1...

导言作为分布式系统中实现数据高可用与读写分离的核心技术，Redis 主从复制（Master-Replica Replication）通过多节点数据同步，解决了单点故障风险与读写负载不均问题。 一、核心原理：全量复制与增量复制双机制Redis 主从复制通过 “全量初始化 + 增量衔接” 的方式实现数据同步，两种复制模式适配不同场景需求，需明确触发条件与执行流程。 1. 全量复制：从节点初始化同步触发场景 从节点首次连接主节点（冷启动场景） 从节点断开时间超过repl_backlog_buffer（复制积压缓冲区）大小 主节点执行flushall/flushdb后，从节点同步时无有效偏移量 关键细节 RDB 传输期间主节点通过复制客户端缓冲区（默认 1GB）缓存新写请求，缓冲区满会导致复制失败，需根据写入量调整client-output-buffer-limit replica 从节点加载 RDB 时会阻塞读请求，可通过replica-lazy-flush yes（默认开启）延迟清空数据，减少阻塞时间 2....

一、Redis 内存分配原理与数据存储特性要解决内存满的问题，首先需理解 Redis 如何占用内存 —— 其内存消耗并非仅用于存储键值对，而是由多模块构成，且数据类型的编码特性直接影响内存效率。 1.1 内存结构组成（按占用比例排序）Redis 的内存消耗主要分为 4 个部分，其中数据区是核心： 数据区（~80%-90%）：存储键值对数据，包含键（Key）、值（Value）及数据结构元数据（如哈希表桶、链表节点、跳表索引等）。 例：一个Hash类型键，若采用ziplist编码，会存储字段 / 值的紧凑数组；若转成hashtable，则需额外存储哈希桶、链表指针等元数据，内存占用显著增加。 缓冲区（~5%-15%）：包括三类关键缓冲，易被忽视但可能引发内存溢出： 客户端缓冲：每个客户端连接的输入 / 输出缓冲（默认无上限，大量闲置连接会导致缓冲堆积）； 复制缓冲：主从同步时的repl-backlog-buffer（默认 1MB，若同步延迟高会扩容）； AOF 缓冲：AOF...

引言：高并发时代下的数据库性能困境与缓存破局在现代应用架构中，高并发读取场景（如电商商品详情页、CMS 文章列表、用户会话查询）已成为系统性能的核心挑战。MySQL 作为主流关系型数据库，其 InnoDB 存储引擎基于磁盘 IO 实现数据持久化，在单机并发读场景下，性能通常局限于 1k-10k QPS（受磁盘寻道时间、页缓存命中率影响），难以满足秒杀、大促等峰值需求。 Redis 作为开源高性能内存数据库，凭借 内存级 IO 特性（读 QPS 可达 10 万 - 100 万，写 QPS 可达 5 万 - 50 万）、丰富的数据结构和灵活的过期策略，成为 MySQL 缓存的首选方案。 一、技术原理：Redis 与 MySQL 的协作核心Redis 作为 MySQL 缓存的本质是 “将热点数据从磁盘迁移到内存”，但需解决数据一致性、缓存命中率、异常场景处理三大核心问题。 要点 1：缓存协作模型选型（4 种经典模式）Redis 与 MySQL...

Redis 锁机制：分布式集群的并发控制Redis 作为分布式缓存与数据库，其锁机制主要解决跨节点、跨进程的分布式并发问题（如微服务集群中共享资源的互斥访问）。核心是 “分布式锁”，基于 Redis 原子命令和 Lua 脚本实现，支持可重入、公平锁等特性。 1. 基础分布式锁：基于 SETNX 命令核心定义利用 Redis 的 SETNX（SET if Not Exists）原子命令实现的分布式锁：若键不存在则设置值（获取锁），若已存在则失败（锁已被持有），确保同一时间仅一个节点的一个线程获取锁。 底层实现 核心命令：SET lock_key thread_id NX EX 10（NX：不存在才设置，EX：过期时间 10 秒）； 锁标识：用 thread_id（如 “node1_thread2”）标记持有锁的线程，避免误释放其他线程的锁； 过期时间：防止线程崩溃导致锁无法释放（死锁），需设置合理的过期时间（大于业务执行时间）。 代码示例（Redis CLI 实现）123456789101112131415# 1. 获取锁：SETNX +...

一、调试前环境准备（必须配置）调试 Redis 的核心前提是保留调试符号与开启核心日志，否则无法定位源码问题。 1. Redis 编译配置（带调试符号）默认make会开启优化（-O2）并剥离调试符号，需重新编译保留调试信息： 12345678# 1. 清理原有编译结果make distclean# 2. 编译时保留调试符号（-g）+ 关闭优化（-O0，避免代码指令重排）make CFLAGS="-g -O0"# 3. 验证调试符号是否存在（输出包含 "with debug_info" 即正常）file src/redis-server | grep debug 2. Redis 核心日志配置（辅助调试）修改redis.conf，开启详细日志以定位问题上下文： 123456789101112# 日志级别：调试阶段设为 verbose（输出核心操作）loglevel verbose# 日志文件：指定路径便于后续分析logfile "/var/log/redis/redis-debug.log"#...

第一章 Redis 安装验证与原生连接安装 Redis 后，首要任务是通过redis-cli（Redis 自带命令行客户端）验证服务可用性，并掌握基础连接参数与配置查看方式。 1.1 安装后基础验证（redis-cli 核心命令）无论通过yum/apt/ 源码编译安装，Redis 均默认自带redis-cli工具，直接在终端执行以下命令验证服务： 123456789101112131415161718192021222324# 1. 本地连接（默认端口6379，无密码时）redis-cli# 成功连接后会显示Redis服务地址与端口，提示符如下：127.0.0.1:6379> # 2. 验证服务存活（核心命令：PING）127.0.0.1:6379> PING# 返回结果：PONG（表示服务正常运行）# 3. 查看Redis版本（核心命令：INFO server）127.0.0.1:6379> INFO server# 关键输出（截取版本信息）：redis_version:6.2.6 #...