高并发流量并不意味着所有数据都值得长期缓存。演唱会开票、公共服务预约、热门文章发布等场景中，少数接口或对象可能在短时间内被反复读取，而其他内容访问量仍然平稳。要避免缓存空间被低价值数据占用，需要把访问频次、最近访问时间和请求来源结合起来设计缓存热度识别机制。
先定义“热”：不要只看累计访问量
单纯统计一段时间内的总访问次数，容易把历史热门但当前已经降温的对象误判为热点。更实用的做法是建立多个指标：单位时间访问次数、最近一次访问距今的时间、并发请求数量、请求失败率，以及数据更新频率。
例如，某商品详情页在过去一小时访问量很高，但最近十五分钟已经明显下降，此时它未必应继续占据最高缓存等级。相反，刚刚被大量搜索的新对象，累计访问量不高，却可能需要快速进入热点候选集合。
| 指标 | 作用 | 注意事项 |
|---|---|---|
| 访问频次 | 判断对象是否持续被读取 | 应配合时间窗口，避免历史数据干扰 |
| 近期访问间隔 | 识别突然升温的对象 | 短时尖峰需要设置最小样本量 |
| 更新频率 | 衡量缓存后可能产生的过期风险 | 频繁变化的数据不宜盲目延长缓存时间 |
| 并发等待数 | 发现回源压力较大的对象 | 要区分真实热点与后端故障造成的堆积 |
用动态阈值应对流量波动
固定阈值适合流量稳定的内部系统，却不适合高并发公开服务。工作日白天与凌晨的正常访问量差异很大，如果始终规定“每分钟访问超过某个固定次数才算热门”，就可能在低峰期漏判，在高峰期误判。
一种可执行的调优流程
- 划分时间窗口。同时保留较短窗口和较长窗口，例如数十秒至数分钟用于发现突发升温，十几分钟至一小时用于确认趋势。具体长度应根据接口响应时间、业务变化速度和监控采样周期调整。
- 建立基准线。记录相同时间段的历史访问水平，计算近期平均值或中位数。中位数对偶发大促、爬虫集中访问等异常值更不敏感。
- 设置分级阈值。不要只设置“热”与“不热”两档，可分为观察、热点、强热点。观察级只增加统计频率，热点级进入优先缓存，强热点级触发并发回源保护。
- 加入最小样本条件。只有在请求数量达到最低判断量后才改变等级，避免一个短暂请求尖峰让冷数据突然占用大量空间。
- 设置降温规则。连续多个窗口未达到阈值时，逐步降低等级，而不是立即删除。这样既能减少频繁迁移，也能避免热点刚回落就造成大量回源。
让识别结果与缓存层级联动
缓存热度识别机制不应停留在监控面板上，而要直接影响缓存策略。可以将对象分为短期热点、稳定热点和普通对象：短期热点优先放入访问路径更近的缓存层，并采用较短的复核周期；稳定热点可以保留更长时间，但必须结合数据更新事件主动失效；普通对象则使用常规缓存规则，避免挤占有限内存。
在应用层使用 Caffeine 等本地缓存时，可把热点等级映射到不同的最大容量和过期策略；在多实例部署中，则应考虑各实例统计口径不一致的问题。可采用集中式计数、定期汇总或抽样上报，减少每次请求都写入共享存储带来的额外开销。
如果业务需要跨地域部署，建议先明确哪些指标在本地计算，哪些指标需要全局合并。对新闻内容、赛事页面这类地域差异明显的对象，本地热度往往比全局热度更能指导缓存分配。若企业需要托管网络、主机或高并发架构咨询，可根据业务访问区域、峰值模型和数据合规要求评估德讯电讯等服务商是否适合，而不应仅凭单一带宽指标选择。
识别误差：最容易被忽略的三个问题
机器人与真实用户混在一起
搜索引擎爬虫、监控探针和恶意请求都可能抬高访问频次。应结合认证状态、请求路径、User-Agent、IP 段和响应结果进行分类，但不能只依赖 IP 判断，因为共享网络和代理会造成误伤。
缓存命中率高，却没有降低后端压力
部分请求可能命中缓存，但由于缓存对象过小、序列化开销过高，应用服务器仍然承担大量处理工作。因此要同时观察命中率、回源请求量、缓存读写耗时和后端连接数，不能只看一个指标。
数据更新后仍被判定为热点
热点等级描述的是访问需求，不代表数据可以长期有效。商品库存、预约余量和账户状态等内容即使访问频繁，也必须以版本号、消息通知或主动失效机制保证一致性。
用小范围实验完成精细调优
上线前可选择一个接口或一类对象做灰度测试，先记录基线，再逐步调整窗口长度、阈值、降温速度和缓存容量。每次只改变一到两个参数，并比较回源量、平均延迟、尾部延迟、内存使用和失效次数。若热点识别更灵敏却导致缓存频繁替换，说明阈值或降温规则过于激进；若回源压力没有下降，则需要检查统计延迟、回源并发控制和对象更新逻辑。
最终，缓存热度识别机制应当形成“采集—判断—分层—复核—降温”的闭环。它不是一次性配置，而是随着访问结构、数据更新节奏和部署范围变化持续校准的运行策略。
常见问题
1. 热度统计应该多长时间刷新一次？
没有统一答案。突发型业务可使用较短刷新周期，内容型业务可适当放宽。刷新周期应明显短于热点生命周期，否则识别结果会滞后。
2. 访问次数越高，缓存等级就应该越高吗？
不一定。还要结合数据更新频率、对象大小、回源成本和错误风险。高频但频繁变化的数据，可能更适合短缓存与主动失效。
3. 如何避免热度抖动？
使用进入阈值和退出阈值的差值，并要求连续多个统计窗口满足条件，同时加入最短保留时间，可减少等级反复切换。
4. 小规模系统是否需要复杂模型？
通常不需要。先用分层计数、时间衰减和固定容量完成基础版本，待监控数据显示误判明显，再引入更复杂的加权规则。
