Cache

25 篇内容

技术文章Fzakaria Blog

The intensional model in disguise

文章指出 Nix、Bazel 与 buck2 底层都采用内容寻址的“内涵模型”,并用 C 示例说明失效传播。Nix 默认输入寻址会因上游注释改动重建 greet 和 hello;启用实验性 CA derivations 后仅重建 greet,hello 复用旧结果。Bazel/buck2 默认以命令和输入摘要作为 action key,靠 action cache 与 early cutoff 避免无关重编译。作者将 resolved derivation、realisation、store path 映射到 Action、action cache 与 CAS blob,显示 Nix 与 REAPI 概念一致。不足是 Nix CA 仍属实验特性,动态 derivation 未稳定,文章偏概念验证而非性能基准。

推荐收录:文章用可复现的 C 编译示例和映射表,直接比较 Nix CA derivations 与 Bazel/buck2 action cache,证据具体,能解释 early cutoff 与重建粒度。适合构建系统、Monorepo 基础设施和缓存设计读者,可迁移到依赖失效分析与内容寻址缓存。需注意 Nix CA 仍是实验特性,且文章不是性能基准,读者应具备一定构建系统背景。

技术文章ClickHouse Engineering

ClickHouse release 26.10

文章是 ClickHouse 26.10 版本发布说明,但并未停留在变更列表,而是用 SQL 示例解释函数组合运算符、写入行数配额、数组/Map 新函数、SQL 兼容整数除法、IN 子查询落盘、LowCardinality GROUP BY 优化、Top-K 动态过滤、实验性列缓存、LATERAL JOIN 和任意 ON 条件 JOIN 等功能。作者结合 UK 房产、IMDb 与 Amazon 评论数据集,给出耗时、读行数和峰值内存对比,说明优化收益及启用参数。文中也标注了实验特性、默认关闭项、依赖 wide part 或主键等适用边界。其价值集中在 ClickHouse 版本升级评估和查询调优参考,属于版本相关技术说明而非通用数据库理论。

推荐收录:文章虽为版本发布稿,但包含函数组合重写为 lambda、IN 集合落盘、Top-K 动态过滤与列缓存等机制说明,并配有可复现的 SQL 和性能数据。对正在使用或评估 ClickHouse 的数据库工程师、数据平台开发者有直接参考价值;需注意其结论绑定 26.10 版本和特定数据集,不能外推为通用性能结论。

工程实践SelectDB 技术分享

存算分离冷查询提速 7.5 倍!Apache Doris 4.2 Peer Read 实现跨计算组缓存复用 Apache Doris 4.2 引入 Peer Read 机制,实现存算分离架构下跨计算组缓存复用,...

文章讨论 Apache Doris 存算分离架构下各计算组本地 File Cache 不共享,导致冷查询延迟高、扩缩容后抖动和重复回源的问题,并介绍 4.2 的 Peer Read 机制。该机制在本地未命中时优先从同组或其他计算组读取缺失缓存块,通过 20 毫秒优先竞速、失败回源、写入组代为回源和本地回填,平衡延迟与对象存储开销。TPC-H 1TB 冷读总耗时从 323.3 秒降至 158.6 秒,减少约 51%;真实一写多读主键点查平均耗时从 4.45 秒降至 0.59 秒,提升约 7.5 倍。文中也说明其边界:4.2 中默认关闭且为实验特性,仅支持存算分离内表,会占用对端资源,跨可用区有流量成本,且不能替代本地缓存,仍比热读慢一个数量级。

推荐收录。文章不仅解释 Peer Read 的候选节点发现、缺失块传输、竞速与回源策略,还用 TPC-H 1TB 和真实主键点查数据验证收益与开销,属于可复用的缓存共享工程案例。适合 OLAP 数据库、存算分离和缓存系统工程师参考;启用前需评估跨计算组资源争用、跨可用区流量成本及其实验特性边界。

工程实践Cloudflare Blog

Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang

文章复盘 Cloudflare Workers AI 上 GLM-5.3 的跨请求 KV cache 暴露事件。2026 年 8 月 27 日至 9 月 9 日,155 个超过 681,280 token 的长提示响应混入了其他用户数据;根因是预填充 KV 池小于 1,048,576 token 上下文窗口,且 SGLang 在分离式 prefill/decode 模式下将超长请求替换为单 token 占位符,decode 仍按原长度预留并读取未覆盖的陈旧 KV 页。Cloudflare 将池扩至约 204 万 token,并在 admission 阶段提前拒绝被拒请求、校验传输 token 数,同时推动上游 #36988/#38935 等修复进入 v0.5.22。文章还给出运维检查清单、延迟释放、校验和、页标签和形式化验证等长期加固方向,适用于采用 SGLang 分离式推理的团队,边界是结论高度依赖该架构与版本。

推荐收录:文章给出可复现时间线、根因链条、155 个响应和超过 681,280 token 的触发边界,以及具体配置修复、上游 PR 与 v0.5.22 版本要求,证据密度高。适合 LLM 推理平台、SGLang 运维、SRE 与安全团队,其中“实测 KV 池与上下文长度对齐”“不能只验 HTTP 状态还要验输出”“跨节点页面生命周期检查”可直接迁移。风险是结论绑定 Cloudflare 部署与特定 SGLang 版本。

工程实践Cloudflare Blog

Origin Range Requests: Serving large files without range-request tuning

Cloudflare 复盘其缓存层如何重新实现 HTTP Range 请求。旧方案按客户配置的固定范围切片,范围过小会产生大量小源站请求并占用内存,范围过大则会跨数据中心传输远超客户端所需字节,还会与并发流式读取冲突。新方案借助 Pingora 的固定大小磁盘分块,将缺失字节按分块边界回源,并协调已缓存数据、在途下载和源站响应组成单个 206 响应,同时校验 Content-Range、总大小以及 ETag/If-Range,避免混用不同版本。生产上 R2 的 p99 TTFB 降低约一半,分层缓存流量下降约 6%。文章也指出小于分块或非对齐的范围请求仍会产生有界额外工作,且源站需要支持字节范围。

推荐收录:文章具体说明旧范围缓存因客户配置范围大小导致回源放大、跨层带宽浪费和并发阻塞,并展示新实现如何用 Pingora 固定分块、范围协调和 ETag/If-Range 校验满足标准 206 响应;R2 p99 TTFB 减半和分层缓存流量约 6% 的下降提供了生产验证。适合 CDN、对象存储和大文件分发工程师阅读,其中按分块对齐回源、合并缓存与在途数据、限定额外工作边界的做法可迁移到其他缓存和代理系统。

工程实践Cloudflare Blog

Cutting our inference bill by 68% by being obsessive about optimization

文章复盘 Cloudflare AI 代码审查器的推理成本优化:平均单次审查从 $2.43 降至 $0.77(降68%),中位时延从4分09秒降至1分32秒。作者拆解 token 成本后发现缓存写入/读取占大头,通过修复系统提示构造实现跨仓库共享前缀命中,并采取标准索引移入提示、移除无效工具、并行读文件、跳过多余重审、及时终止取消任务、三个审查器共享前缀等措施。模型与 effort 实验贡献更大降幅:coordinator 改用 Opus 5.5 medium,Sonnet 审查器切到 5.5,code quality 最终用 high effort。质量上用作者后续提交是否改动标记行及跨供应商模型盲评检验,显示严重发现减少主要来自噪声和严重度虚高;code quality 真实重要发现基本持平,但 performance/security 在 medium effort 下可能漏报。文章也承认成本归因并非严格受控实验、质量评估窗口较短。

推荐收录。文章以 Cloudflare AI code reviewer 为真实工程案例,给出成本下降 68%、时延显著降低的量化结果,并完整拆解 prompt cache 命中、调用次数压缩、模型与 effort 选择等优化手段,同时用作者行为和模型盲评检验质量回归。适合运行 LLM Agent、AI 代码审查或推理服务的工程团队,可迁移其“先验证首请求缓存命中、再减少调用与 token”的排查路径;需注意部分归因非严格受控实验、质量评估样本窗口较短。

工程实践知乎 - Clouder

[已失效]利用 OpenAI 边缘网关的分布式不一致性和缓存固定 TTL 强行绕过降智风控

文章复盘一项已失效的 OpenAI GPT 边缘网关绕过降智方案:利用 _oailb cookie 强制路由到特定边缘网关,卡住 (account,host) 降智状态的固定 TTL 缓存与 120 分钟再生窗口,通过探测、排针和账号轮转持续获取不降智服务。作者把问题形式化为隐二值状态资源的在线调度:资源按周期再生且单次使用即锁住,质量只能抽样验证,缓存亲和与账号能量/截止期构成硬约束。文中给出抽样验证规则及其可独立审计性、排针精确可解、作废率有与预算无关的下界、共享资源使池级供给风险存在买不掉的下限,以及损失分解为作废与截止期未用完等结构性结论。随后用生产数据估计寿命、主机质量、缓存和需求等参数,并记录 2026-10-15 上游加强一致性后环境漂移、方案失效;文章区分结构性定理与窗口内参数,但判定器可靠性未独立验证,且属灰色利用。

推荐收录:它把一次真实边缘网关漏洞利用抽象为带隐状态、再生冷却、缓存亲和和硬截止期的调度问题,并给出可独立审计的质量验证规则、排针精确解与共享资源风险下限,对分布式系统、调度算法和风控对抗研究有迁移价值。需注意参数仅覆盖特定时间窗口,且内容涉及绕过服务风控,读者应将其视为系统一致性与调度建模案例,而非可复用攻击教程。

工程实践Cloudflare Blog

Inside Hyperdrive: How we solved a rare Hyperdrive MySQL caching bug

文章介绍 Cloudflare Hyperdrive 对 MySQL 的支持正式 GA,并以一个出现率约 0.001% 的罕见缓存 bug 为主线,完整复盘从现象定位到根因修复的过程。Hyperdrive 是分布式数据库连接池,采用 Client 与 Endpoint 双节点架构,两者共用所在数据中心的 CDN 缓存以加速查询。作者先排除网络与用户逻辑问题,发现 bug 只出现在开启缓存的实例上,进而深入 MySQL 客户端/服务端协议的能力协商机制。根因在于 Client 节点会把响应翻译成 Worker 客户端(如 mysql2 不支持 CLIENT_DEPRECATE_EOF)期望的能力格式再写入缓存,而 Endpoint 始终以 Hyperdrive 自身能力格式读写,二者共享缓存时读到格式错配的字节,导致空结果或挂起。修复方式是无论哪个节点都统一缓存以 Hyperdrive 能力编码的规范化结果,Client 连接成功率恢复到 99.99%。文中还记录了 utf8mb3/utf8mb4 与 COM_RESET_CONNECTION 引发的编码类 bug,可作为连接池与协议代理实现的边界参考。

推荐收录,因为它是一次真实且边界明确的线上疑难问题复盘:从 0.001% 的空结果现象出发,通过遥测、协议文档与代码分析逐步收敛到能力协商与共享缓存格式错配这一根因。对做数据库连接池、协议代理或分布式缓存的工程师来说,其排查顺序、假设修正和规范化缓存的设计取舍都可迁移到同类系统。

工程实践Cloudflare Blog

Under the hood, off the hot path: How D1 scales to millions of databases

文章深入介绍 Cloudflare D1 控制面如何扩展到数百万数据库:每个数据库由一个 SQLite Durable Object 支撑,核心原则是把查询热路径与中心 Postgres 解耦,通过 Workers KV 缓存路由元数据,并在缺失时回退到 Hyperdrive/Postgres 只读副本。创建和删除采用唯一 ID、重试幂等与 Postgres 创建检查点,Durable Object 定期心跳以最终一致方式自校正状态。查询经 Edge API、Eyeball Worker 转发到 Durable Object,避免中心单区域瓶颈。用量限额则用队列批处理、预聚合表、Hyperdrive 缓存和 ClickHouse/Quicksilver 异步执行。作者也指出这些流程依赖最终一致性,限额反应会略有延迟,路由与缓存设计需按平台组件边界权衡。

推荐收录。文章以 D1 扩展到数百万数据库为真实工程案例,明确给出控制面/数据面分离、Workers KV 路由缓存、Hyperdrive 回退、心跳自校正、队列预聚合与 ClickHouse 限流等架构取舍和失败恢复细节。对做多租户 SaaS、Serverless 数据库、平台控制面或高并发查询系统的读者,可迁移其幂等、最终一致性和缓存分层模式;主要限制是强依赖 Cloudflare 特定组件。

工程实践vLLM Blog

Improve TTFT for Multi-Turn Agentic Workloads with Bi-Directional KV Transfer in vLLM

文章介绍 vLLM 面向多轮 Agent 负载的双向 KV 传输:在 P/D 分离部署中,解码节点保留已生成 KV 块并通过流式响应返回元数据,KV-cache-aware 路由器按 conversation_id 缓存并传给下一轮预填充节点,后者用 D→P NIXL READ 取回 KV,仅计算剩余后缀。文中用 decoder_kv_blocks_ttl 控制保留时间,用 kv_recompute_threshold 决定复用还是本地重算。在 1P1D、P5en 与 EFA 测试中,最长上下文下 TTFT 对 Qwen3-32B 降低约 1.6x、对 GLM-5-FP8 降低约 3.3x,KV 传输开销远小于节省的重算时间。结论依赖模型、网络与负载配置,固定 TTL 不续约等边界仍需部署调优。

推荐收录:文章给出 vLLM 双向 KV 传输的完整架构、NIXL connector 改动、路由器元数据流、TTL 与重算阈值取舍,并提供 1P1D P5en+EFA 上的可复现实验与调优脚本。它适合从事 LLM 推理服务、P/D 分离、KV 缓存与 Agent 基础设施的工程师,可直接迁移到降低多轮 TTFT 和提升加速器利用率的场景;需注意性能收益依赖模型、网络与工作负载配置。

工程实践Anders Murphy

Faster streaming HTML with batches and aggregates

文章以 Clojure 实现为例,介绍一种服务端集中持有状态、通过 SSE 持续推送 HTML 帧(tick 驱动)的流式渲染架构及其优化路径。作者把固定 tick 当作批处理边界与读写屏障:先批量写入再批量渲染,并让每个渲染线程独占缓冲与数据库连接以消除竞争,使 1 万并发用户下的模板缓冲从 640MB 降到数百 KB,同时避免事件触发逐用户渲染造成的 O(N²) 放大。当 10 FPS、数千并发下 HTML 模板生成成为最后瓶颈时,他把组件建模为纯函数并按函数与参数做内容寻址缓存,借助 Caffeine 的 WTinyLFU 准入与淘汰机制抑制碎片化小条目引发的缓存抖动,并附优化前后火焰图对比。文中还说明 Brotli/Zstandard 流式压缩让整帧传输几乎不占带宽,SQLite 可作为按 tick 查询的投影存储。该方案依赖 tick 语义与服务端集中状态,对需要客户端本地状态或更低交互延迟的场景并不通用。

推荐收录:文章提供了可验证的工程证据——tick 批处理屏障与每线程独占资源把 1 万并发下的模板缓冲从 640MB 压到数百 KB,WTinyLFU 驱动的组件级内容寻址缓存,优化前后火焰图,以及 2 vCPU 上约 1000 并发、10 FPS 的生产数据。适合做实时协作、服务端渲染或高并发 Web 服务的工程师,其批处理边界、缓存准入策略与内存有界化思路可迁移;风险在于方案绑定 tick 语义、Clojure 运行时与嵌入式数据库,换栈需重新验证。

工程实践Cloudflare Blog

Next.js applications, powered by Vite: introducing Vinext 1.0

文章介绍 Cloudflare 发布 Vinext 1.0,一个让 Next.js 应用基于 Vite 构建、并可移植到 Cloudflare Workers、Netlify、AWS Lambda 等平台的框架。作者说明 1.0 在 App Router 与 Pages Router 兼容性(客户关注特性覆盖超 99%)、页面生命周期、缓存、可观测性和 next/* 生态兼容上做了增强,并用数千测试与每日运行 Next.js 端到端测试套件来防止回归。核心工程创新是“缓存热身”:把构建期预渲染从构建机迁移到 Cloudflare 网络,先把新 Worker 版本部署到 0% 流量、预请求页面填充缓存,再安全提升上线。维护方式上,用 AI Agent 每日跟踪 Next.js canary 变更、复现差异并提交修复。文章偏产品发布,缺少量化性能数据与失败边界分析,对 use cache 等新特性仅有限支持。

推荐收录:文中“0% 流量版本预渲染再提升”的缓存热身实现路径,以及用 AI Agent 持续同步上游 Next.js fork 的自动化维护模型,是可迁移到边缘部署、构建与缓存优化的工程实践,适合做 Web 框架、边缘运行时和发布流程的读者。主要风险是文章以产品发布为主,缺乏量化性能数据、失败案例与兼容性缺口的细节,引用时需注意其厂商视角。

工程实践Cloudflare Blog

We just shipped support for the ugliest part of HTTP: Vary

文章介绍 Cloudflare 在 Cache Rules 中支持 HTTP Vary 的工程方案。Vary 让源站声明可能影响响应的请求头,但缓存无法判断差异是否真的影响响应,高基数、格式差异和 q 值会产生大量等价却无法复用的变体,降低缓存命中率。Cloudflare 把决策拆成两步:源站声明 Vary 字段,Cache Rule 决定每个字段用 normalize、passthrough 还是 bypass。normalize 对 Accept、Accept-Language、Accept-Encoding 做小写并按 q 值排序收敛到配置集合,passthrough 保留精确差异,bypass 绕过缓存,Vary:* 始终绕过。文章还说明缓存查找、变体存储和清除边界,并指出源站必须一致返回 Vary,方案仍需手工配置语言与格式。

推荐收录:文章并非单纯产品发布稿,而是围绕 HTTP Vary 的缓存语义、基数爆炸和变体归一化展开技术权衡,并给出 normalize、passthrough、bypass 的边界与 API 示例。对 CDN、缓存策略和 Web 性能工程师而言,其“源站声明差异、缓存判断差异是否重要”的设计思路和变体键管理方法可迁移到自建缓存或边缘场景;风险是带有 Cloudflare 产品语境,细节需结合文档验证。

工程实践Cloudflare Blog

Saving another 100TB of RAM with math (and Rust)

Cloudflare 复盘 Pingora Backend Router 中 pingora-ketama 一致哈希内存占用过高的问题。文章从一致哈希哈希环和权重路由讲起,用期望值、标准差和变异系数分析每台服务器哈希点数量对负载均衡精度的影响,并指出 32 位哈希在哈希点极多时会因碰撞抵消收益。工程上,作者将 Point 结构改为紧凑字节存储以规避 Rust 对齐开销,带来约 25% 内存下降;又依据推导把每节点哈希数降低 90%,且不造成明显误差。为避免切换哈希环导致缓存大面积失效,团队用新旧双环、按请求哈希稳定选择、数据中心分层灰度、可回滚和多项指标观测完成迁移。最终全球回收超过 100TB 内存,相关能力以 pingora-ketama v2 实验特性提供。其结论依赖连续哈希环近似和碰撞分析,落地时仍需按服务器数、哈希位宽和缓存失效代价验证。

推荐收录。文章给出从算法建模、Rust 内存布局到生产灰度迁移的完整闭环,并用全球回收 100TB RAM 的结果验证;其中一致哈希的统计推导、碰撞分析和双环迁移策略可直接迁移到负载均衡、缓存路由和基础设施性能优化场景。风险在于切换哈希环会引发缓存重分布,读者需结合自身哈希位宽、节点规模和灰度能力评估。

工程实践JuiceFS 工程技术

Keeping GPUs Fed: How Meta's AI Storage Architecture Aligns with JuiceFS

文章以 Meta 公开的 AI 存储蓝图为例,剖析其 Tectonic 块存储、BLOB 元数据层、内嵌 BlockClient 的富客户端 SDK、Owl 分布式缓存以及 L1/L2/L3 分级缓存和跨区域全局数据湖设计,说明其如何缓解 exabyte 规模下 GPU 因存储瓶颈而 stall 的问题。作者指出 Meta 最终收敛的核心原则——数据与元数据分离、富客户端直连数据面、多级缓存、跨区域复制——与 JuiceFS 从设计之初的三组件架构(对象存储、元数据引擎、客户端)高度一致,并给出组件对照表和缓存预热(prefetch 对比 juicefs warmup)等具体例子。文中引用 80% 平均缓存命中率、跨区域摄取时间下降 93%/97%、GPU 空转 20% 对应每小时数千万美元损失等数据支撑动机。适用边界在于内容主要基于公开资料做高层对比,缺少可复现的测量细节与失败边界分析,且带有明显的厂商推广立场。

推荐收录,因为它把 Meta 的 AI 存储架构拆成数据层、元数据层、富客户端和分级缓存几个可迁移的设计维度,并给出与 JuiceFS 的逐项对照表、L1/L2/L3 缓存分层以及 prefetch/warmup 预热机制等具体证据,便于读者理解 GPU 训练场景下存储系统的通用取舍。适合从事 AI 训练基础设施、分布式存储或缓存设计的工程师参考。主要风险是内容源自厂商博客且数据多为二手转述,缺少独立验证,阅读时需对产品对比结论保持审慎。

工程实践vLLM Blog

Tiered KV Cache Offloading in vLLM

文章系统介绍了 vLLM 中的分层 KV 缓存卸载框架,核心设计是所有 KV 数据经由主机内存流转:卸载时先异步拷贝到主机并立即释放加速器内存,再由主机异步写入文件系统、对象存储或远端 P2P 节点;重载时从主机缓存或次级层按序加载,实现即时分配与整合 I/O。该框架通过规范化内存布局保证跨节点、跨并行配置直接共享 KV 数据,并透明支持全注意力、滑动窗口、MLA、Mamba 等混合模型。文章还描述了可扩展的次级层接口、KV 事件与可观测性,并给出性能测试:并发会话超过 128 时,存储层卸载仍能维持高命中率,吞吐量比无卸载方案翻倍以上,但存储延迟使其无法达到峰值吞吐。

推荐收录,因为文章来自 vLLM 官方博客,深入剖析了分层 KV 缓存卸载的主机中心设计、规范化内存布局、次级层抽象与 KV 事件机制,并给出可复现的性能基准,展示了从 HBM 到 CPU 再到存储的完整数据流与权衡。对从事 LLM 推理服务、缓存系统或高性能基础设施的工程师而言,其设计原则(即时分配、整合 I/O、跨节点共享)可直接迁移,具有长期参考价值;风险是部分实现细节绑定 vLLM。

工程实践vLLM Blog

GLM 5.3 Optimizations, Part 1: Hybrid HiSparse Offloading in vLLM

文章介绍 vLLM 为 GLM 5.3 引入的 Hybrid HiSparse 混合稀疏卸载方案,面向长上下文、高并发的智能体推理场景。其核心是 KV 缓存默认常驻 GPU,仅在显存池紧张时按页逐步放弃驻留,并把索引器选中的 top-K 行放入与常驻页共享同一 HMA 池和 KV 张量的热缓冲区,让请求在部分驻留状态下继续解码,避免抢占重算或等待整段 KV 回迁。文中给出完整驻留、混合驻留、无驻留三种状态及内核解析流程,并说明与 P/D 分离、投机解码、前缀缓存等组件的兼容方式。在 8×H200 的 OpenHands 多轮负载上,该方案首次支持 100 万上下文并显著提升并发;但仅支持 NVIDIA GPU 与稀疏 MLA,热缓冲区需按投机 token 数调整,并发估算仅为规划参考。

推荐收录:文章给出真实系统约束下的完整工程方案,包括三种 KV 驻留状态的机制、热缓冲区与 HMA 池共享的设计取舍、基准测试数据以及可复现的启动命令与数据集脚本。对做 LLM 推理服务、KV 缓存管理和长上下文并发的工程师具有直接迁移价值;局限是仅支持 NVIDIA GPU 与稀疏 MLA 路径,且热缓冲区受投机解码约束,需结合自身配置验证。

工程实践Cloudflare Blog

How we could save petabytes of cache storage with Zstandard and Pingora

本文介绍了Cloudflare在缓存系统中引入Cache Transcoding的原型实验,核心思路是在Pingora代理中,对符合条件的可压缩文本响应在写入磁盘前用Zstandard(zstd)进行压缩,在缓存期间和跨数据中心传输时保持压缩状态,仅在向客户端返回时解压。通过这一设计,用少量CPU开销换取PB级缓存容量和跨数据中心带宽的显著节省。作者详细说明了zstd算法的选型理由、压缩级别与阈值(zstd level 3、4 KiB以上)的设定依据,以及仅压缩未预压缩的文本类型(HTML、JSON、CSS、JS等)的判定条件。实验基于超过一百万请求的测试,验证了正确性和性能,测得符合条件的资产平均压缩至原来的约三分之一。文章同时指出了边界,例如测试语料压缩比不代表全量网络内容,需更广泛语料验证,以及未来可探索更高压缩级别和直接透传压缩对象等方向。

推荐收录。文章展示了真实CDN环境中,以CPU换存储和带宽的系统级权衡分析,包含清晰的架构设计、协议细节、测试方法和参数调优思路。对从事缓存系统、代理网关、存储优化的读者尤其有参考价值,其压缩对象筛选和收益-成本建模方法可迁移到其他大规模分布式系统。

工程实践Fzakaria Blog

nixpkgs-multiverse: fast mode

文章介绍 nixpkgs-multiverse 项目的 fast mode,它让用户无需下载和求值完整 Nixpkgs 树即可直接获取任意历史版本的 store path。核心方法是利用 Nix 字符串的 context 机制,通过 builtins.appendContext 手动附加 path 上下文,并使用 mkFakeDerivation 技巧构造不依赖 --impure 的假派生,使 Nix CLI 仅从缓存便能实例化路径。作者解释了索引的构造方式:将 nixos-unstable 每期发布的 store-paths.xz 清单与 multiverse 的 (attribute, version) 索引 join 起来,得到每个版本的精确 store path。文章还讨论了边界,如 fake derivation 没有 drvPath 无法构建,需要 .out 后缀或通过 .eval 获取真实派生来支持 override 和 nix develop,且方案依赖 cache.nixos.org 长期保留所有历史路径(普查显示 271,187 个路径仍存活)。最后展示了配套的 mvs 命令行工具,可查询大小、反向依赖和识别 store path。

本文深入揭示了 Nix 求值与缓存的内部机制,提供了跳过求值直接引用 store path 的可行方案,并清楚说明了其局限。对于 Nix 重度用户和包管理工具开发者,文中的 context 操纵技巧与索引设计具有直接借鉴价值,适合作为 Nix 生态进阶参考收录。

工程实践LinkedIn Engineering - Scalability

Accelerating LinkedIn’s My Network tab by reducing latency and...

文章复盘了LinkedIn My Network页面加载缓慢和内容跳动的问题,旧架构中移动端与Web端并行请求多个API,独立渲染不同推荐区块,导致首屏等待近两秒并出现UI闪烁。作者团队将多端点统一为单一API并引入分页,把无限滚动的PYMK拆成多个小cohort,预构建后放入缓存,后续按页获取;同时采用渲染模型,由API定义通用banner和内容容器,减少客户端业务逻辑。优化后P90延迟下降43%,成本节省七位数,Web端LCP和FID显著改善,会员参与度提升。文章未深入讨论缓存一致性、失败处理和更复杂个性化场景,但提供了可工程迁移的架构权衡。

推荐收录,因为文章给出了完整的性能优化工程案例:从多端点并行到统一API、分页和预构建缓存,再通过渲染模型简化客户端,并用量化指标验证收益。适合后端、前端及系统设计工程师参考,其中缓存设计、API收敛和渲染模型解耦的思路可直接迁移到类似推荐流或内容聚合页面的优化中。

工程实践Netflix TechBlog

How and Why Netflix Built a Real-Time Distributed Graph: Part 3 — Querying the graph with gRPC…

本文详细介绍了Netflix实时分布式图(RDG)的查询服务层设计,阐述如何在高吞吐、低延迟要求下高效查询包含数十亿节点和边的图。文章首先分析了浅宽与深窄两类查询场景的挑战,随后说明广度优先遍历、异步优先架构、选择性缓存等关键设计决策及其取舍。接着以具体查询为例,逐步展示请求解析、存储读取、层次化遍历、并行执行、智能过滤和缓存等环节的实现与优化。最后给出系统性能指标(P50/P99延迟、缓存命中率)和经验总结,强调前沿思维、尽早过滤、有界并行和缓存策略等通用原则。其方法适用于高并发、IO密集型的分布式图查询系统,但一致性模型为最终一致,且依赖特定内部存储。

本文是Netflix技术博客的深度工程案例,展示了在真实约束下构建高性能图查询层的完整思考过程,包含具体的设计权衡、量化效果和可迁移原则。适合分布式系统工程师、架构师以及需要处理图数据查询的开发者参考。文中的广度优先遍历策略、异步执行模型和智能缓存方法可直接应用于类似的大规模在线服务场景,有效降低延迟和资源消耗。

技术文章Kubernetes Blog

How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server

本文深入剖析了 controller-runtime 缓存的内部机制,解释了为何控制器不会压垮 API 服务器。核心原理是:r.Get 和 r.List 并非直接查询 API 服务器,而是读取由 Reflector 通过 list+watch 构建、存储于 Indexer 的本地内存副本;写操作则直接发往 API 服务器,并通过 watch 异步反馈到缓存。文章详细拆解了 DeltaFIFO 的有序分组与去重、workqueue 的 key 级合并、索引器如何提供类 SQL 的快速查询、选择性缓存及 Transform 等内存优化策略,并列举了读后写期待、共享对象突变、resync 误解等常见误区。全文基于 client-go 原语,提供了从启动阶段到生产调优的完整心智模型,适用于已经编写 Go 控制器但希望深入理解其行为以避免生产意外的工程师。

推荐收录。文章深入揭示了 controller-runtime 缓存的底层模型和常见误区,为 Kubernetes 控制器开发者提供了可迁移的内部视角和防错指南。内容覆盖了从原理、设计取舍到实战优化的完整链路,长期计算参考价值显著,尤其适合需要在高负载集群下保障控制器稳定性和性能的工程团队。

工程实践Cloudflare Blog

Improving Smart Tiered Cache for Public Cloud Regions

文章详细说明了 Cloudflare Smart Tiered Cache 在公共云 anycast 源站上遇到的挑战:anycast IP 导致延迟探测无法锁定唯一最优上层数据中心,可能产生跨洲回源和缓存效率下降。解决方案是引入云区域提示,用户指定源站所在云区域后,系统利用各云厂商的 IP 范围文件和持续延迟探测为每个区域赋予主上层和备用上层,并在探测数据不足时回退到地理近似。文章介绍了 anycast 检测原理、区域到上层映射的投票机制,以及通过控制台、API 和 Terraform 进行配置的方式。该功能目前支持 AWS、GCP、Azure 和 Oracle Cloud,旨在提升缓存命中率、降低延迟,但需手动提供提示且仅适用于已支持的云提供商,边界清晰。

推荐收录,因为文章不是简单的功能通告,而是深入剖析了 Smart Tiered Cache 在 anycast 公共云环境中的局限、解决方案的技术细节和配置方法。适合负责 CDN、边缘网络、缓存策略或基础设施性能优化的工程师参考,其中的问题分析框架和自动化映射思路可迁移到类似分布式系统的网络拓扑优化场景。

工程实践Cloudflare Blog

Your Worker can now have its own cache in front of it

这篇文章介绍了 Cloudflare Workers Cache:一种位于 Worker 前面的分层缓存,开启后可直接命中缓存而不执行 Worker,从而减少延迟并避免 CPU 计费。作者说明它完全由 HTTP 语义驱动,主要通过 Cache-Control、stale-while-revalidate、Vary、Cache-Tag 和程序化 purge 来控制缓存行为,而不是依赖 zone 级规则。文章进一步强调这是“Worker 自己的缓存”而非站点缓存,缓存会跟随 Worker、preview、workers.dev 和多租户场景,并支持按 ctx.props 构造多租户安全的 cache key。对于复杂应用,它还能插在多个 entrypoint 之间,让认证、归一化、重度计算和数据层分别决定是否缓存,组合出“近用户 + 近数据”的执行路径。文末也指出一些边界:认证请求需避免自动 bypass、需要控制 Vary 维度膨胀,且部分与 Smart Placement 的协同和响应体大小限制仍在演进中。

收录理由很明确:文章给出了可直接落地的缓存架构、HTTP 控制面设计、按入口点组合缓存的方式,以及多租户安全与失效策略的具体实现。适合做边缘计算、SSR 性能优化、平台架构和缓存设计的长期参考,尤其对使用 Workers、服务绑定或多入口应用的工程师有迁移价值。

工程实践知乎 - 腾讯技术工程

腾讯混元AI Infra如何优化Hy3 Preview:一次大模型推理性能提升的技术拆解

本文拆解了腾讯混元 Hy3 preview 在 Hopper 96G 上的推理全栈优化,围绕算子优化与融合、并行策略、多级缓存、MTP 异步调度、量化与稀疏五个方向展开。作者针对 Attention、MoE、Router、采样、AllReduce 等关键路径做了动态调度、双 BF16 GEMM、FusedMoE、通算融合和算子级融合,显著减少 HBM 往返与 Kernel 启动开销。系统层面又通过 TPSP、DP+EP、三级缓存和按最大接收长度预组装输入,缓解长上下文、MoE 与 MTP 带来的通信、显存和 CPU 气泡问题。文中给出了真实请求集与多组实测指标,如 TTFT 降幅约 24.5%~29.9%、端到端吞吐提升 15.7%~44.7%、量化后吞吐提升 28%+、稀疏注意力在 128K 上将 Prefill 延迟降低 3.6 倍。整体方法高度依赖 Hopper 架构、自研 kernel 与腾讯内部基础设施,迁移到其他模型或硬件时需要重新验证边界与收益。

收录,因为文章给出了真实请求集、Hopper 96G 和 W8A8C8 约束下的系统性优化路径,并明确量化了 TTFT、吞吐和单算子加速收益。适合做大模型推理、GPU Kernel 融合、并行与缓存设计的参考,但方案强依赖特定硬件与自研栈,迁移时需重做适配验证。