工程实践QuestDB Engineering
文章介绍 Port Context Engine 用免费 AIS 流构建港口拥堵监测:Go 采集器接收船舶位置,经 NATS JetStream 分发并写入 QuestDB,五个服务分别负责采集、挂靠检测、增强、API 和归档。系统利用 LATEST ON、ASOF JOIN、SAMPLE BY、去重和 TTL/分区,在 2 CPU/1 GB 容器内完成实时查询、降采样及原始数据归档到 Parquet。作者复盘了分区删除需双重校验、ILP 重连、去重键和类型转换等工程教训。该方案适合低吞吐、强时间语义的物联网分析,但受免费 AIS 覆盖范围和港口数据边界限制。
推荐收录:文章给出了可运行系统的完整证据,包括五服务架构、QuestDB 表结构与保留策略、ILP 写入、LATEST ON/ASOF JOIN/SAMPLE BY 查询、Parquet 归档校验和真实运维踩坑。适合数据工程、时间序列数据库和物联网后端读者参考,其“先独立校验再删除分区”和资源受限下的数据生命周期设计可直接迁移。注意其负载仅约 860 消息/分钟,不能代表高吞吐场景。
工程实践Cloudflare Blog
Cloudflare 复盘 DNS Zone Builder 将全量重建改为可证明安全的最小定向构建:事件携带变更字段,规划器按资源、元数据、apex、purge、全量五类选取工作,并处理同名多区域共享元数据、执行前快照和 Kafka 软提交。统一调度器合并同区域事件,在无法证明等价或首次发布时回退全量;超过记录阈值的大区域则避免不可完成的全量构建。生产数据显示 92.95% 构建避免全量,全量构建占比降约 40%,峰值内存降 85%,p99 完成延迟尖峰从 14.6 分钟降至 1.21 分钟,中位延迟从 7.7 秒降至 3.3 秒。文章说明了剩余全量构建、镜像对比与等价性测试的验证边界,指标不构成单区域延迟保证。
推荐收录,因为文章给出了从事件建模、最小安全构建规划、执行前快照校验到 Kafka 软提交与镜像等价的完整工程闭环,并有 92.95% 避免全量、峰值内存降 85%、中位延迟减半等生产数据支撑。适合分布式系统、基础设施和状态同步管线的架构师与 SRE 阅读,其“用保守回退换取正确性”“先验证等价再放量”的方法可迁移;主要局限是强依赖 Cloudflare 的 Quicksilver、Kafka 分区和区域模型,不能直接照搬到普通系统。
工程实践Jane Street Tech Blog
Jane Street 的 Aria 内部消息总线每天处理数 TB 数据。文章围绕 tip recovery 和 initial recovery 两类问题展开:前者因线性过滤整个内存流导致 CPU 饱和,后者因从磁盘读取并过滤过多数据,使一次恢复从不到 2.5 秒恶化到 13 分钟。实习生 Theodor 为每个 topic partition 建立索引,用最小堆做 n 路归并重建有序消息流,并以共享 block pool 支持索引动态伸缩,避免为每个索引预留 2GB。磁盘侧则用基于消息量的自适应 subtree splitting,通过贪心聚类加二分搜索让大主题独立存储、小主题合并。方案经 benchmark、expect tests、属性测试和 Antithesis 验证后,tip indexing 在部分真实负载中降低约 30% CPU,尾延迟改善,adaptive splitting 也已进入 staging。其适用边界在于高度依赖 Aria 的话题层次与恢复语义,通用消息系统需重新调整。
推荐收录,因为它完整呈现了从线上 CPU 饱和和恢复延迟故障,到索引设计、n 路归并、block pool、自适应 subtree splitting 以及 benchmark/属性测试验证的工程闭环。对消息队列、流存储、性能优化和系统设计的读者,文中的按访问模式建索引、按数据量自适应分片、用实验选择实现等经验可直接迁移;局限是方案依赖 Aria 特定的话题层次与恢复语义。
工程实践Canva Engineering - Backend
文章介绍 Canva 为队列 worker 设计的 Worker Backpressure 机制:它是队列库内置的反馈回路,worker 记录每次依赖调用的成功/失败结果,由可插拔控制器根据错误率与设定点维护 0.0–1.0 的 backoff factor,并据此动态缩减可并发拉取和处理的 permit 数量,从而在依赖异常时主动降速、恢复后自动提速。机制完全本地、无外部协调器和额外网络调用,运行时仅两次算术操作。两起生产事故验证了效果:云厂商故障约 4 小时内 DLQ 仅增长 1 条,持续过载 32.5 小时内 1.8 百万次失败尝试仅 22 条进入 DLQ,吞吐仍高于事故前基线。作者也指出吞吐成本、单信号(成功/失败)作为依赖健康代理的局限,并预告 Part 2 展开控制器算法与调参。
推荐收录:文章给出真实生产事故中的量化前后对照,而不仅是概念介绍,并清楚说明反馈回路、并发 permit、设定点和本地化实现等工程取舍。适合后端、基础设施、SRE 和消息队列开发者阅读,可迁移到异步 worker 的依赖保护、DLQ 抑制与自适应限流设计中。注意 Part 1 未公开控制器算法与调参细节,且全容量 worker 会承担吞吐下降风险。