Netflix 用 Flink 流式 join 重构广告事件管道

Netflix 将广告事件管道的元数据富化从全局复制的 Key-Value 注册表改为 Apache Flink 有状态流式 join：广告服务器不再在投放关键路径上同步写库，而是把响应日志写入 Kafka，由 Flink 在 60 分钟窗口内与客户端事件按 key 匹配。跨区域事件通过 token 中编码的投放区域路由回数据所在区域，而非复制全部响应；超出窗口的迟到事件由每小时 Spark 批处理从数据仓库补配。 新旧管道并行运行并自动审计，Netflix 称最终一致率超过 99.99%，随后下线旧服务与注册表。该管道采用至少一次投递加尽力去重，而非精确一次。Netflix 称最新负载测试中单个 AWS 区域处理一次广告时段，每秒数十万事件。

根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。