跳到正文
Netflix Technology Blog· Netflix Technology Blog·· 2 小时前精选评分71

Netflix 用 Flink 流式 join 重构直播广告事件管道

Behind the Scenes: Evolving Netflix’s Ads Event Pipeline for Live — Part II

导读

Netflix 将广告事件管道的元数据富化从全局复制的 Key-Value 注册表改为 Apache Flink 有状态流式 join,广告服务器不再在投放关键路径上同步写库,而是把响应日志写入 Kafka,由 Flink 在 60 分钟窗口内与客户端事件按 key 匹配。跨区域事件通过 token 中编码的投放区域路由回数据所在区域,而非复制全部响应;超出窗口的迟到事件由每小时 Spark 批处理从数据仓库补配。新旧管道并行运行并自动审计,最终一致率超过 99.99%,随后下线旧服务与注册表。最新负载测试中单个 AWS 区域处理一次广告时段,每秒数十万事件。

推荐理由

Netflix 用 Flink 流式 join 替换广告元数据注册表,把同步写从广告投放关键路径上移除,可迁移到高并发事件处理架构。

来源:Netflix Technology Blog · netflixtechblog.com