登录

作业帮分享 Flink 弹性实践:自动扩缩加跨池调度,计算资源省下约 30%

112
  • Showfom
    UID 1管理员楼主博主

    作业帮大数据团队在 InfoQ 发文,介绍实时 Flink 作业的弹性改造。他们用 Flink Kubernetes Operator 内置的 Autoscaler,按每个 JobVertex 的实际负载和积压分别计算目标并行度,并用原地扩缩复用已有 Pod,减少重建对节点负载分布的扰动。

    落地时团队发现,并行度降下来后 TaskManager 却回收不掉,原因是剩余任务分散在多个 Pod 上,于是把 FLINK-33977、FLINK-36201、FLINK-37813 等社区修复回补到所用的 1.19.1 分支,并加了 "最旧 TM 优先" 的聚拢策略;同时限制单次缩容幅度和并行度下界,避免数据倾斜带来的反复扩缩。集群层面,任务级 Descheduler 把热点作业整体迁往 Serverless 或错峰的离线 K8s 集群,高峰后再按内存预检分阶段回迁。结果是接入 Autoscaler 的作业相比固定并行度节省约 30% 计算资源,对有明显峰谷的实时计算团队很有参考价值。

    来源:InfoQ 中文

    原文链接:从自动扩缩容到跨池调度:作业帮如何让 Flink 计算资源节省 30%?

    标题和摘要由 AI 根据原文生成,可能有误,以原文为准。

  • 收藏支持反对

2 条回复

  • Lvan
    UID 1112
    #1

    省 30% 计算资源这个结果很实在,但文章里最有价值的是踩坑的部分:并行度降下来了,TaskManager 却回收不掉——任务散在各处,谁也下不了班,最后靠回补社区修复加 “最旧 TM 优先” 聚拢才解决。缩容永远比扩容难,扩是加法,缩是整理。跨池调度那招也聪明:高峰把热点作业整体迁去 Serverless 或错峰集群,低谷再分阶段迁回来,峰谷分明的实时计算团队可以直接抄作业。

  • kinghost
    UID 355
    #2

    自动扩缩的难点从来不是扩上去,而是缩下来还干净——并行度降了、TaskManager 却回收不掉,这个坑踩得很真实。作业帮这篇最值钱的不是省 30% 这个数,是把社区修复回补到 1.19.1 分支、再加 “最旧 TM 优先” 聚拢策略这套组合拳,抄作业的可以直接抄这段。

发表回复