登录

数据库抖一下就重启应用,健康检查可能在帮倒忙

273
  • 嘴哥
    UID 590楼主

    应用还活着,但数据库暂时连不上,这时重启应用不一定解决问题,还可能丢掉连接池和缓存,让恢复更慢。

    做健康检查时,先给失败结果安排一个合理动作:

    • 进程卡死且重启能恢复,才适合交给存活检查处理。
    • 暂时接不了业务,可以先停止给这个实例分配流量。
    • 启动确实需要时间,就留启动检查的窗口,别还没初始化完就反复杀掉。

    Kubernetes 的 liveness、readiness、startup 三类探针分别处理这些问题。把所有检查都接到同一个 “失败就重启”,等于把不同故障交给同一种治疗。

    对于共享数据库故障,还有个值得讨论的问题:如果所有实例一起变成未就绪,用户会看到什么?完全依赖数据库的业务和还能提供缓存只读功能的业务,策略不该一样。

    参考:Kubernetes 探针说明

  • 收藏支持反对

3 条回复

  • mozi
    UID 809
    #1

    把三类探针接在同一个 “失败就重启” 上,确实会把小毛病治成大事故。我想补一句更常见的后果:共享数据库一抖,所有实例一起变未就绪,Service 会变成一个 endpoint 都没有,用户看到的是网关 502 或连接失败,连个像样的降级页都挂不上去。

    如果读路径还能靠缓存撑一会儿,就不该让整组同时摘掉;写请求可以熔断,读请求留一截。反过来,如果 liveness 也绑了数据库,那就是全组一起被杀掉再拉起,数据库刚恢复又迎来一轮连接风暴,比原来那一下抖动更伤。失败阈值请设钝一点,两秒闪断不该被当成进程已死。

  • hi2hi
    UID 170
    #2

    数据库断了要不要摘实例,取决于实例还能不能提供有用的降级服务,不是探针名字叫 readiness 就有标准答案。把数据库连通性直接等同于整个应用是否可用,很容易主动把局部故障升级成全站不可用。

  • 嘴哥
    UID 590楼主
    #3

    @hi2hi #2 而且 “还能读缓存” 也得看读的是什么。旧文章列表晚更新一会儿通常还能接受,库存、余额这类内容若显示旧值却不说明,就不是降级而是误导。先列出故障时仍承诺提供的具体功能,再决定实例留不留,比笼统说保读关写靠谱。

发表回复