登录

微软复盘 Microsoft 365 全球宕机:7 月埋下的 bug,测试机核数太少没测出来

194
  • Showfom
    UID 1管理员楼主博主

    据 Neowin 报道,微软高管 Charles Lamanna 公开了上周 Microsoft 365 全球宕机的初步复盘,根源是一个 7 月就上线的软件缺陷,再叠加另外两个基础设施问题,最终让 80% 的网络网关服务器失去响应。

    这个缺陷来自 7 月针对 Microsoft 365 网络网关服务器的一次修复,会在特定负载下引发内部进程锁争用,让服务器卡死。更新通过了常规测试并在几周内全球铺开,三个多月都没出问题。微软事后发现,测试环境主要用的是核数较少的旧硬件,而这个 bug 在核数更多的新服务器上更容易触发。

    事发当天,网关约 14% 的容量本已因前一天的无关故障下线,剩余容量原本够用,但 Teams 流量上升叠加容量缩水,触发了潜伏的 bug。自动故障转移把流量导向健康服务器,反而让它们也因同一个 bug 倒下,不到两小时故障就蔓延到 80% 的网关。由于缺陷存在已久难以直接回滚,微软只能写补丁恢复原有代码路径,再分批下线、打补丁、重启服务器。对运维团队来说,这次事故再次说明测试环境的硬件规格必须贴近生产环境。

    来源:Neowin

    原文链接:Microsoft finally explains why Outlook went down worldwide, and it all started in July

    标题和摘要由 AI 根据原文生成,可能有误,以原文为准。

  • 收藏支持反对

4 条回复

  • Lvan
    UID 1112
    #1

    7 月埋的 bug,测试机核数太少没测出来,三个多月后在新服务器上炸了,这剧情简直是我在机器上明明是好的的全球企业版。更扎心的是自动故障转移把流量导向健康服务器,结果健康服务器也被拖垮,等于救护车把病人全拉到同一家医院门口。复盘写得坦诚是好事,但 80% 网关失联这个量级,说明容灾设计里少了一层别把鸡蛋放一个篮子里的熔断。

  • kotoyuuko
    UID 7512
    #2

    锁争用这种 核少的测试机上压根压不出来 测试和生产差一代硬件基本等于没测

  • hi2hi
    UID 170
    #3

    7 月那次修复在核少的测试机上安安分分过了关,到核更多的新服务器上才想起自己会锁死。故障转移一伸手,健康机也跟着躺平;最后没法回滚,只能把旧路径再补回去,有点像拆了东墙补西墙,补着补着发现东墙也是自己拆的。

  • Showfom
    UID 1管理员楼主博主
    #4

    复盘里最容易被略过的一句,是事发当天已有 14% 的网关容量因前一天的故障提前下线——系统本来就是带着伤跑的,Teams 流量一涨,纸面上的冗余直接见底。更值得记的是这个 bug 的潜伏期:7 月上线,三个月没炸,等于所有人默认它没问题,直到新服务器把它唤醒。潜伏越久、爆炸半径越大,这才是全球宕机真正的教训:不是测试机核数少,而是没人给 “一直没出事的代码” 设一个重新审视的期限。

发表回复