如何看待 7 月 13 日 B 站服务器疑似突然崩溃？
 2021 / 07 / 14 更新 睡了一觉起来上班，例会开完了打开知乎发现这么多赞了吓一跳，考虑到有不少评论在说CDN相关的问题，并且我昨天晚上睡觉前用手机随便写的东西描述有点粗糙，还是润色一下，下面是润色的消息。原回答请拉到最下面。 昨天晚上得知这个Bilibili挂了之后我也首先访问了Bilibili，我这里的Bilibili报错是这样子的： 这是我在新加坡访问的结果，通过另一个答主 @以成 的回答，收集到了国内的报错，报错信息都是大同小异的： 这里面其实信息很少，唯一有用的信息是出现问题的服务器id。 在众说纷纭之下，各种稀奇古怪到可笑的原因都在互联网上疯传，在结合了各种信息之后我做了这样子一个简单的猜测： 一些既定的事实： 一些捕风捉影的小道消息： 具体的各个消息我就不说了，比如说骨干网出问题，机房起火之类的，大概最终指向是： a. Bilibili、Acfun、豆瓣等的云服务供应商出现了问题。但是不清楚CDN出现问题还是挂载着容器的机器出问题 假设是容器出现问题，一个工作正常的LB会访问其他可用的容器。在这种情况下很难出现昨天的问题，毕竟Bilibili这么大一公司也不会把鸡蛋放在一个篮子里，肯定是异地多机房容灾。而且Bilibili这种大型视频网站，读请求和读流量肯定大部分走的都是CDN和缓存，发生这种情况的概率要小很多，另一种情况的概率很大。 那么另一种可能是CDN出现了问题，假设CDN出现了问题，大量读请求发送到CDN，由于供应商出现意外，请求无法在CDN上找到资源，大量请求回源到Bilibili主站。这是一个比较合理的情况。 有大量的用户在我的评论区说我甩锅给CDN，并且说CDN出问题的可能性不大，可能我昨天的描述不太准确， CDN只是诱因，主站后端服务雪崩是主因！！！ CDN只是诱因，主站后端服务雪崩是主因！！！ CDN只是诱因，主站后端服务雪崩是主因！！！ 综合上述这些已知信息，进行了一个猜测。7 / 14 Bilibili出现问题的整体流程可能如下： 2.1 豆瓣，Acfun等公司的运维收到告警，紧急切换了CDN，或启动了容灾策略进行降流，系统正常对外提供服务。 2.2 Bilibili同样收到告警，启动了容灾策略，但是当时正是Bilibili流量高峰期，有两个可能： 2.2.1 自研的LB没办法处理这么多请求，直接崩了 但是如果LB崩了，只需要切换CDN并且重启LB就可以成功继续对外服务了，对于Bilibili来说这个概率要小一些。 2.2.2 自研的降流有问题，导致大量请求发送到后续底层服务，服务雪崩，整个环境炸了。 结合上述提到的事实，我个人认为服务雪崩的概率要更大一些。现代的微服务系统是一个相当庞大的系统，当整个系统出现问题时，重启需要的时间是相当大的。评论区有说到k8s重启很快，针对单个容器的启动确实很快，Bilibili这么大一公司，一整个后端系统至少要重启几十上百个不同的容器才能才能一定程度上对外保持服务，这些容器也要好几百甚至上千个副本才能正常扛下高峰期流量。结合Bilibili成功访问经过的时间，我认为这样的流程是相对合理的。 结合事实[2]和[5]，佐证了Bilibili的运维按照优先级重启了各个容器组，Bilibili的服务正在逐渐恢复。 至于其他的例如机房起火，Bilibili大楼停电，Bilibili官方整活甚至是空间站拍到UFO的奇怪传言我就不评论了。 以上是我的猜测推理过程，如有不对敬请指正。  以下是原回答：  众说纷纭之下，一个简单的猜测。 一些情报： 1.b站，豆瓣，a站等都崩了 2.豆瓣，a站等很快恢复了，b站在编写回答的目前还没有恢复。 3.疑似云服务提供商因意外断电。 以下是猜测： 因为云服务提供商出现意外，a站和豆瓣很快接到报警，然后启动容灾方案，重新部署了环境。 至于Bilibili，从这篇文章 https://cloud.tencent.com/developer/article/1618923 可以得知b站的LB是自研的，还有容灾系统也是自研的，一种比较靠谱的可能流程是： 1. 云服务提供商提供的CDN出现意外之后，大量请求绕过CDN直接打到网关。 2. 网关收到大量请求，自动启动了容灾策略。 3. 容灾策略启动服务降级。服务降级了但没完全降。 4. CDN挂了，网关也跟着挂了，服务雪崩，一直崩到整个环境。 5. 整个环境炸了，重启全部容器需要相当长的时间。 至于一些其他有的没的，各种各样的情况可能性就太低了。鸡蛋不可能放在一个篮子里，bilibili这么大一公司也不可能把机器全放在一栋楼，然后楼里断电还没ups。 大家都是冷备热备冷热备，多机房异地容灾。这么久还没恢复我目前认为合理的情况只有这一个了。 有朋友告诉我恢复了，但是我这里还没有恢复。进一步是证实了容器组启动成功了，但是副本还不够多，现在还是降级状态。 刷出来了的朋友给我发了一下图，我发现他们刷到的视频都是差不多的，而且根本不是他看的东西，看起来是先把主站跑起来了推荐系统还没跑起来。