Про сбой фейсбука, инстаграмма и вотсапа

Сегодня произошел масштабный сбой в работе фейсбука, инстаграмма и вотсапа. На данный момент инстаграмм, вроде бы, стал доступен (по крайней мере, пингуется), но вотсап и фейсбук вообще не обнаруживаются в интернете.

Первая гипотеза была -- кто-то хакнул систему DNS. Но, поскольку это практически невозможно в силу архитектуры системы, стали ждать дальнейшей информации. И она не замедлила появиться, причем это феерично.

Причина сбоя -- нарушение маршрутизации внутри комплекса технических средств в датацентрах после проведенных там работ по изменению конфигурации (ставили новое железо, насколько я понимаю).

Дальнейшее описано на Reddit:

As many of you know, DNS for FB services has been affected and this is likely a symptom of the actual issue, and that's that BGP peering with Facebook peering routers has gone down, very likely due to a configuration change that went into effect shortly before the outages happened (started roughly 1540 UTC).

There are people now trying to gain access to the peering routers to implement fixes, but the people with physical access is separate from the people with knowledge of how to actually authenticate to the systems and people who know what to actually do, so there is now a logistical challenge with getting all that knowledge unified.

Part of this is also due to lower staffing in data centers due to pandemic measures.

Короче, поменяли физическую конфигурацию в датацентре, в результате обвалились настройки протокола граничного шлюза, из-за чего стали недоступны подсети, в которых работают DNS серверы. К тому же отрубился удаленный доступ через веб-интерфейс для администрирования этих служб. Фейсбучные специалисты жалуются, что те, кто имеют физический доступ к серверам, не умеют настраивать нужные службы, а те, кто умеют -- не имеют физического доступа. И все это в результате сокращения персонала датацентров из-за мер против ковида.