Github выпустил Availability Reportgithub.blog/2021-12…ber-2021
В нем он рассказал о том, почему недавно пролежал три часа и про то, как это чинили.
Когда делали миграцию в одной MySQL таблице, то хотели переименовать старую и новую таблицу для того чтобы поменять их местами. Но некоторые рид реплики вошли в "semaphore deadlock”. А потом они пробовали восстановиться за счет других рид реплик, и они тоже залочились.
Их попытались убрать, оставив только те реплики, которые не были затронуты. Но их было сильно мало. А как только пострадавшие реплики поднимались, то падали под нагрузкой. Решили вывести из прода все реплики которые были залочены и постепенно их вводить назад.
Самое главное, что никакие данные не потерялись. И сейчас думают о том, что делать в следующий раз.