Продолжение (Начало выше 👆) Утро нового дня (пятница) начинается с сообщения помощника о том, что сетевой диск не доступен. Как обычно бывает, идёшь проверять, не ожидая какой-то подставы. Смотрю и правда не доступен. Захожу на сервер и не вижу его. И вот тут у меня пробежал холодок по спине. Я понял, что ПОПАЛ 😱. Не хотел бы пережить это ещё раз. Прошу перезагрузить сервер. Но это не помогает. Диск не виден. Я понимаю, что с ним какие-то проблемы, а там все изменения за несколько прошедших дней. Приходят менеджеры и говорят, что у них тендер, они всю неделю собирали данные и теперь их надо в понедельник загрузить на площадку, иначе всё пропало. А диск был в составе lvm тома, подключенного к гипервизору Xen, на нём была виртуалка Linux и там уже лежали файлы. То есть просто подключить этот диск к какому-то компу и попытаться что-то прочитать не имеет смысла. Тут я не стал юлить и терять время. Сразу же позвонил генеральному и сказал, как есть. Он, конечно, офигел от таких новостей, но стоит отдать ему должное, не стал ругаться и что-то выговаривать. Сказал, ищите срочно компанию по восстановлению данных. Стали оперативно искать, нашли неподалёку в тот же день и отвезли диск. Оплатили (~$700). Первичный осмотр показал, что вышла из строя какая-то механика. Можно починить с помощью донора. В этот же день начинают ремонт и в субботу выдают нам отремонтированный диск. Помощник едет в офис, вставляет его в то же место. Гипервизор загружается, диск виден, виртуалка стартует, все файлы на месте. ОТЛЕГЛО. Доделываю сервер с новыми дисками и возвращаю туда файлы. Всё на месте и всё работает. В понедельник приходят люди и успешно грузят документы для тендера. Вот такая история. Всю вину я с себя не снимаю, но считаю, что пострадал в основном из-за дерьмового железа, которое я бы сам никогда не стал покупать в прод. Всё работало на десктопных мамках, да ещё этот qnap. Со временем я заменил все сервера на брендовые c ipmi. Не пришлось лишний раз объяснять, зачем и почему это делается. Сам ошибся только в одном месте. Надо было срочно отправлять кого-то ребутать сервер с бэкапами. Но я не думал, что именно в эти 2-3 дня что-то пойдёт не так 😁 Думал дождаться планового приезда человека туда. Прикинул, что даже если вдруг всё умрёт, то бэкапы то есть, просто не свежие. Подумаешь, 2-3 дня, пережить можно в самом крайнем случае. Кто же знал, что тендер на носу. Без него реально бы пережили, хотя и было бы неприятно. Ну и затянулось всё в итоге на 4 дня, что не планировалось. А так вышло, как вышло, просто не повезло. Вероятность проблем, если бы я вообще не переносил данные на одиночный диск, была выше. А предпринять что-то ещё на тот момент я не мог. Прокрутил все варианты.