ServerAdmin.ru. Страница 71
12437
@srv_admin
Авторская информация о системном администрировании.
-
ServerAdmin.ru
Для Prometheus существует множество готовых решений для учёта SLA или SLO. Я уже помнится писал про одну - SLO tracker. Сейчас посмотрел похожую панельку, но она мне понравилась больше - Pyrra (https://github.com/pyrra-dev/pyrra). Выглядит симпатичнее и настраивается проще. Для тех, кто захочет попробовать, в репе лежит пример с готовым docker-compose.yaml и конфигом pyrra, где в качестве примера взята метрика prometheus_http_requests_total и 5XX ошибки для неё. Сам конфиг в директории pyrra. Можно наглядно оценить, насколько просто и быстро она настраивается. Готовая демка есть тут - https://demo.pyrra.dev. Можно посмотреть, как всё это выглядит. В репозитории есть все инструкции и описание, так что запустить не трудно. Мне хотелось бы что-то подобное получить для Zabbix, но ничего похожего и раньше не видел, и сейчас не смог найти. Всё самое современное, удобное, быстро настраиваемое пишут под пром. Даже и не знаю, переползать на него что ли потихоньку в каких-то случаях. Не хочется две системы использовать, но сейчас реально гораздо быстрее и проще поднять мониторинг на Prometheus. Под него все экспортеры есть и готовые шаблоны, инструменты на любой вкус. #devops #prometheus 
-
ServerAdmin.ru
Хотите узнать о том, как правильно организовать мониторинг и observability в облаках? Присоединяйтесь к бесплатной онлайн-конференции UPTIME MEETUP! Директор направления DevOps-продуктов компании ITSumma Сергей Спорышев расскажет о том: > какими инструментами воспользоваться в 2022 году при организации системы мониторинга в облаке; > как выстроить систему мониторинга и оповещений об инцидентах, чтобы «спать по ночам»; > что нужно для внедрения полноценной observability-методологии в проект, помимо метрик и алертов. Другие спикеры ITSumma и Microsoft расскажут о новых направлениях в *Ops, которые вытесняют DevOps-инженеров, а также об опыте Microsoft в Open Source. Можно ли будет задавать им вопросы? — Конечно же, да! Присоединяйтесь к конференции UPTIME MEETUP 15 февраля в 11:00 Мск! 👉 Бесплатная регистрация уже открыта по ссылке: https://bit.ly/3ugr2ZK #реклама #бесплатно 
-
ServerAdmin.ru
Для тех, кто ещё не сконвертировал все свои Centos 8 в какую-то другую систему, небольшая инструкция. Я ещё в декабре всё основное перевёл, что так или иначе контактирует с внешним миром. Теперь доделал потихоньку всё остальное (в основном свои системы - elk, gitlab и т.д.). Рекомендую всем это проделать, кто отложил на потом. Обновлений для Centos 8 больше нет. Более того, и репы основные закрыли. Теперь перед конвертацией, нужно изменить репозитории. Идём в yum.repos.d и отключаем у всех базовых реп mirrorlist: # cd /etc/yum.repos.d/# sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-*Вместо него раскомментируем baseurl и заменимmirror.centos.orgнаvault.centos.org:# sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-*CentOS-Linux-BaseOS.repo должен выглядеть так:[baseos]name=CentOS Linux $releasever - BaseOSbaseurl=http://vault.centos.org/$contentdir/$releasever/BaseOS/$basearch/os/gpgcheck=1enabled=1gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficialТеперь можно конвертировать в Oracle Linux:# git clone https://github.com/oracle/centos2ol.git# cd centos2ol# screen# bash centos2ol.shДальше пойдёт конвертация. У меня ни разу не было проблем с ней. А вот после возникали иногда, когда обновлял систему. Иногда появляются проблемы с зависимостями, приходится в каждом конкретном случае разбираться. Как уже ранее говорил, я все Centos 8 перевёл на Oracle Linux, а все новые установки теперь делаю на Debian. #centos
-
Реклама
-
ServerAdmin.ru
Когда речь заходит про бесплатный программный Firewall, сразу же на ум приходит старый, проверенный временем firewall на базе Freebsd - pfSense. Там все настройки можно натыкать мышкой, но всё равно получится хорошо. А вот если вы заядлый консольщик и не уважаете нубские GUI, то вам подойдёт другое решение - VyOS. Там только консоль, как в суровых профессиональных железках, типа Cisco или Juniper. Причём VyOS очень сильно напоминает синтаксис JunOS. Из функционала в VyOS есть практически всё, что можно только пожелать: ▪ Routing: BGP (IPv4 and IPv6), OSPF (v2 and v3), RIP and RIPng, policy-based routing. ▪ VPN: IPsec, VTI, VXLAN, L2TPv3, L2TP/IPsec and PPTP servers, tunnel interfaces (GRE, IPIP, SIT), OpenVPN in client, server, or site-to-site mode, Wireguard. ▪ Firewall and NAT: Stateful firewalls, zone-based firewall, all types of source and destination NAT (one to one, one to many, many to many). ▪ Network services: DHCP and DHCPv6 server and relay, IPv6 RA, DNS forwarding, TFTP server, web proxy, PPPoE access concentrator, NetFlow/sFlow sensor, QoS. ▪ High availability: VRRP for IPv4 and IPv6, ability to execute custom health checks and transition scripts; ECMP, stateful load balancing. Если во всём этом разобраться и настроить, то не стыдно будет признаться кому-нибудь прилюдно. Это не про Mikrotik упомянуть, за который сразу могут нахамить те, кто не смог с ним разобраться. Под капотом у VyOS Debian и Iptables. Хотя сейчас уже возможно Nftables. Есть два режима обновлений: rolling (для отважных) и long term (для всех остальных). В общем, продукт известный, надежный и зрелый. Тут без шуток, рекомендую попробовать. Отлично заходит в качестве шлюза виртуальных машин гипервизора. Сайт - https://vyos.io #gateway 
-
ServerAdmin.ru
👨💻 Слышал про практики Infrastructure as a Code и Immutable Infrastructure, но для тебя это страшные слова из книжек про DevOps? 🗓 Приходи 10 февраля в 20:00 на вебинар «Принципы организации инфраструктурного кода и работа над инфраструктурой в команде на примере Terraform». Вместе с преподавателем Дмитрием Ерохиным, инженером по инфраструктуре в Ingram Micro Cloud, поговорим о том, зачем и главное как начать использовать практику Infrastructure as a Code. Вебинар будет полезен для разработчиков, тестировщиков и системных администраторов 👉🏻 Пройди вступительное тест, чтобы зарегистрироваться на мероприятие и проверить свой уровень знаний https://otus.pw/Ngo7/ Demo-занятие пройдет в рамках онлайн-курса «DevOps практики и инструменты». Это возможность оценить уровень программы и познакомиться с преподавателем. #реклама 
-
ServerAdmin.ru
На днях у меня случилась неприятная история с одним из серверов Asterisk. Пользователи стали жаловаться на то, что не работает межгород. Звонят по нему редко, так что заметили не сразу. Я проверил, и правда не звонит. Сервер оператора возвращает 500-ю ошибку: Got SIP response 500 "Service Unavailable"Звоню в тех. поддержку. Там ответили, что мы вас отключили ещё 2 недели назад за подозрительные звонки на Кубу. Тут я запереживал немного, стал проверять. Действительно было немного звонков туда от одной учётной записи. Пароль сменил, международные звонки вообще отключил. Позвонил оператору и попросил нас разбанить. Я всегда запрещаю по максимому все звонки и вообще к телефонии отношусь очень аккуратно. На этом сервере удалённые подключения долго были запрещены, пиры только из офиса и vpn подключались. Потом меня очень попросили сделать возможность пользоваться телефонией со смартфонов. Я настроил отдельную группу номеров, которые могут подключаться извне, но разрешены были только локальные звонки. Потом пришла удалёнка и люди со своими аппаратами разъехались по домам. Ограничить доступ стало невозможно, потому что каждому дома не настроишь VPN до офиса на его железе. Пришлось разрешить все звонки и таким удалёнщикам. Международные звонки по прежнему были отключены, но они нужны. Открывал их вручную по заявкам, но в какой-то момент это надоело, так как оперативно не получалось решить вопрос, а звонить надо здесь и сейчас. Открыл для всех. Закончилось это историей, с которой я всё начал. На сервере настроен мониторинг исходящих звонков и активных подключений. Спам звонками заметил бы. Fail2ban тоже был и работал для защиты от переборов и некоторой другой активности. Подстраховался как мог, но всё равно не помогло. Слитая учётка особо не отсвечивала и звонила редко, раз в 5-10 минут. Повезло, что у оператора стояла защита на подозрительные направления. Международные звонки отключили сразу. Как на 100% защититься от такой ситуации - не знаю. Сейчас все по домам сидят, работают. Всем нужна связь. Спасти может только сам оператор своими методами защиты и лимитом дневного бюджета. Рекомендую заранее связаться с провайдером и спросить, что будет, если учётка уйдёт на сторону и начнутся звонки на Кубу. Как уже сказал, я у себя международные звонки опять отключил, настроил уведомление себе на почту при попытке позвонить по 8-10... Раньше так и было, но расслабился. Так хотя бы сразу засветится проблемный пир. Кстати, косвенно помогла моя педантичность в выписывании масок для звонков. Я не разрешаю одним правилом всё подряд, а аккуратно выписываю разрешённые направления. В логах была куча попыток позвонить через номера, начинающиеся с 00, 01, 02, 03, ~1, +1, +2 и т.д. То есть куча левых направлений. Но все они отфутболились, потому что для них не было настроенных масок для звонков. Только _810X. и внутрироссийские. А вы как защищаетесь от таких атак? Понятно, что самый надёжный способ подключать пиров только через VPN, но мне кажется, это малореально в текущих условиях. Придётся преднастроенные смартфоны и телефоны сразу с настроенными роутерами выдавать. Я, кстати, так тоже делал, но это немассовое решение (юзеру выдавался настроенный mikrotik и sip телефон комплектом). Также покупал аппараты с поддержкой OpenVPN внутри. Были такие Грандстримы. Но ненадёжно работало и трудно дебажить проблемы связи, пришлось отказаться. Напишите в комментариях, кому интересно, стоит мне отдельным постом написать, как я мониторю и защищаю сервер Asterisk. Тема узкая и, думаю, что мало кому интересная в наши дни. #asterisk #sip #security -
ServerAdmin.ru
Ещё не успел перейти на nftables, а оказывается, что может и не придётся, так как на смену спешит eBPF, который уже много где используется. Например, в cilium.io (одна из реализаций сети для контейнеров в kubernetes). У них подробный материал есть на эту тему - Why is the kernel community replacing iptables with BPF. Я уже почти созрел и давно запланировал переход на nftables. Уже и примеры конфигураций смотрел, и понял, зачем мне это надо. Nftables действительно удобнее iptables. Рекомендую погуглить различия, если ещё не делали этого. Из того, что сходу помню и на что обратил внимание: единый конфиг для ipv4 и ipv6, более короткий и наглядный синтаксис, больше не нужен ipset, так как nftables умеет быстро работать с огромными списками, экспорт правил в json и т.д. И вот на сцене появляется ещё один пакетный фильтр bpfilter. Он не новый, но как я понял из некоторых новостей, которые погуглил, его активно развивают и уже много куда внедряют. Его используют в том числе Facebook и Netflix. Понятно, что они много чего используют и это не показатель реальной популярности и скорого роста использования того или иного продукта. Написал эту заметку не только, чтобы поделиться информацией, но и спросить тех, кто разбирался уже в этом вопросе. Мне сейчас реально не понятно, eBPF это реально наше будущее в Linux и переходить на nftables не имеет большого смысла. Или не всё так однозначно? Если посмотреть презентацию с недавней конфы линуксоидов, то там прям на пальцах объяснили, что bpfilter это будущее. И там же указано, что будет переход From nft to bpfilter. Во разогнались как 😄 Я ещё на nft не перешёл, а они уже на bpfilter переезжают. #iptables #nftables #bpfilter #firewall 
-
ServerAdmin.ru
Интернет Контроль Сервер и Лаборатория Касперского - решение корпоративных IT-задач Экосистемность интегрированных IT-продуктов является одним из трендов информационной безопасности в 2022 году. Комплексные решения позволяют не только качественнее реагировать на инциденты, но и предоставляют инструменты для решения сопутствующих IT-задач компании без необходимости внедрения дополнительного программного обеспечения. 🗓 10 февраля 2022, в 11:00 (МСК) На вебинаре мы рассмотрим подробнее как изменился фокус угроз и какие способы реагирования на IT-вызовы станут оптимальными в 2022 году. Вы узнаете подробнее о многофункциональном Интернет-шлюзе ИКС и встроенных в него модулях «Лаборатории Касперского». ✅ Участие в вебинаре бесплатное. Требуется регистрация. 👉 Протестировать ИКС с модулями Kaspersky. #реклама #икс #бесплатно 
-
ServerAdmin.ru
Я потестировал ещё один бесплатный открытый софт для удалённого управления компьютерами под названием RustDesk. У него есть несколько полезных особенностей, из-за которых на него имеет смысл обратить внимание. 1️⃣ Самое важное. RustDesk умеет открывать TCP туннели. Программа автоматом при подключении создаёт TCP туннель до удалённого RDP порта, так что можно подключиться к удалённому рабочему столу прямо через интерфейс программы. Довольно удобно сделано. Для тех, кто не пользовался подобным и не понимает, как это работает, поясню. Допустим, в сети, куда вы подключаетесь через RustDesk, есть какой-то ssh сервер 10.20.30.5. У вас нет туда прямого доступа, но нужно подключиться по ssh напрямую со своего компа. Вы создаёте в RustDesk TCP туннель и указываете, что будете использовать локальный порт 222 для того, чтобы соединиться с удалённым портом 10.20.30.5:22. После того, как RustDesk подключиться к любому компьютеру в локальной сети, от которого есть соединение до 10.20.30.5, вы сможете подключиться на свой локальный порт 222 и попасть на удалённый ssh сервер. У меня были ситуации, когда я много работал через подобные туннели. Использовал для этого AnyDesk. У него есть такой же функционал. Это было очень удобно, так как заказчику не надо было заморачиваться с доступом к каждой машине в закрытом периметре. Он вручную запускал Anydesk и контролировал мой доступ. А я создавал до десятка разных туннелей и спокойно подключался со своего компа туда. 2️⃣ Помимо того, что что код открыт, в репозитории есть инструкции по сборке. Теоретически, это можно делать самостоятельно, если есть такое желание. Часто бывает, что код открыт, но если ты не разбираешься в теме, то хрен ты сам соберёшь, даже если есть исходники. Есть легковесные портированные версии под винду. Запускаются без установки и прав администратора. 3️⃣ Есть свой ID и Relay сервер. То есть можно поднять всё у себя. Я это сделал, проблем не возникло, так как всё упаковано в Docker. Не понял только одно. Указано, что сейчас разрабатывается новый сервер и пока его можно использовать бесплатно. Потом, судя по всему, будет стоить денег. А может и оставят какую-то бесплатную версию, хз. Мобильный клиент тоже есть. Сайт - https://rustdesk.com Исходники - https://github.com/rustdesk/rustdesk Инструкция по запуску сервера - github.com/rustdes…y-set.md Мобильный клиент - play.google.com/store/a…/details #remote 
-
ServerAdmin.ru
Я знаю, что почти все линуксовые админы любят хорошенько грепнуть. Да я и сам команду grep использую почти каждый день. Но грепать можно не только текстовую информацию. С помощью Python грепать можно видеоролики. Есть возможность автоматически находить в видео нужные фразы и делать из них нарезки. Идею, о которой дальше пойдёт речь, я увидел в видеоролике на канале Чёрный Треугольник - VideoGREP — магия автоматизации на Python. Когда смотрел ленту youtube, обратил внимание именно на GREP. Сразу стало интересно, что там грепать собираются. Видео в итоге посмотрел и оно меня заинтересовало. Решил с вами поделиться. Суть такая. Есть пайтоновская библиотека videogrep. Поставить её и использовать без проблем сможет любой админ. Я, собственно, поэтому и пишу об этом. Посмотрел ролик и понял там абсолютно всё. Видео на ютубе почти всё с субтитрами, которые вместе с видео можно утянуть оттуда через консоль. Там же в консоли с помощью очень простого и короткого скрипта можно проанализировать пачку видео и сделать из них нарезку с фрагментами какой-то конкретной фразы. Для обычного человека это может показаться настоящей магией. Можно кого-то удивить такой штукой. В общем, я вам рассказал, а дальше сами решайте, пригодится это вам где-то или нет. Автор видео всё подробно рассказал, так что повторить не составит труда. Он либо админ, либо бывший админ. Видно, что в консоли любит и умеет работать. #видео -
ServerAdmin.ru
16-18 февраля проведем 3-дневный курс по работе с Elastic Stack. Мы добавили в курс разделы с конвертированием SQL в DSL, нагрузочное тестирование кластера Elastic при помощи утилиты Rally, работы с задачами машинного обучения и SIEM. После прохождения курса вы будете уметь разворачивать защищенный кластер, настраивать обработку различных данных, создавать визуализации в Kibana, рассчитывать сайзинг и многое другое. Курс — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов Elastic Stack. 👉 Подробная программа и условия на нашем сайте. Вопросы можно задать @galssoftware #реклама 
-
ServerAdmin.ru
Всем известно, что настоящие админы в наше время используют устройства Mikrotik. Они наверняка знают, что уже вышел долгожданный релиз RouterOS 7. А вот стоит или не стоит на него переходить, думаю наверняка никто не скажет. Я лично ни одно из своих устройств не обновлял на 7-ю версию. И в ближайшее время точно не буду. Тут я просто мягким местом чую, что ещё не время. Дмитрий Скоромнов, автор курсов по Mikrotik, которого я неоднократно рекомендовал для обучения, привёл наглядные примеры багов, которые прямо перед глазами в таблице маршрутизации. Думаю, после изучения его поста, у вас на какое-то время будет закрыт вопрос на тему перехода на RouterOS 7. https://t.me/mikrotik_sensei/110 Но если вы отважный и смелый, то стоит ли обращать внимание на такие мелочи? Один раз живём (но это не точно). #mikrotik MikroTik сэнсэй ГДЕ КУРС ПО МАРШРУТИЗАЦИИ НА ROUTEROS V7? Ко мне приходит много запросов на курс по маршрутизации на RouterOS v7. Обоснование более, чем логичное. Маршрутизация на RouterOS v7 претерпела очень сильные изменения. Но у меня тут встречный вопрос: а о чем я могу рассказать слушателям моих курсов? О том как я на клиентах своего бизнеса начал проводить эксперименты за их же деньги? Нет, я таким не занимаюсь. Разберем на конкретных примерах. Не будем лезть в какие-то дебри вроде динамической маршрутизации или маршрутных фильтров. Поработаем с банальными флагами маршрутов и опцией check-gateway. Ниже я привел список багов, которые можно получить с одного только приведенного ниже скриншота. 1️⃣ В выдаче /ip/route/print вы не сможете обнаружить банального описания всех флагов маршрутов. То, что Вы видите на скриншоте это секретное место про которое я узнал от официальной ТП. 2️⃣ Даже в этом секретном месте отсутствует указание на флаги I и D. Обратите внимание, что в выдаче GUI такие флаги имеются, а в описании их…
-
ServerAdmin.ru
Лёгкая, весёлая и необычная игрушка на шпионскую и хакерскую тематику - Hacktag. Игра проходится вдвоем! Один должен быть хакером, другой шпионом, и только так. Можно играть с женой 🙀 Не знаю только, как роли распределить в данной конкретно ситуации. Мы то по идее хакеры, но жена-шпион мне как-то не очень. Неженатым в этом плане проще. В игре нужно будет взламывать различные системы, добывать новую информацию, чтобы в итоге завалить главный компьютер. Персонажи в игре выполнены в виде антропоморфных животных. Отзывы: 📌Наконец-то появилось что-то новое кооперативное, подойдёт для игры с девушкой. Рандомно генерируемые уровни. Поддержка геймпада. Весёлая. Древо навыков для прокачки. Также есть таблица лидеров мировая/друзей. Можно играть как на 1 компе, так и по сети/инету. 📌Игруля редкость для наших дней. Почему? Да потому как жанр нечто среднее между стелс и симулятором хацкера, а с учетом, что в игру могут играть только 2 человека и только одновременно (не знаю сфигали стим пишет для одного игрока). Знаю из подобных только 2 еще. Больше за все время моих скромных 35 лет и из них 25 лет игровых подобных не встречал. Да, есть симуляторы какинга, хакера и т.д. и т.п. разной степени интересности, сложности, реалистичности и проработки. Да, есть просто море селсов шпионских и не шпионских. Но сочетаний и того и другого в 1 игре с мультиплеером на 2х, можно буквально пересчитать по пальцам. 📌Играть с тяночкой самый сок, но я не шпрехен дедович в ваших там инглишь из вери матч... В инете находится при желании пиратка, на я хз, что там внутри. Наверняка с вируснёй. Steam - store.steampowered.com/app/622…/Hacktag Посмотреть, как играют - https://www.youtube.com/watch?v=P5o4UHuPmFc #игра 
-
ServerAdmin.ru
Большая IT-Библиотека для каждого айтишника - BZD • Книги для программистов. 👉Больше 3500 книг; 👉Хорошая категоризация книг на английские и русские; 👉Литература по программированию Python, Java, C, C++, JavaScript, C#, R, Go, информационной безопасности и других IT направлений. Работаем для вас! Подписывайтесь @bzd_channel 
-
ServerAdmin.ru
❓ Вчера поступил интересный вопрос, который я решил опубликовать, предложить своё решение и спросить, как поступаете вы в такой ситуации. Тема актуальная для администрирования, особенно сейчас, когда все по удалёнкам чалятся. Добрый день. Такой вопрос: как лучше всего организовать доступ к конфигурации различных устройств в сети, с разным типом конфигурации: http, ssh, telnet и прочее? Несколько админов, разный уровень доступа, необходимо ввести аудит (кто, когда, что), недоступность конфигурации пользователям. Просто кинуть админки в vlan не подходит, админы перемещаются, плюс некоторые на удалёнке. Виртуальная машина с доступом пока кажется самым логичным, но может ещё что то есть? Как лучше всего безопасно организовать доступ в админку либо cli для пары десятков активных устройств нескольким (до 10) админам с разными правами? Подобную задачу можно решить либо с помощью банального jump host, но нужно будет продумать все ограничения и запреты. Если протоколов много, то может быть сложно, либо вообще что-то не получится реализовать. Второй способ, использовать готовое приложение для этого. Как вариант: Apache Guacamole или Trasa. Единственное, тут http протокол идёт мимо, так как предложенные мной решения, если не ошибаюсь, с ним не работают. Но для него можно отдельно какую-то прокси сделать, например на nginx (proxy_pass), со своей авторизацией или подцепить весь предложенный софт к AD. А как вы бы решали подобную задачу? Задать свой вопрос - @srv_admin_vopros_bot #вопрос_читателя #security -
Реклама
-
ServerAdmin.ru
Продолжение (Начало выше 👆) Утро нового дня (пятница) начинается с сообщения помощника о том, что сетевой диск не доступен. Как обычно бывает, идёшь проверять, не ожидая какой-то подставы. Смотрю и правда не доступен. Захожу на сервер и не вижу его. И вот тут у меня пробежал холодок по спине. Я понял, что ПОПАЛ 😱. Не хотел бы пережить это ещё раз. Прошу перезагрузить сервер. Но это не помогает. Диск не виден. Я понимаю, что с ним какие-то проблемы, а там все изменения за несколько прошедших дней. Приходят менеджеры и говорят, что у них тендер, они всю неделю собирали данные и теперь их надо в понедельник загрузить на площадку, иначе всё пропало. А диск был в составе lvm тома, подключенного к гипервизору Xen, на нём была виртуалка Linux и там уже лежали файлы. То есть просто подключить этот диск к какому-то компу и попытаться что-то прочитать не имеет смысла. Тут я не стал юлить и терять время. Сразу же позвонил генеральному и сказал, как есть. Он, конечно, офигел от таких новостей, но стоит отдать ему должное, не стал ругаться и что-то выговаривать. Сказал, ищите срочно компанию по восстановлению данных. Стали оперативно искать, нашли неподалёку в тот же день и отвезли диск. Оплатили (~$700). Первичный осмотр показал, что вышла из строя какая-то механика. Можно починить с помощью донора. В этот же день начинают ремонт и в субботу выдают нам отремонтированный диск. Помощник едет в офис, вставляет его в то же место. Гипервизор загружается, диск виден, виртуалка стартует, все файлы на месте. ОТЛЕГЛО. Доделываю сервер с новыми дисками и возвращаю туда файлы. Всё на месте и всё работает. В понедельник приходят люди и успешно грузят документы для тендера. Вот такая история. Всю вину я с себя не снимаю, но считаю, что пострадал в основном из-за дерьмового железа, которое я бы сам никогда не стал покупать в прод. Всё работало на десктопных мамках, да ещё этот qnap. Со временем я заменил все сервера на брендовые c ipmi. Не пришлось лишний раз объяснять, зачем и почему это делается. Сам ошибся только в одном месте. Надо было срочно отправлять кого-то ребутать сервер с бэкапами. Но я не думал, что именно в эти 2-3 дня что-то пойдёт не так 😁 Думал дождаться планового приезда человека туда. Прикинул, что даже если вдруг всё умрёт, то бэкапы то есть, просто не свежие. Подумаешь, 2-3 дня, пережить можно в самом крайнем случае. Кто же знал, что тендер на носу. Без него реально бы пережили, хотя и было бы неприятно. Ну и затянулось всё в итоге на 4 дня, что не планировалось. А так вышло, как вышло, просто не повезло. Вероятность проблем, если бы я вообще не переносил данные на одиночный диск, была выше. А предпринять что-то ещё на тот момент я не мог. Прокрутил все варианты. -
ServerAdmin.ru
Расскажу историю своего самого большого факапа в карьере. Давно собирался это сделать, но забывал. А на днях что-то вспомнилось. Это история про то, как я потерял прод и бэкапы одновременно 😱 🤡. Но всё закончилось хорошо. Дело было в небольшой компании, куда я пришёл на полностью настроенную инфраструктуру. К тому моменту, когда всё случилось, я работал с тем, что есть. Мониторинг Zabbix показал ошибку смарта одного из дисков рейд массива, где жила большая (2-3TB) файловая шара (samba на Linux, введена в домен AD), которой пользовался весь офис. У юзеров на компах не было файлов вообще. Всё только там. Я пошёл проверять и понял, что эта ошибка связана с катастрофически большим количеством парковок головок жёсткого диска. Сам диск на тот момент уже не был виден в системе. Проверяю остальные диски, а там всё то же самое. Был какой-то баг в прошивках дисков WD, в итоге они в Linux парковались каждые 8 секунд. И так несколько лет. Я понимаю, что могу потерять в ближайшее время весь массив, так как он может просто развалиться или не пережить ребилда. Принимаю решение перетащить все данные на имеющийся в наличии четырех дисковый qnap очень маленькой производительности. Посмотрел, что его можно ввести в AD и решил, что на какое-то время это решение протянет. Делать всё начинаю к вечеру, который плавно переходит в ночь (всё как мы любим), так как данных полно, копируются долго. Перенёс файлы на qnap и пытаюсь восстановить права доступа, но не получается. Файлов там под миллион. Запускаю через скрипт восстановление прав доступа из текстового файла и всё виснет на неопределённое время. Если дроблю на маленькие секции, то работает. Но вручную всё это дробить и запускать слишком долго и хлопотно. Надо принимать решение, так как на носу новый рабочий день. Есть еще один тестовый сервер, но диск нужного объёма там один, без рейда. Прикинул в уме и решил, что degraided raid5 с убитыми дисками менее надёжен, чем одиночный рабочий диск и переезжаю на него. Права доступа нормально восстанавливаю. Утром приходят люди и начинают работать уже на новом диске. Изменения накапливаются на нём. Утром договариваюсь с директором о встрече, чтобы обсудить эти дела и решить, что делаем дальше. В течении дня, пока еду, получаю уведомление от мониторинга о том, что сервер с бэкапами не отвечает. А они вообще в другом городе, на производстве в серверной. Админа там нет, он наездами бывает примерно раз в неделю. Бэкапы делаются раз в сутки по ночам. С этого момента все новые данные лежат только на одном диске. Тут мне первый раз повезло и в беседе с директором между делом я упомянул, что сервер с бэкапами завис. Принимаем решение оперативно купить новые диски и заменить вообще все, которые потенциально убитые из-за парковок. Там вроде 6 дисков по 3TB было. На сервере помимо файловой шары что-то ещё менее критичное лежало. На следующий день мой помощник едет покупать диски. Сам сервер в ЦОД, так что он забирает его и притаскивает в офис, включает. Так как на сервере много всего было, я сначала всё аккуратно забираю, убеждаюсь, что ничего не забыл. Прошу заменить диски. Накатываю новый гипервизор, тестирую работу рейда, имитирую отказ диска и т.д. И все это параллельно с другими делами. Получается не быстро. Где-то один день на это ушёл. И тут начинают жаловаться люди, что сервер сильно шумит и мешает им работать. Настолько мешает, что они генеральному написали и попросили вмешаться. Тот попросил выключить сервак. Здесь мне надо было бы настоять и все же доделать, но я как-то легкомысленно отнёсся к этой просьбе и решил, что в выходные доделаю, да и всё. В общем, из-за этого потерял ещё один день. Сервер бэкапов так и не отвечает. Продолжение в следующем посте 👇 #backup -
ServerAdmin.ru
🔥 Тест по Prometheus, Grafana, ELK 🔥 Ответьте на 15 вопросов и проверьте, готовы ли вы к обучению на курсе "Observability - мониторинг, логирование, трейсинг". Сможете сдать — пройдёте на продвинутый курс по спеццене. 👉🏻ПРОЙТИ ТЕСТ: https://otus.pw/iv99/ 📌Хотите протестировать учебный процесс заранее? Регистрируйтесь на бесплатные демо-занятия: 🔸 Регистрация на 15 Февраля в 20:00 "Grafana формирование дашбордов" 🔸 Регистрация на 21 Февраля в 20:00 "Системы логирования (ELK, EFK, Graylog2)" Регистрируйтесь сейчас - напомним в день вебинара! #реклама 