У меня ситуация на днях возникла, когда подвис одиночный гипервизор у клиента. Причём подвис очень странно. На нём отвалился zabbix-agent и не устанавливается соединение по SSH, хотя порт открыт и принимает запросы, но не отвечает. Подключение отваливается по таймауту. При этом все виртуалки нормально работают. Частично работает веб интерфейс proxmox, но некоторые разделы ничего не показывают.
Сбор логов в данном случае не настроен и его очень не хватает. Вообще, без сбора логов невозможно считать мониторинг полноценным. Расследовать инциденты неудобно, а некоторые и невозможно. Тут теперь какие варианты - либо какая-то софтовая проблема и поможет перезагрузка. Либо с железом какие-то проблемы и сервер из ребута уже не выйдет. Доступа к консоли нет, надо KVM заказывать.
Нужно в обязательном порядке проверять бэкапы и планировать время для перезагрузки, держа в уме, что возможен простой, связанный с переносом виртуалок на другой сервер. Если бы был настроен сбор логов, была бы вероятность увидеть проблему по системным логам или логам работающих служб. Хотя и не обязательно, но шанс есть. Можно было бы подготовиться получше.
Пока разбирался с этой темой, параллельно давно открыта вкладка в браузере на тему сопоставления событий Zabbix и логов различных служб. Прочитал её и понял, что там описывается продукт MONQ, про который я не так давно писал. В самом обзоре я не сделал акцента на том, что система умеет сопоставлять события из мониторинга с событиями из логов. А это очень полезный функционал. И не так много софта, на базе которого это можно сделать.
У кого-то есть подобные связки? На базе чего всё настроено? У меня стандартно логи собирает ELK, мониторинг в Zabbix. Так что никакого сопоставления нет, хожу руками туда-сюда и сопоставляю.
#мониторинг
Если вы используете Zabbix для мониторинга ваших инфраструктурных объектов, но руки пока не добрались до сбора, хранении и анализа логов с этих объектов, то эта статья для вас.Зачем собирать логи и...