Zabbix notifications
Last updated
Last updated
https://habr.com/ru/companies/first/articles/696402/
Настройка оповещений о событиях в Zabbix
В предыдущих статьях серии про Zabbix мы рассказывали о том, как контролировать различное оборудование и сервисы. Однако не менее важно настроить оповещения о событиях, требующих реакции со стороны системного администратора.
В этой статье мы расскажем о том, как настроить отправку сообщений о срабатывании триггеров Zabbix по электронной почте, через SMS и Телеграм. Вы также научите свой Zabbix звонить администратору по телефону и сообщать о критических событиях синтезированным голосом с помощью сервиса голосовых рассылок Звонобот.
Для того чтобы Zabbix мог отправлять сообщения по электронной почте, необходимо сделать следующее:
настроить способы оповещений Media Types;
назначить Media с типом Email пользователю Zabbix;
добавить действие при срабатывании триггера Trigger Action
Расскажем об этом подробнее.
Если в Web-интерфейсе Zabbix выбрать Media Types из меню Administration, вы увидите многочисленные способы оповещений, доступные для настройки в Zabbix. Часть из них показана на рис. 1.
Рис. 1. Способы оповещений в Zabbix
Мы будем использовать готовые способы оповещений Email и Telegram, а также создадим собственные — p1sms.ru (для отправки SMS) и Zvonobot (для голосовых сообщений по телефону).
Если вы находитесь там, где есть интернет, то сможете получать сообщения через Email и Telegram. Но бывает и так, что доступны только SMS и голосовые звонки. Чтобы не пропустить важные сообщения от Zabbix, пригодятся все эти способы.
Чтобы настроить отправку электронной почты, щелкните на странице Media Types строку Email. Далее вам нужно будет заполнить форму, указав в ней параметры исходящего почтового сервера (рис. 2).
Рис. 2. Настройка способа оповещения Email (домен указан только для примера)
Мы показали случай, когда используется собственный почтовый сервер, доступный на порту 25 с использованием STARTTLS. Сообщения будут отправлены на адрес admin@my-domain.ru (имя домена приведено только для примера).
В ответственных случаях безопаснее использовать собственный почтовый сервер, который находится под вашим контролем. При необходимости можно настроить отправку почты и через публичные почтовые сервисы, такие как Google Mail или Яндекс Почту. Помимо официальной документации в интернете есть инструкции по настройке, например, здесь.
Настроив способ оповещения Email, выполните проверку с помощью ссылки Test, расположенной справа напротив Email в списке способов оповещений, показанном на рис. 1.
Щелкните эту ссылку и заполните форму, указав в ней адрес получателя Send to, тему сообщения Subject и текст сообщения Message. Затем щелкните кнопку Test (рис. 3).
Рис. 3. Отправка тестового сообщения через способ оповещения Email
Если настройки почтового сервера указаны правильно, вы получите сообщение на указанный адрес электронной почты.
На вкладке Message Templates можно изменить стандартные шаблоны сообщений, отправляемых по электронной почте.
Чтобы способ оповещения заработал, его нужно назначить пользователю Zabbix, например, Admin.
Выберите в меню Administration раздел Users, щелкните имя пользователя Admin, а затем откройте вкладку Media. На рис. 4 мы показали ситуацию, когда для пользователя было добавлено несколько способов оповещения, в том числе и способ Email.
Рис. 4. Способы оповещения для пользователя Admin
Для добавления способа оповещения Email щелкните ссылку Add. В списке Type выберите строку Email.
В поле Send to укажите адрес электронной почты, по которому должно отправляться оповещение. С помощью поля When active можно ограничить дни и часы отправки сообщений.
Набор флажков Use if severity позволяет задать уровни серьезности триггеров, при срабатывании которых необходимо отправить сообщение по указанному адресу (рис. 5).
Рис. 5. Добавление способа оповещения
В нашем случае сообщения отправляются по электронной почте круглосуточно, причем при срабатывании триггера с любым уровнем серьезности.
Если нужно отредактировать или удалить способ оповещения, воспользуйтесь ссылкой Edit или Remove, соответственно (рис. 4).
Итак, мы настроили и проверили способ оповещения Email, а также добавили его для пользователя Admin.
Теперь нужно добавить действие при срабатывании триггера. Для этого в меню Configuration выберите меню Action, а из него — строку Trigger Actions.
На рис. 6 показан уже сформированный список действий для различных способов оповещений.
Рис. 6. Список действий для различных способов оповещений
Здесь действие zabbix03 action, заключающееся в отправке сообщения по электронной почте, выполняется для всех уровней серьезности, кроме Disaster. Действие SMS Notify выполняется при срабатывании триггеров с уровнем серьезности High и Disaster. И, наконец, действие DISASTER_ALERT_Phone_CALL определено для звонков по телефону при срабатывании триггеров уровня Disaster.
Чтобы создать новое действие, воспользуйтесь кнопкой Create action на странице Trigger Actions. Вам будет предложено добавить действие на вкладке Action (рис. 7).
Рис. 7. Редактирование добавленного действия
Задайте имя действия, а затем щелкните ссылку Add, чтобы добавить операцию. При добавлении выберите в списке Type уровень серьезности триггера Trigger severity. Чтобы сообщение электронной почты отправлялось для любого уровня серьезности, кроме Disaster, выберите значения полей Operator и Severity, как это показано на рис. 8.
Рис. 8. Добавление нового условия выполнения действия
Далее для добавленного действия на вкладке Operations необходимо добавить операции. На рис. 9 три операции уже добавлены.
Рис. 9. Добавление операций
Для добавления операции воспользуйтесь ссылкой Add. Здесь можно добавить операции, которые будут выполнены при срабатывании триггера, при восстановлении его состояния (поле Recovery operations), а также при обновлении состояния (поле Update operations).
На рис. 10 мы показали форму редактирования уже добавленной операции.
Рис. 10. Редактирование операции
Здесь как минимум необходимо выбрать пользователя в поле Send to users и способ извещения Email в поле Send only to.
Вы также можете отредактировать шаблон темы сообщения Subject и шаблон сообщения Message, отметив флажок Custom message. Если этого не сделать, будут использованы шаблоны сообщения по умолчанию, определенные в способе оповещения Email.
Официальная документация, имеющая отношение к настройке отправки сообщений по электронной почте, находится здесь:
конфигурирование способа оповещения Email (на русском языке для версии 6.0);
Сервер Zabbix версии 6.2 содержит встроенную поддержку отправки сообщений в мессенджер Telegram, основанную на использовании Telegram Bot API и Zabbix webhook.
Мы расскажем о том, как настроить отправку персональных сообщений. Если нужно отправлять сообщения в группу Telegram, то соответствующий способ настройки описан в официальной документации Telegram webhook, а также в статье.
Прежде всего создайте новый бот с помощью бота @BotFather. Для этого отправьте боту @BotFather команду "/newbot". Вам будет предложено ввести имя для нового бота, а также имя пользователя.
Результат показан на рис. 11 (имена и токен приведены только для примера).
Рис. 11. Регистрация нового бота (имена и токен приведены только для примера)
Для настройки отправки сообщений в Telegram вам потребуется токен HTTP API, выделенный на рис. 11 рамкой красного цвета, а также идентификатор пользователя Telegram, который будет получать оповещения из Zabbix.
Свой идентификатор пользователя Telegram можно получить с помощью бота @myidbot, доступный по ссылке https://t.me/myidbot.
Запустите этот бот и введите ему команду "/getid". В ответ вы получите собственный идентификатор (рис. 12, идентификатор показан только для примера).
Рис. 12. Получение собственного идентификатора (идентификатор показан только для примера)
Получив идентификатор, подключитесь к боту, созданному на предыдущей шаге, и выдайте ему команду "/start". Это необходимо, чтобы бот смог отправлять вам сообщения.
Теперь в Web-интерфейсе Zabbix откройте меню Administration, выберите из него строку Media Types, а затем найдите и щелкните ссылку Telegram.
ваш идентификатор, полученный от бота @myidbot, а в поля Скопируйте токен, полученный от бота @BotFather при создании вашего бота, в поле Token, а затем щелкните кнопку Update (рис. 13, токен приведен только для примера).
Рис. 13. Копирование токена при настройке способа оповещения Telegram (токен приведен только для примера)
Добавив способ оповещения, протестируйте его с помощью ссылки Test.
При тестировании в поле Token уже должен находиться токен вашего бота. Скопируйте в поле To ваш идентификатор, полученный от бота @myidbot, а в поля Subject и Message — тему и текст сообщения, соответственно.
Если все будет хорошо, вы увидите сообщение об успешном тестировании (рис. 14).
Рис. 14. Тестирование способа оповещения Telegram
Вы также получите тестовое сообщение в Telegram (рис. 15).
Рис. 15. Получено тестовое сообщение в Telegram
Если все в порядке, можно переходить к назначению настроенного способа оповещения Telegram пользователю Zabbix, а также к добавлению этого способа к существующему или новому действию.
Ранее вы уже назначали тип оповещения Email пользователю Admin. Теперь нужно повторить эту операцию для типа оповещения Telegram.
Откройте вкладку Media, выбрав в меню Administration раздел Users и щелкнув имя пользователя Admin. Далее воспользуйтесь ссылкой Add, чтобы добавить новый тип оповещения.
Выберите в списке Type способ Telegram, а в поле Send To идентификатор пользователя Telegram, который мы получили раньше от бота @myidbot.
С помощью флажков Use if severity укажите серьезность триггеров, при срабатывании которых нужно отправлять сообщения в Telegram. На рис. 16 показана установка флажков для случая, когда в Telegram требуется отправка для уровней от средней (Average) до катастрофической (Disaster).
Рис. 16. Настройка типа оповещения для Telegram при назначении пользователю Zabbix
На следующем шаге в меню Configuration выберите меню Action, а потом из него — строку Trigger Actions. Затем откройте вкладку Operations (рис. 17).
Рис. 17. Вкладка Operations с добавленными операциями
На вкладке Operations с помощью ссылки Add добавьте новую операцию, выбрав из списка Send to users пользователя Admin, а из списка Send only to — строку Telegram (рис. 18).
Рис. 18. Добавление операции отправки в Telegram
Теперь при выполнении действия вы получите сообщение о срабатывании триггера (а также о восстановлении его состояния) в мессенджер Telegram.
Вы можете «оживить» сообщения, отправляемые сервером Zabbix в Telegram с помощью символов Emoji (рис. 19).
Рис. 19. Добавление символов Emoji в сообщения от Zabbix
Чтобы это сделать, добавьте символы Emoji в тему Subject для шаблонов сообщений способа оповещений Telegram, доступных на вкладке Message templates (рис. 20).
Рис. 20. Шаблоны сообщений для Telegram
Символы Emoji можно скопировать через буфер обмена Clipboard со страницы https://apps.timwhitlock.info/emoji/tables/unicode, а затем вставить их в нужное место шаблона (рис. 21).
Рис. 21. Вставка символа Emoji в поле Subject шаблона сообщения для Telegram
Символы Emoji полезны, так как привлекут ваше внимание к важным сообщениям.
В сервере Zabbix среди встроенных способов оповещений Media Types есть отправка SMS. Однако этот способ требует наличия GSM модема, подключенного к последовательному порту сервера Zabbix, о чем написано в документации.
У нас не было желания искать совместимый GSM модем, приобретать его и размещать в дата-центре. Поэтому мы решили использовать для отправки SMS один из многочисленных онлайн-сервисов, специализирующихся на решении этой задачи.
Как оказалось, отправка SMS через онлайн-сервисы стоит заметных денег, причем для некоторых операторов мобильной связи есть еще и ежемесячная абонентская плата. Стоимость отправки SMS на момент написания этой статьи составляла от 5 руб. до 20 руб. за одно сообщение.
Некоторые сервисы допускают отправку SMS без абонентской платы, однако не для всех операторов мобильной связи (например, https://sms.ru/).
В итоге был выбран сервис P1SMS https://p1sms.ru/. После настройки шаблона сообщений удалось отключить модерацию и отравлять сообщения по цене 5 руб. за штуку. Если в вашей информационной системе критичные ошибки не идут большим потоком, то это может быть разумным выбором.
Как мы уже говорили, доставка оповещений через SMS будет работать даже в том случае, если в зоне нахождения вашего смартфона нет интернета (или он очень дорогой), но есть мобильная связь.
Zabbix позволяет вам создавать собственные способы оповещения, основанные на вызове скриптов. Это описано в документации (на русском языке для версии 6.0).
Для отправки SMS мы подготовили скрипт, которой требует небольшого редактирования. Вам потребуется изменить в нем АПИ-ключ и номер телефона, на который будут отправляться сообщения от Zabbix.
Чтобы получить АПИ-ключ, зарегистрируйтесь на сайте P1SMS по адресу https://p1sms.ru/. Ключ можно скопировать на странице https://admin.p1sms.ru/panel/apiinfo.
Далее создайте на сервере Zabbix каталог /usr/lib/zabbix/alertscripts для скриптов добавляемых способов оповещения. Отредактируйте файл /etc/zabbix/zabbix_server.conf, удалив символ комментария со строки:
Затем сохраните файл конфигурации zabbix_server.conf, перезапустите сервис Zabbix и убедитесь, что он работает:
Скрипт отправки SMS нужно скачать по этому адресу.
Переименуйте его в p1sms.pl и запишите в каталог /usr/lib/zabbix/alertscripts.
Сделайте владельцем скрипта пользователя zabbix и разрешите запуск скрипта:
Проверьте, что владелец и права установлены правильно:
Найдите в скрипте p1sms.pl функцию sendp1sms и отредактируйте в ней две строки:
Укажите здесь свой API-ключ сервиса P1SMS и номер мобильного телефона для отправки SMS в формате 7хххххххххх.
Откройте в Web-интерфейсе Zabbix меню Administration, выберите из него строку Media Types, а затем щелкните кнопку Create media type. Появится страница добавления нового способа оповещения, которую вам нужно заполнить, как это показано на рис. 22.
Рис. 22. Добавление способа оповещения Script
В поле Name введите название способа оповещения p1sms.ru, а затем выберите из списка Type строку Script. Укажите имя скрипта p1sms.pl в поле Script name.
Далее добавьте в поле Script parameters три параметра: {ALERT.SENDTO}, {ALERT.SUBJECT} и {ALERT.MESSAGE} (именно в этом порядке). Должно получиться так, как показано на рис. 22. Сохраните изменения.
Мы будем отправлять SMS при недоступности контролируемых серверов с помощью шаблона ICMP Ping, который есть среди готовых шаблонов Zabbix. Вам нужно добавить этот шаблон ко всем серверам, которые вы собираетесь контролировать. Установите в этом шаблоне для метрики Unavailable by ICMP ping уровень серьезности Disaster.
Для добавления шаблона на сервис P1SMS откройте раздел редактирования шаблонов без модерации. Он доступен в разделе Управление, строка Шаблоны без модерации.
Добавьте здесь такой шаблон с помощью кнопки СОЗДАТЬ ШАБЛОН:
Добавленный шаблон показан на рис. 23.
Рис. 23. Добавлен шаблон без модерации
Инструкция по составлению шаблонов появится на странице добавления шаблона после того, как вы щелкните кнопку СОЗДАТЬ ШАБЛОН.
Шаблоны без модерации нужны для ускорения отправки SMS через сервис P1SMS. Если таких шаблонов нет, или если отправляемое сообщение не будет соответствовать шаблону, SMS попадет на модерацию и может быть задержано на время до 10 минут. Так как нам нужно узнать о проблеме как можно скорее, придется использовать шаблоны.
После добавления шаблона дождитесь, когда он пройдет модерацию. При необходимости вы можете связаться со службой поддержки через онлайн-чат на сайте P1SMS.
Далее протестируйте добавленный способ оповещений с помощь кнопки Test в разделе Media Types. Используйте здесь сообщение, подходящее под шаблон, например «ICMP ping (hcp2.user-domain.ru:icmpping): Down (0)» (рис. 24).
Рис. 24. Тестирование способа оповещения p1sms.ru
Состояние отправки SMS вы можете узнать на сайте P1SMS в разделе Отчеты, выбрав из меню строку Отправленные СМС.
После успешного тестирования назначьте тип оповещения p1sms.ru пользователю Admin, как вы это делали раньше. В нашем случае установлены флажки для отправки SMS при уровне серьезности от высокой (High) до катастрофической (Disaster).
Также не забудьте добавить действие для отправки SMS. Для этого в меню Configuration выберите меню Action, и далее строку Trigger Actions.
Щелкните кнопку Create action, а затем добавьте действие SMS Notify, как это показано на рис. 25.
Рис. 25. Добавление действия SMS Notify
Добавьте операцию на вкладке Operations (рис. 26).
Рис. 26. Добавление операции для отправки SMS
Для того чтобы отправляемое сообщение соответствовало шаблону без модерации, настройте операцию с помощью ссылки Edit.
У сообщения должна быть тема {TRIGGER.NAME}:, а само сообщение должно выглядеть так:
Кроме того, выберите в поле Send to users пользователя Admin.
Настроенная операция показана на рис. 27.
Рис. 27. Настроенная операция
Для тестирования используйте какой-нибудь некритичный сервер, например, виртуальную машину, которую можно безопасно останавливать и запускать заново. Добавьте ее в узлы на сервере Zabbix и подключите шаблон ICMP Ping. Установите в этом шаблоне для метрики Unavailable by ICMP ping уровень серьезности Disaster.
Теперь, если вы завершите работу этой машины, то получите сообщение SMS (рис. 28).
Рис. 28. Пример сообщения SMS о недоступности узла
SMS выглядят не так красиво, как сообщения в Telegram, однако они придут туда, где нет интернета.
Сообщение SMS легко пропустить, а вот на вызов по телефону вы скорее всего отреагируете (конечно, если в смартфоне не отключен звук).
Для повышения вероятности реагирования настроим отправку оповещений о катастрофических проблемах уровня Disaster голосовым звонком на телефон с использованием сервиса Звонобот.
Настройка голосовых звонков аналогична только что рассмотренной настройке для SMS, поэтому мы остановимся только на основных моментах.
Прежде всего, мы сделаем так, чтобы звонок поступал не сразу после обнаружения аварии, а через 10 минут. Дело в том, что часто недоступность сервера может быть кратковременной, после чего все восстанавливается само по себе, и звонить будет уже не нужно. Так бывает, например, при возникновении непродолжительных проблем в сети или при временной потере связности дата-центров.
Кроме того, если становятся недоступными сразу несколько серверов, нам достаточно получить только один звонок по телефону. И еще не повредит повторный звонок через полчаса, если в первый раз дозвониться не удалось.
Добавьте в Media types новый способ оповещения Zvonobot, аналогично тому, как мы добавляли способ p1sms.ru (рис. 29).
Рис. 29. Добавление способа оповещения Zvonobot
Выберите в списке Type строку Script, а в поле Script name введите имя скрипта zvonobot.pl. Кроме того, добавьте параметры, как это показано на рис. 29.
Скрипт zvonobot.pl можно скачать здесь.
Не забудьте переименовать скрипт перед его размещением в каталоге /usr/lib/zabbix/alertscripts.
Сделайте владельцем скрипта пользователя zabbix и разрешите запуск скрипта:
Проверьте, что владелец и права установлены правильно:
Отредактируйте в скрипте три строки:
Ключ $api_key можно получить по адресу: https://lk.zvonobot.ru/panel/profile в личном кабинете после регистрации в сервисе Звонобот.
Для работы скрипта zvonobot.pl нужно установить на сервер Zabbix memcached, а также необходимые модули Perl:
LWP::UserAgent
HTTP::Request
JSON
Data::Dumper
Вам также потребуется два номера телефона. В переменную $phone_number запишите номер телефона, на который будет звонить Zabbix при обнаружении катастрофической проблемы (в формате 7*****).
Второй номер телефона запишите в переменную $outgoingPhone. Телефон с этим номером потребуется вам всего один раз для получения SMS от сервиса Звонобот. Звонки будут поступать именно от этого исходящего номера, поэтому вам их будет легко идентифицировать. Исходящий номер должен быть добавлен как личный и подтвержден в разделе ДРУГОЕ — Номера телефонов личного кабинета https://lk.zvonobot.ru/panel/phones.
После добавления способа оповещения Zvonobot протестируйте его с помощью ссылки Test. В поле Send to укажите номер телефона, на который должны приходить звонки от Zabbix (рис. 30).
Рис. 30. Тестирование способа оповещения Zvonobot
При успешном тестировании вы получите звонок, и робот произнесет синтезированным голосом текст сообщения Message, а также тему Subject.
Выберите в меню Administration раздел Users, щелкните имя пользователя Admin, а затем откройте вкладку Media. Добавьте способ оповещения Zvonobot, как это было показано ранее на рис. 4.
В поле Use if severity отметьте флажок Disaster, чтобы звонки поступали только при самых серьезных проблемах.
Добавьте действия для способа Zvonobot. Как и раньше, в меню Configuration выберите меню Action, далее строку Trigger Actions, а затем щелкните кнопку Create action.
Мы создали действие DISASTER_ALERT_Phone_CALL, определив для него сразу две операции, имеющие отношение к способу Zvonobot (рис. 31).
Рис. 31. Операции для Zvonobot
Обратите внимание, что в поле Steps мы указали шаг эскалации 2-2, а в поле Step duration (длительность шага эскалации) — значение 20 минут (рис. 32).
Рис. 32. Настройка операции для Zvonobot
На рис. 31 видно, что сразу после возникновения проблемы категории Disaster сообщение отправляется в Telegram, затем на электронную почту (шаг эскалации 1-1). Еще через 10 минут выполняется звонок через сервис Звонобот (шаг 2-2), который потом повторяется через 30 минут (шаг 3-3).
Когда сработают все шаги эскалации, на основной панели Zabbix Global View можно будет увидеть время и результат завершения каждого шага (рис. 33).
Рис. 33. Время и результат завершения шагов эскалации
Применение эскалации описано в документации (для версии 6.0 на русском языке).
Чтобы исключить повторные звонки, которые могут поступить при одновременном отказе нескольких контролируемых хостов, в скрипте zvonobot.pl вызывается функция not_recently_called:
Она создает в memcached ключ “Zabbix_phone_monitor” со значением “Phone was called”, который будет автоматически удален по истечении заданного времени (в нашем случае через 20 минут).
