Алерт, который все игнорируют, хуже, чем его отсутствие. Потому что отсутствие алерта — это честное «мы не следим за этим». А игнорируемый алерт — это ложное ощущение, что следим.
Я видел это много раз. Система шлёт десятки уведомлений в день. Большинство — ни о чём: временный всплеск, которое само прошло, порог, выбранный слишком строго, ошибка, которая ничего не значит. Люди быстро учатся: эти письма можно не читать. И они перестают их читать — все, включая те редкие, которые действительно важны.
А потом случается настоящий инцидент. И оказывается, что алерт о нём пришёл. Вовремя. Правильный. Но утонул среди сотни ложных, к которым уже выработалась слепота. Система «предупредила» — и это никого не спасло, потому что предупреждению давно перестали верить.
Вот почему я отношусь к шуму в мониторинге как к проблеме, а не как к мелочи. Каждый ложный алерт — это не просто лишнее письмо. Это налог на доверие ко всей системе оповещения. Достаточно много ложных срабатываний — и настоящее пройдёт незамеченным.
Хороший мониторинг — это не тот, что шлёт больше всего сигналов. Это тот, чьему сигналу веришь. Меньше алертов, но каждый — по делу; каждый требует действия; каждый, когда приходит, воспринимается всерьёз. Если на твоё уведомление никто не реагирует, проблема не в людях. Проблема в уведомлении. Убери шум, пока он не заглушил то, что однажды будет по-настоящему важно.
– Serguey Shinder
