System powiadomień, który wysyła zbyt wiele, przestaje działać całkowicie — nie dlatego, że przestaje wysyłać, tylko dlatego, że nikt już nie czyta.
Dwa rodzaje
Alarm wymaga reakcji teraz. Informacja może poczekać do rana. Wysyłanie obu tym samym kanałem sprawia, że alarmy giną.
Podział trzeba ustalić z góry i zapisać, bo inaczej każde nowe zdarzenie ląduje w kategorii pilnych. Prosty sprawdzian: czy ktoś ma wstać w nocy, żeby to naprawić. Jeśli nie, to nie jest alarm, choćby brzmiał groźnie.
Kanał zależny od pilności
Wiadomość poczty przy sprawach zwykłych, powiadomienie na telefon przy awarii usługi. Alarm wysłany pocztą w nocy dociera po ośmiu godzinach.
Warto pamiętać, że część awarii wyłącza własny kanał powiadomień. Serwer poczty stojący na tej samej maszynie co usługa nie wyśle wiadomości o jej awarii. Alarmy krytyczne powinny wychodzić inną drogą niż ta, którą monitorują.
Treść przydatna
Co się stało, gdzie, od kiedy i co warto sprawdzić najpierw. Powiadomienie o treści „błąd" wymaga zaczynania diagnozy od zera.
Sam temat wiadomości powinien wystarczyć do decyzji, czy sprawa może poczekać. Nazwa serwera i usługi na początku, szczegóły niżej. Do powiadomienia nie wolno wklejać haseł ani danych osobowych — poczta przechodzi przez serwery, nad którymi firma nie ma kontroli, i zostaje w skrzynkach na lata. Ta sama zasada obowiązuje w dziennikach zdarzeń.
Grupowanie
Sto powiadomień o tej samej przyczynie to jedna wiadomość z licznikiem. Bez grupowania awaria zapycha skrzynkę i ukrywa kolejne zdarzenia.
Przydaje się też odstęp między powtórzeniami tego samego alarmu. Jedna wiadomość na początku, przypomnienie po ustalonym czasie, jeśli problem trwa — tyle wystarczy, żeby nikt nie wyłączył całego kanału w akcie samoobrony.
Powiadomienie o powrocie do normy
Równie ważne jak alarm. Bez niego nie wiadomo, czy problem minął sam, czy nadal trwa.
Powiadomienie o powrocie powinno podawać czas trwania przerwy. To jedyna informacja, która pozwala później ocenić, czy awarie się powtarzają, czy zdarzyły się raz. Bez niego zostaje wrażenie, że „coś tam czasem nie działa", którego nie da się ani potwierdzić, ani podważyć.
Sprawdzanie kanału
Wysyłka próbna raz na jakiś czas. Kanał powiadomień, który przestał działać, ujawnia się dopiero przy awarii — czyli w najgorszym momencie.
Zawodzi zwykle nie sam mechanizm, tylko otoczenie: adres nieistniejący po odejściu pracownika, wiadomości trafiające do folderu ze spamem, zmienione hasło do konta wysyłkowego. Dlatego kontrola powinna kończyć się potwierdzeniem odbioru przez człowieka, a nie samym faktem wysłania. Warto też ustalić, kto odbiera alarmy poza godzinami pracy i co robi, gdy nie umie pomóc — dyżur bez ścieżki dalszej jest tylko budzeniem. Samą kontrolę wysyłki dobrze wpiąć w harmonogram zadań cyklicznych.
