Awarie rzadko przychodzą nagle. Zwykle zapowiadają się przez kilka dni narastającym spowolnieniem, którego nikt nie obserwuje.
Sygnały wyprzedzające
- rosnący czas odpowiedzi,
- wzrost liczby błędów w dziennikach,
- szybciej zapełniający się dysk,
- wydłużające się zadania nocne,
- rosnąca liczba ponowień w integracjach.
Wszystkie te dane zwykle już istnieją — leżą w dziennikach systemowych i w logach integracji. Brakuje nie pomiaru, tylko kogoś, kto codziennie porównywałby dzisiejszą wartość z zeszłotygodniową. To właśnie ta praca daje się przenieść na automat. Warto przy tym pilnować, żeby obserwowanych wielkości było niewiele i żeby każda miała jasny związek z czymś, co firma odczuwa — z czasem wystawienia dokumentu, z działaniem sklepu, z zakończeniem nocnego przeliczenia.
Odchylenie od normy, nie próg stały
Czas odpowiedzi dwukrotnie dłuższy niż zwykle o tej porze jest sygnałem, nawet jeśli mieści się w ustalonym limicie.
Oba podejścia mają sens i zwykle działają razem: twardy limit chroni przed sytuacją krytyczną, porównanie z historią wyłapuje narastanie, zanim limit zostanie przekroczony. Różnice między nimi opisuje osobno tekst o progach stałych i uczących się.
Brak zdarzeń jako anomalia
Integracja, która przestała przesyłać dane, nie generuje błędów. Cisza tam, gdzie zwykle jest ruch, bywa najgroźniejszym sygnałem.
Dlatego obok kontroli wartości potrzebna jest kontrola obecności: czy o zwykłej porze pojawiła się zwykła liczba dokumentów. Bez niej zatrzymana wymiana danych ze sklepem albo z systemem magazynowym wychodzi dopiero wtedy, gdy ktoś zauważy brakujące zamówienia, a to zwykle następny dzień.
Zadania cykliczne
Wydłużający się czas wykonania zapowiada moment, w którym przekroczą okno serwisowe. Wykres z ostatnich miesięcy to pokazuje wprost.
To dobry przykład wykrywania, które działa jak przewidywanie: nic jeszcze nie jest zepsute, ale kierunek widać i jest czas na reakcję. Reakcją bywa porządek w danych albo indeks w bazie, nie zawsze mocniejszy serwer.
Powiązanie z wdrożeniami
Odchylenie pojawiające się w dniu zmiany wskazuje przyczynę natychmiast. Rejestr wdrożeń jest tu równie ważny jak same pomiary.
Dotyczy to nie tylko zmian w oprogramowaniu. Nowy import, zmiana ustawień, dołożenie kolejnego stanowiska — wszystko to warto zapisywać z datą. Bez takiego zestawienia szukanie przyczyny odchylenia zaczyna się od pytania, co się w ostatnich dniach zmieniło, i kończy na tym, że nikt nie pamięta.
Kto reaguje
Sygnał bez przypisanej osoby zostaje bez reakcji. To dotyczy zwłaszcza powiadomień technicznych.
Ten obszar ma też swoją odmianę fałszywego alarmu: powiadomienia o rzeczach, na które i tak nikt nie zareaguje. Po kilku takich wiadomościach reguła filtrowania powstaje sama, a razem z nią przestają docierać zgłoszenia istotne. Sensowna miara jest prosta — ile sygnałów doprowadziło do jakiegokolwiek działania. Jeśli prawie żaden, problemem jest ustawienie, a nie ludzie.
