Bez pomiaru wykrywanie anomalii ocenia się wrażeniem, a wrażenie kształtuje ostatni fałszywy alarm.
Trafność
Udział sygnałów, które okazały się istotne. Liczona na podstawie rozstrzygnięć zapisywanych przy zamykaniu.
Liczba sama w sobie nic nie mówi, dopóki nie wiadomo, ile kosztuje jedno sprawdzenie. Wskazanie rozstrzygane w minutę może mieć niską trafność i nadal się opłacać. Wskazanie wymagające godziny pracy księgowości musi trafiać znacznie częściej, żeby miało sens.
Pominięcia
Problemy wykryte w inny sposób, których system nie zgłosił. Trudniejsze do policzenia i ważniejsze niż trafność.
Praktycznie zbiera się je przy okazji: reklamacja, brak towaru, nadpłacona faktura — za każdym razem warto zapytać, czy wykrywanie powinno było to wskazać. Kilka takich przypadków w kwartale mówi o rozwiązaniu więcej niż cała reszta zestawienia.
Czas do wykrycia
Ile upłynęło od wystąpienia do zgłoszenia. To główna miara wartości — wcześniejsze wykrycie jest całym sensem rozwiązania.
Warto liczyć go do momentu rozpatrzenia sprawy, nie do momentu wysłania wiadomości. Sygnał wysłany od razu i otwarty po tygodniu daje ten sam skutek co brak sygnału, a mierzony samą wysyłką wygląda znakomicie.
Wartość wychwyconych spraw
Kwota błędnych faktur, wartość towaru, którego zabrakłoby, koszt uniknięty. Jedyna miara przemawiająca do decydentów.
Szacunki są tu nieuniknione i lepiej mówić o nich wprost niż podawać kwoty jako pewne. Ostrożne liczenie ma dodatkową zaletę: nikt nie podważy wyniku, gdy pojawi się pierwsza sprawa oceniona zbyt hojnie.
Koszt po drugiej stronie
Zestawienie ma sens dopiero razem z czasem, jaki zespół poświęca na rozpatrywanie zgłoszeń. To ten czas jest ceną wyższej czułości i to on rośnie, gdy przybywa fałszywych alarmów. Bez tej pozycji łatwo uznać, że skoro wykrywanie coś złapało, to na pewno się opłaca.
Sprawdzenie na przeszłości
Uruchomienie wykrywania na danych historycznych i sprawdzenie, czy wskazałoby znane problemy. Najtańszy sposób oceny przed wdrożeniem.
Pokazuje przy tym obie rzeczy naraz: ile znanych spraw zostałoby wychwyconych i ile zgłoszeń trzeba by było przy okazji przejrzeć. Druga liczba bywa bardziej pouczająca.
Przegląd okresowy
Co kwartał: trafność, pominięcia, wartość. Na tej podstawie zmienia się progi, a nie na podstawie ostatniego zdarzenia.
Materiał do przeglądu powstaje wcześniej, przy zamykaniu spraw, więc ścieżka reakcji musi go przewidywać od początku.
Kwartał jest tu odstępem rozsądnym z prostego powodu: krótszy daje zbyt mało spraw, żeby cokolwiek z nich wynikało, a dłuższy oznacza, że przez pół roku nikt nie poprawił ustawień, o których wiadomo, że są złe. Zmiany warto wprowadzać po jednej i notować, co zostało zmienione, bo inaczej przy następnym przeglądzie nie da się powiedzieć, co zadziałało.
Ocena należy do ludzi
Wszystkie te miary opierają się na rozstrzygnięciach zapisanych przez osoby rozpatrujące zgłoszenia. System nie wie, czy wskazanie było trafne — wie tylko, że coś odbiegało od normy. Dlatego jakość pomiaru zależy od rzetelności tych zapisów bardziej niż od samego mechanizmu wykrywania.
