Prognoza bez pomiaru błędu jest opinią. Pomiar jest prosty i rzadko wykonywany.
Rzadko, bo wymaga jednej rzeczy, o którą nikt nie zadbał na starcie: zapisania prognozy, zanim okres się zaczął. Bez tego zostaje wrażenie, że „ogólnie wychodzi nieźle", a przy pierwszej większej pomyłce — wniosek, że prognozowanie nie działa.
Jak mierzyć
Odchylenie prognozy od wykonania, liczone dla każdego okresu i uśredniane. Najlepiej w wartościach bezwzględnych, żeby błędy w obie strony się nie znosiły.
To ostatnie zastrzeżenie jest ważniejsze, niż wygląda. Prognoza, która w połowie pozycji zawyża, a w połowie zaniża, przy zwykłym uśrednieniu wychodzi idealnie — a na magazynie widać jednocześnie braki i nadmiar. Sposób liczenia trzeba ustalić raz i potem się go trzymać, bo porównywalność jest tu ważniejsza od wyboru konkretnego wzoru.
Punkt odniesienia
Metoda najprostsza: „tyle co poprzednio" albo „tyle co rok temu". Prognoza gorsza od tego punktu jest bezużyteczna, choćby była wyrafinowana.
To najtańszy test, jaki da się zrobić, i jedyny, który rozstrzyga o sensie całego przedsięwzięcia. Warto go wykonać przed budowaniem czegokolwiek — bywa, że prosta reguła wygrywa i wtedy wdrożenie sprowadza się do jej zapisania i wpięcia w system.
Błąd zależy od poziomu
Kilka procent dla całej firmy, kilkadziesiąt dla pojedynczego produktu. Porównywanie tych liczb ze sobą nie ma sensu.
Tak samo nie ma sensu porównywanie błędu między branżami ani między pozycjami o różnym rytmie sprzedaży. Jedyne porównanie, które coś znaczy, to porównanie z własnym punktem odniesienia na tych samych danych i tym samym poziomie.
Kierunek błędu
Systematyczne zaniżanie albo zawyżanie jest gorsze niż błąd losowy o tej samej wielkości. Wskazuje na coś, czego model nie uwzględnia.
Zwykle wskazuje na konkretne rzeczy: nieoznaczone braki towaru, nieoznaczone promocje, zmianę asortymentu albo wpływ celu sprzedażowego na prognozę. Dlatego kierunek błędu warto obserwować osobno, obok jego wielkości.
Realistyczne oczekiwania
Przy produktach wolnorotujących nie da się prognozować dokładnie i nie warto tego obiecywać. Wartość leży wtedy w regułach zamawiania, nie w prognozie.
Uczciwe rozdzielenie pozycji na te, dla których prognoza działa, i te, dla których nie, jest częścią pracy. Ukrycie tego podziału kończy się utratą zaufania do całości przy pierwszej wpadce na pozycji, której nie dało się przewidzieć.
Pomiar ciągły
Błąd liczony po każdym okresie, obserwowany w czasie. Pogarszanie się dokładności jest sygnałem, że coś się zmieniło.
Zmienić się mogło zachowanie klientów, ale częściej zmieniło się coś po stronie danych: nowy sposób ewidencji, zmiana indeksów, wycofana grupa towarowa. Rosnący błąd jest wtedy tańszym sygnałem ostrzegawczym niż cokolwiek innego, co firma ma pod ręką.
