„Ten model wydaje się lepszy" nie jest wynikiem porównania. Kilkanaście przygotowanych przypadków rozstrzyga szybciej i wiarygodniej.
Zestaw przykładów
Dwadzieścia do pięćdziesięciu rzeczywistych przypadków z oczekiwanym wynikiem, przygotowanych przed rozpoczęciem prób. To podstawa całego porównania. Zestaw powstaje raz i służy latami — przy zmianie dostawcy, przy podniesieniu wersji, przy każdej modyfikacji sposobu zadawania pytań. To jedyna część pracy, która nie traci wartości.
Przypadki trudne
Zestaw musi zawierać sytuacje nietypowe: dokument nieczytelny, dane sprzeczne, pytanie wykraczające poza zakres. Na łatwych przykładach wszystkie narzędzia wypadają dobrze. Dobrym źródłem takich przypadków są reklamacje, sprawy, które utknęły, i dokumenty, przy których ktoś musiał dzwonić do kontrahenta.
Kryteria oceny
- poprawność merytoryczna,
- kompletność odpowiedzi,
- zachowanie przy braku informacji,
- zgodność formatu wyniku,
- czas i koszt.
Każde kryterium warto sprowadzić do odpowiedzi tak lub nie. Ocena w skali od jednego do pięciu wygląda dokładniej, ale przy dwóch oceniających znaczy co innego dla każdego z nich.
Zachowanie przy niewiedzy
Najważniejsze kryterium w zastosowaniach firmowych. Model przyznający, że nie ma danych, jest wart więcej niż model odpowiadający zawsze i czasem błędnie. Odpowiedź brzmiąca przekonująco, a nieprawdziwa, kosztuje podwójnie: raz przy popełnieniu błędu, drugi raz przy odzyskiwaniu zaufania zespołu do narzędzia.
Powtarzalność
To samo zapytanie zadane kilka razy. Duża rozbieżność odpowiedzi jest sama w sobie informacją o przydatności narzędzia. Przy zadaniach, w których wynik trafia dalej automatycznie, rozbieżność jest wykluczająca. Przy pracy wspomagającej człowieka — do przyjęcia.
Ocena niezależna
Wyniki oceniane bez wiedzy, z którego narzędzia pochodzą. Inaczej ocena podąża za oczekiwaniem oceniającego. Wystarczy wymieszać odpowiedzi i podpisać je numerami. To najprostszy zabieg w całym porównaniu i najczęściej pomijany.
Jedna zmienna naraz
Porównanie ma sens tylko wtedy, gdy między próbami zmienia się jedna rzecz. Podmiana modelu i jednoczesna zmiana sposobu zadawania pytania dają wynik, z którego nic nie wynika. Warto zapisywać, co dokładnie ustawiono w każdej próbie, bo po tygodniu nikt tego nie pamięta, a wyniki zostają.
Czego porównanie nie pokaże
Nie pokaże, jak narzędzie zachowa się przy potrójnym obciążeniu, jak zmieni się jakość po aktualizacji po stronie dostawcy ani jak zespół przyjmie zmianę sposobu pracy. Do tego potrzebna jest próba w warunkach zbliżonych do rzeczywistych, prowadzona przez osoby, które będą z narzędzia korzystać.
Kiedy porównanie jest zbędne
Gdy zadanie jest proste, a koszt niewielki — czas poświęcony na zestaw przypadków przewyższa wtedy korzyść z wyboru. Porównanie ma sens tam, gdzie wybór modelu wpływa na rachunek albo na jakość widoczną dla klienta. Osobnym przypadkiem jest odczyt dokumentów, gdzie różnice między narzędziami są duże i widać je od razu.
