„Wydaje się, że działa lepiej" nie jest oceną. Kilkadziesiąt zapytań z oczekiwanym wynikiem rozstrzyga sprawę w godzinę.
Zestaw oceniający
Trzydzieści do stu rzeczywistych zapytań użytkowników z wskazanym fragmentem, który powinien zostać znaleziony. Podstawa każdego porównania.
Zestaw ma pokrywać różne rodzaje pytań: opisowe, po nazwie własnej, po numerze dokumentu, zadane jednym słowem i całym zdaniem. Jeśli wszystkie zapytania są jednego typu, pomiar mówi o jednej sytuacji, a wnioski wyciąga się o całości.
Co trzeba przygotować
Zapisy tego, o co ludzie faktycznie pytali: dziennik dotychczasowej wyszukiwarki, powtarzające się pytania na czacie wewnętrznym, treść zgłoszeń do biura. Do tego osoba znająca zbiór na tyle, by wskazać poprawny fragment. Przygotowanie zestawu jest w tym całym przedsięwzięciu najbardziej pracochłonnym elementem i jednocześnie tym, który wraca najczęściej.
Trafność na pierwszych pozycjach
Czy właściwy wynik znalazł się w pierwszej trójce. To miara odpowiadająca temu, jak ludzie faktycznie korzystają z wyszukiwarki.
Wynik na dalszej pozycji liczy się tylko formalnie. Nikt nie przewija listy do końca, a przy wyszukiwarce zasilającej odpowiedzi automatyczne dalsze pozycje w ogóle nie są brane pod uwagę.
Obok warto notować, na której dokładnie pozycji wynik się pojawił. Ta sama trafność w pierwszej trójce może oznaczać stałe miejsce pierwsze albo stałe trzecie, a to dwie różne jakości.
Zapytania z rzeczywistości
Nie wymyślone przy stole. Użytkownicy pytają inaczej, niż zakłada autor systemu, i to ich zapytania trzeba oceniać.
Jeśli dziennika wyszukiwarki nie ma, warto go włączyć na kilka tygodni przed jakąkolwiek zmianą. To najtańszy materiał do oceny, jaki da się zdobyć.
Zapytania bez wyników
Prowadzone jako osobna lista. Wskazują zarówno braki w treści, jak i słabości wyszukiwania.
Ta lista jest przy okazji najlepszym wskazaniem, co dopisać do bazy wiedzy. Powtarzające się pytanie bez odpowiedzi to gotowy temat na dokument.
Ocena zaślepiona
Osoba oceniająca nie wie, który mechanizm zwrócił który wynik. Inaczej ocena podąża za oczekiwaniem.
Prosty sposób: wyniki obu wariantów wymieszane w jednej liście, bez oznaczeń, oceniane po kolei. Zajmuje tyle samo czasu co ocena jawna, a wynikom da się ufać.
Po każdej zmianie
Zmiana modelu, podziału na fragmenty czy wag wymaga powtórzenia oceny. Poprawka w jednym miejscu regularnie psuje coś w innym.
Dlatego zestaw warto trzymać w postaci, którą da się przepuścić automatycznie, i notować wynik przy każdej zmianie. Porównanie z poprzednim pomiarem zajmuje wtedy chwilę, a bez tego każda zmiana wymaga oceny od zera.
Czego pomiar nie rozstrzyga
Tego, czy wyszukiwanie jest w ogóle potrzebne. Jeśli zwykłe dopasowanie dosłowne obsługuje niemal cały zestaw, dokładanie warstwy znaczeniowej nie ma po co powstawać. Pomiar warto więc zrobić raz przed wdrożeniem, na tym, co firma ma dzisiaj — to jeden z pierwszych kroków wdrożenia krok po kroku i najtańszy moment na rezygnację.
Obserwacja po uruchomieniu
Zestaw oceniający mierzy to, co przewidziano. Rzeczywistość dokłada resztę: zapytania kończone bez kliknięcia w żaden wynik, powtarzane w kółko przez tę samą osobę, przerywane w połowie. Te sygnały pokazują problemy, których nie było w żadnej liście przygotowanej z góry.
