Pokaz przygotowany przez dostawcę zawsze wypada dobrze. Jedyne wiarygodne sprawdzenie odbywa się na dokumentach i sprawach danej firmy.
Zakres próby
Jedno konkretne zadanie, kilkadziesiąt rzeczywistych przypadków, jasne kryterium powodzenia ustalone przed rozpoczęciem. Próba obejmująca kilka zadań naraz kończy się wynikiem, którego nie da się zinterpretować: coś działało, coś nie, całość „raczej się nadaje". To za mało jak na decyzję zakupową.
Przypadki reprezentatywne
Nie same wzorcowe. Dokumenty nieczytelne, sprawy nietypowe, dane niekompletne — to one rozstrzygają o przydatności w codziennej pracy. Dobrze jest wziąć materiał z jednego rzeczywistego tygodnia, bez wybierania. Wybieranie przypadków zawsze idzie w stronę tych, na których narzędzie ma szansę wypaść dobrze, nawet gdy nikt tego nie zamierza.
Warunki zbliżone do rzeczywistych
Ta sama jakość skanów, ten sam sposób wprowadzania danych, ci sami ludzie. Próba prowadzona przez wykonawcę na przygotowanym materiale dowodzi niewiele. Warto też, żeby narzędzie działało w miejscu, w którym docelowo ma działać. Próba w osobnym oknie, do którego trzeba przeklejać dane, mierzy co innego niż praca w systemie.
Co przygotować wcześniej
Zestaw przypadków z oczekiwanym wynikiem, osobę odpowiedzialną za prowadzenie próby, miejsce zapisu wyników i zgodę na wykorzystanie tych danych. Ostatni punkt bywa pomijany, a to on decyduje, czy próbę wolno w ogóle przeprowadzić na wersji, którą dostawca udostępnił. Reguły bywają inne niż w wersji bezpłatnej, z której zwykle korzysta się na początku.
Miernik ustalony wcześniej
Na przykład: osiemdziesiąt pięć procent dokumentów odczytanych bez poprawek. Ocena po fakcie zawsze wypada korzystnie dla narzędzia, które już się polubiło. Miernik powinien odnosić się do pracy, a nie do wrażenia — liczba spraw załatwionych bez poprawki, liczba pozycji wymagających uzupełnienia, czas obsługi jednego dokumentu. Warto z góry ustalić, co się stanie przy wyniku granicznym: czy podnosimy wymagania, czy próbujemy innego narzędzia, czy odkładamy temat.
Czas
Dwa do czterech tygodni. Krócej nie ujawnia przypadków rzadkich, dłużej zamienia próbę w nieformalne wdrożenie bez umowy. Data zakończenia powinna być ustalona na starcie i przestrzegana, bo próba bez końca staje się stanem trwałym — z całym ryzykiem i bez żadnych ustaleń.
Kto ocenia
Osoby, które tę pracę wykonują na co dzień, a nie osoba prowadząca projekt. Metoda oceny jest ta sama co przy porównywaniu narzędzi: wyniki oceniane według spisanych kryteriów, najlepiej bez wiedzy, z którego rozwiązania pochodzą.
Wynik negatywny
Jest wynikiem. Próba, która pokazała, że narzędzie nie działa, oszczędza wielokrotnie więcej, niż kosztowała. Warto tylko rozstrzygnąć, co zawiodło: narzędzie, dane wejściowe czy sam sposób postawienia zadania. Ostatnia przyczyna jest częsta i sprowadza sprawę z powrotem do opisania zadania, od którego wybór powinien się zaczynać.
