Baza wiedzy oparta na dokumentach firmy jest najczęstszym powodem, dla którego warto uruchomić model lokalnie. Dokumenty nie opuszczają wtedy serwera.
Jak to działa
Dokumenty dzielone są na fragmenty i zamieniane na postać liczbową. Zapytanie wyszukuje fragmenty najbliższe znaczeniowo, model formułuje na ich podstawie odpowiedź.
Z tego wynika ważna konsekwencja: model nie zna treści dokumentów. Dostaje je dopiero w chwili pytania, razem z zapytaniem. Jeśli wyszukiwanie poda niewłaściwe fragmenty, odpowiedź będzie błędna niezależnie od tego, jak dobry jest model. Cała jakość rozwiązania rozstrzyga się na etapie wyszukiwania.
Model osadzeń
Odpowiada za jakość wyszukiwania i to on decyduje o całości. Musi dobrze obsługiwać polski — inaczej najlepszy model językowy dostanie niewłaściwe fragmenty.
To osobny model, mniejszy i tańszy w uruchomieniu niż ten, który pisze odpowiedzi, ale pracuje częściej. Jego zmiana wymaga przeliczenia całego indeksu od nowa, więc wybór warto przemyśleć raz, a nie poprawiać po drodze. Na tę operację trzeba przewidzieć czas i miejsce, tak samo jak przy doborze pamięci karty graficznej.
Podział dokumentów
Fragmenty zbyt małe tracą kontekst, zbyt duże rozmywają treść. Podział zgodny z układem dokumentu działa lepiej niż mechaniczne cięcie co tyle znaków.
Przy umowach i regulaminach naturalną granicą jest paragraf, przy instrukcjach — krok, przy opisach towarów — pojedyncza pozycja. Warto też zachować przy fragmencie informację, skąd pochodzi, bo bez niej odpowiedź traci możliwość wskazania źródła.
Uprawnienia
Wyszukiwanie musi respektować dostępy użytkownika. Baza obejmująca dokumenty kadrowe bez tego warunku udostępnia je wszystkim.
To najpoważniejsza pułapka takiego wdrożenia. Dokumenty leżące dotąd w katalogach z ograniczonym dostępem trafiają do jednego indeksu, który odpowiada każdemu pytającemu. Uprawnienia trzeba więc odwzorować od początku, razem z resztą zasad opisanych przy bezpieczeństwie instalacji lokalnej.
Aktualizacja
Zmieniony dokument musi trafić do indeksu automatycznie. Ręczne odświeżanie przestaje być wykonywane po miesiącu.
Dotyczy to również usuwania. Dokument wycofany z obiegu, który został w indeksie, wraca w odpowiedziach jako obowiązujący — a to gorsze niż brak odpowiedzi.
Wskazanie źródła
Każda odpowiedź z odnośnikiem do dokumentu i fragmentu. To warunek zaufania i jedyny sposób sprawdzenia poprawności.
Wskazanie źródła zmienia też sposób korzystania z takiej bazy. Pracownik nie musi ufać odpowiedzi na słowo, tylko sprawdza fragment i decyduje sam. Bez tego elementu narzędzie po kilku pomyłkach przestaje być używane, bo nikt nie chce ryzykować oparcia decyzji na treści, której nie da się zweryfikować.
Sam indeks jest przy tym elementem, który trzeba umieć odtworzyć — powinien wejść do zakresu, jaki obejmują kopie zapasowe środowiska. Jego zbudowanie od zera potrafi zająć wiele godzin pracy maszyny, więc różnica między odtworzeniem z kopii a przeliczeniem wszystkiego na nowo jest odczuwalna.
