Wdrożenie wyszukiwania semantycznego krok po kroku

Ukończona mozaika na posadzce

Wdrożenie wyszukiwania jest jednym z najkrótszych projektów w tym obszarze — o ile treść jest gotowa. Jeśli nie jest, to ona zajmuje cały czas.

1. Wybór zbioru

Jeden, wyraźnie ograniczony: baza wiedzy, archiwum zgłoszeń albo katalog produktów. Nie wszystko naraz.

Dobry pierwszy zbiór ma trzy cechy: jest używany codziennie, ma jednego właściciela po stronie firmy i mieści się w rozsądnej wielkości. Wciągnięcie na start wszystkich dysków firmowych to najpewniejszy sposób, żeby projekt utknął.

2. Zestaw oceniający

Kilkadziesiąt rzeczywistych zapytań z wskazanym oczekiwanym wynikiem. Przygotowany przed wyborem narzędzi.

Ten sam zestaw służy potem do każdej kolejnej decyzji, więc warto go zapisać w postaci dającej się uruchomić automatycznie. Sposób prowadzenia pomiaru opisuje tekst o mierzeniu jakości wyników.

3. Przygotowanie treści

Odczyt skanów, uzupełnienie tytułów, usunięcie treści nieaktualnych. Zwykle największa część pracy.

Tu zapada też rozstrzygnięcie, które wersje dokumentów obowiązują i co robimy z archiwum. Pominięcie tego etapu nie skraca projektu — przenosi go tylko na moment, w którym ludzie zaczną narzekać na wyniki.

4. Podział na fragmenty

Według struktury dokumentu, z nagłówkiem dołączonym do każdego fragmentu. Razem z tekstem zapisuje się dane do filtrowania: dział, datę, wersję i uprawnienia. Dopisanie ich później oznacza przeliczenie zbioru od nowa.

5. Dobór modelu osadzeń

Dwa lub trzy modele porównane na zestawie oceniającym, z naciskiem na jakość w polskim. Porównanie robi się na próbce zbioru, nie na całości — wystarczy, żeby wskazać zwycięzcę.

6. Wyszukiwanie hybrydowe

Dołożenie dopasowania dosłownego dla kodów i nazw własnych. Jeśli w kroku drugim okazało się, że sama warstwa dosłowna obsługuje niemal wszystkie pytania, na tym można poprzestać i darować sobie resztę.

7. Uprawnienia

Filtrowanie przed wyszukiwaniem, sprawdzone zapytaniami z konta bez dostępu.

8. Uruchomienie i pomiar

Zapytania bez wyników, trafność na pierwszych pozycjach, opinie użytkowników. Przeglądane co tydzień na początku.

Warto uruchomić najpierw dla jednego działu. Kilkanaście osób da wystarczająco dużo uwag, a poprawki wprowadza się bez tłumaczenia się całej firmie.

Co jest potrzebne po stronie firmy

Osoba znająca zbiór na tyle, by rozstrzygać, który wynik jest poprawny. Dostępy do źródeł i informacja o uprawnieniach. Zgoda na to, że część dokumentów trzeba będzie poprawić albo wycofać. Bez tej ostatniej rzeczy projekt zatrzymuje się na etapie trzecim.

Ile to trwa

Część techniczna jest krótka, bo wiele elementów jest gotowych — proste wdrożenia zamykają się w kilka dni. Cała reszta zależy od stanu treści i tego, ile dokumentów wymaga uporządkowania. Ten zakres wychodzi w audycie i dopiero po nim da się cokolwiek oszacować.

Najczęstszy błąd

Wdrożenie wyszukiwania na treści, której nikt wcześniej nie uporządkował. Narzędzie działa wtedy poprawnie i nie znajduje nic sensownego.