Osadzenia — jak to działa
Cała mechanika wyszukiwania semantycznego sprowadza się do jednego pomysłu: teksty o zbliżonym znaczeniu mają zbliżone współrzędne.
Tekst jako punkt
Model zamienia fragment tekstu w ciąg liczb wyznaczających położenie w przestrzeni o wielu wymiarach. Bliskość punktów odpowiada podobieństwu znaczenia.
Współrzędne nie mają nazw ani interpretacji. Nie da się wskazać, że jedna odpowiada za branżę, a druga za ton wypowiedzi. Liczy się wyłącznie to, że teksty o zbliżonym sensie lądują blisko siebie, a niepodobne daleko.
Nie ma przy tym znaczenia, ile znaków liczy fragment — wynik zamiany ma zawsze tę samą postać. Dzięki temu krótkie pytanie i długi akapit da się porównać wprost.
Wyszukiwanie jako pomiar odległości
Zapytanie zamieniane jest na punkt, a wynikiem są fragmenty położone najbliżej. To wszystko, co dzieje się pod spodem.
Stąd bierze się właściwość początkowo myląca: wynik jest zawsze. Nawet zapytanie zupełnie niezwiązane ze zbiorem zwróci najbliższe fragmenty — po prostu leżą one daleko. Rozpoznanie sytuacji „nic tu nie pasuje" wymaga osobnej decyzji po stronie systemu.
Model osadzeń
Osobny od modelu językowego i to on decyduje o jakości wyszukiwania. Najlepszy model odpowiadający nie naprawi złych osadzeń.
To rozróżnienie bywa mylone. Model językowy formułuje zdania w odpowiedzi. Model osadzeń tylko wyznacza położenie tekstu i nie tworzy ani jednego słowa. W samej wyszukiwarce, bez generowania odpowiedzi, ten drugi wystarcza w zupełności — cała rzecz może działać bez modelu językowego.
Co go różnicuje
- jakość w danym języku,
- długość obsługiwanego fragmentu,
- rozmiar wyniku, wpływający na koszt składowania,
- szybkość przetwarzania,
- możliwość uruchomienia lokalnie.
Pierwsza pozycja jest w polskich wdrożeniach najważniejsza i najczęściej pomijana. Rozstrzyga o niej sprawdzenie na własnych tekstach, nie opis producenta.
Co dostaje model na wejściu
Nie cały dokument, tylko fragment. Sposób pocięcia treści wpływa na wynik równie mocno jak sam model — osadzenie fragmentu obejmującego pięć tematów nie jest bliskie żadnemu z nich. Temu poświęcony jest osobny tekst o podziale dokumentów na fragmenty.
Zmiana modelu
Wymaga przeliczenia całego zbioru od nowa. Osadzenia z dwóch różnych modeli są nieporównywalne.
To samo dotyczy zmiany sposobu podziału. Warto przewidzieć to w harmonogramie: przeliczenie dużego zbioru trwa i kosztuje, a w trakcie indeks bywa niespójny. Przy większych zbiorach robi się to obok istniejącego indeksu i przełącza dopiero po sprawdzeniu jakości.
Czego osadzenia nie załatwią
Symboli, numerów katalogowych i skrótów wewnętrznych — te wymagają dopasowania dosłownego obok. Nie załatwią też braków w treści: punkt bez zapisanej informacji po prostu nie powstanie.
Skąd biorą się złe wyniki
Najczęściej z trzech miejsc: fragment obejmował zbyt wiele wątków, tekst źródłowy był niestaranny albo pytanie dotyczyło symbolu. Czwarta przyczyna jest innego rodzaju — informacji po prostu nie ma w zbiorze, a mechanizm i tak zwraca coś zbliżonego. Dlatego przy ocenie trzeba osobno liczyć zapytania, na które poprawną odpowiedzią jest brak wyniku.
Co warto zapamiętać
Wybór modelu osadzeń jest ważniejszą decyzją niż wybór modelu językowego — i znacznie rzadziej rozważaną.
