Wyszukiwanie po słowach nie jest przestarzałe. Jest po prostu dobre w czymś innym.
Jak działa jedno i drugie
Dopasowanie dosłowne sprowadza tekst do zbioru wyrazów i sprawdza, które dokumenty zawierają wyrazy z zapytania. Liczy przy tym, jak rzadki jest dany wyraz w całym zbiorze — trafienie w słowo nietypowe waży więcej niż trafienie w spójnik. Wyszukiwanie znaczeniowe porównuje położenie tekstów w przestrzeni znaczeń i w ogóle nie sprawdza, czy jakieś słowo się powtórzyło.
Gdzie wygrywa dopasowanie dosłowne
- numery dokumentów i kody produktów,
- nazwy własne i symbole,
- szukanie konkretnego zwrotu,
- zbiory małe i dobrze opisane.
Dochodzi do tego przewidywalność. Wynik dopasowania dosłownego da się wyjaśnić wskazaniem miejsca w tekście. Przy wyszukiwaniu znaczeniowym odpowiedź na pytanie „dlaczego to wyszło pierwsze" brzmi: bo było najbliżej.
Gdzie wygrywa znaczeniowe
Przy pytaniach zadanych własnymi słowami, przy nieznajomości terminologii i przy tekstach pisanych swobodnie — zgłoszeniach, korespondencji, opisach.
Charakterystyczny sygnał, że warto po nie sięgnąć: ludzie pytają opisowo, bo nie wiedzą, jak nazywa się to, czego szukają. Nowy pracownik szukający zasad rozliczania delegacji nie użyje nazwy regulaminu, tylko własnych słów.
Problem z kodami
Wyszukiwanie semantyczne bywa słabe przy symbolach. Zapytanie o konkretny kod produktu potrafi zwrócić produkty zbliżone zamiast tego jednego.
Powód jest prosty: symbol nie niesie znaczenia, które dałoby się z czymkolwiek porównać. Dwa numery katalogowe różniące się jedną cyfrą wyglądają dla mechanizmu znaczeniowego niemal identycznie, choć oznaczają inny towar.
Odmiana
Największa praktyczna przewaga w polskim. Dopasowanie dosłowne wymaga sprowadzania wyrazów do formy podstawowej i i tak zawodzi na wyjątkach.
Co trzeba przygotować w każdym z wariantów
Wyszukiwanie dosłowne potrzebuje reguł odmiany i listy wyrazów pomijanych. Znaczeniowe — podziału dokumentów na fragmenty i przeliczenia całego zbioru, a przy każdej zmianie ustawień przeliczenia od nowa. Oba potrzebują tego samego: uporządkowanych, aktualnych dokumentów i wiedzy o tym, kto może widzieć które treści.
Różni się też utrzymanie. Dosłowne wymaga poprawiania reguł, gdy w firmie pojawia się nowe słownictwo. Znaczeniowe utrzymuje się samo, dopóki nie zmienia się model ani sposób podziału — wtedy jednak przeliczyć trzeba wszystko naraz.
Wniosek
Rzadko chodzi o wybór jednego z dwóch. Zwykle najlepszy wynik daje połączenie obu.
Kiedy dosłowne w zupełności wystarczy
Gdy zbiór jest niewielki, słownictwo ustalone, a pytania sprowadzają się do identyfikatorów. Magazyn szukający po kodach, księgowość szukająca po numerach dokumentów, katalog z kilkudziesięcioma pozycjami — dołożenie warstwy znaczeniowej nie zmieni w nich nic poza kosztem utrzymania. Szerzej opisuje to tekst o tym, kiedy semantyczne nie jest potrzebne.
Warto rozstrzygnąć to przed wyborem narzędzi. Zwykłe wyszukiwanie pełnotekstowe bywa już wbudowane w system, którego firma używa, i nie kosztuje nic ponad włączenie.
Sprawdzenie
Kilkadziesiąt rzeczywistych zapytań użytkowników, puszczonych przez oba mechanizmy. Wynik bywa zaskakujący w obie strony.
Warto zapisać, ile zapytań obsłużył poprawnie każdy mechanizm i ile obsłużyły oba naraz. Ostatnia liczba mówi, co realnie daje dołożenie drugiej warstwy — i czy w ogóle warto ją utrzymywać.
