Polski jest dla wyszukiwania trudniejszy niż angielski. Odmiana sprawia, że dopasowanie dosłowne zawodzi, a modele bywają słabiej dostrojone.
Odmiana
Ten sam wyraz w siedmiu przypadkach i dwóch liczbach. Wyszukiwanie po literach musi to sprowadzać do formy podstawowej; semantyczne radzi sobie z tym z natury.
Do tego dochodzi swobodny szyk zdania. To samo pytanie zadane w dwóch układach wyrazów jest dla mechanizmu znaczeniowego tym samym pytaniem, a dla dopasowania dosłownego bywa dwoma różnymi.
Modele wielojęzyczne
Większość modeli osadzeń trenowana jest głównie na angielskim. Jakość w polskim trzeba sprawdzić samodzielnie — deklaracje o wielojęzyczności niewiele mówią.
Sprawdzenie
Kilkadziesiąt par: zapytanie i fragment, który powinien zostać znaleziony. Porównanie kilku modeli na tym zestawie rozstrzyga wybór.
Pary trzeba wziąć z rzeczywistości: z zapytań wpisanych w dotychczasową wyszukiwarkę, z pytań padających na czacie wewnętrznym, z powtarzających się telefonów do biura. Zestaw ułożony przy stole sprawdza wyobrażenia autora, nie system. Jak z tego zrobić powtarzalny pomiar, opisuje tekst o mierzeniu jakości wyników.
Zestaw przydaje się później dwukrotnie: przy porównywaniu modeli i przy każdej kolejnej zmianie w indeksie. Raz przygotowany, służy przez cały czas życia wdrożenia.
Co się psuje najczęściej
Skróty zapisywane różnie w różnych dokumentach, nazwy własne wciągnięte w odmianę, teksty przepisane ze skanów z pogubionymi znakami diakrytycznymi. Ostatni przypadek jest podstępny: dokument wygląda na ekranie poprawnie, a w postaci tekstowej ma wyrazy bez ogonków, które model traktuje jak zupełnie inne słowa.
Terminologia branżowa
Nazwy własne, skróty i określenia wewnętrzne bywają dla modelu bez znaczenia. Wymagają wsparcia po stronie wyszukiwania dosłownego.
Dotyczy to również żargonu firmowego: nazw modułów, skrótów działów, wewnętrznych określeń dokumentów. Model nie ma skąd wiedzieć, co znaczą, więc warstwa dosłowna jest w polskich wdrożeniach praktycznie obowiązkowa.
Teksty mieszane
Dokumentacja techniczna miesza polski z angielskim. Model musi radzić sobie z jednym zdaniem zawierającym oba języki.
Ten sam kłopot sprawia korespondencja z zagranicznym dostawcą i opisy produktów przepisane z materiałów producenta. Warto sprawdzić to osobno — model dobry w polskim bywa słabszy właśnie na zdaniach mieszanych.
Co przygotować przed testem
Próbkę własnych dokumentów, nie materiały przykładowe. Powinna obejmować to, co w zbiorze najtrudniejsze: teksty pisane niestarannie, skróty, tabele, zdania mieszane językowo. Model wypadający dobrze na czystych akapitach potrafi się rozjechać na zgłoszeniu napisanym w pośpiechu.
Przydaje się też lista wyrażeń, które muszą działać zawsze: nazwy dokumentów wewnętrznych, oznaczenia procedur, skróty działów. To one najczęściej rozstrzygają, czy ludzie uznają nową wyszukiwarkę za użyteczną.
Kiedy to nie ma znaczenia
Gdy pytania sprowadzają się do symboli i numerów, odmiana nie występuje, a cała trudność polskiego znika. Wtedy zwykłe wyszukiwanie pełnotekstowe wystarcza i nie ma czego porównywać. Podobnie przy zbiorze złożonym z krótkich, jednolitych opisów, w których używane jest kilkadziesiąt tych samych wyrazów.
Wniosek praktyczny
Model gorszy ogólnie, ale lepszy w polskim, jest lepszym wyborem. To rozstrzygnięcie zapada wyłącznie na własnych danych.
