Sposób podziału dokumentów wpływa na jakość wyszukiwania bardziej niż wybór modelu. Jest przy tym najczęściej robiony bez namysłu.
Dlaczego w ogóle dzielimy
Model osadzeń przyjmuje ograniczoną długość tekstu, a wynik ma wskazać konkretne miejsce, nie cały dokument. Fragment musi być na tyle mały, by był jednoznaczny.
Jest jeszcze powód praktyczny. Użytkownik dostający w wyniku pięćdziesięciostronicową instrukcję nadal musi w niej szukać. Wskazanie akapitu kończy sprawę, wskazanie pliku ją tylko przesuwa.
Podział jest przy tym jedynym miejscem, w którym da się tanio poprawić trafność bez zmiany narzędzi. Zmiana modelu wymaga przeliczenia całości i porównań; zmiana sposobu cięcia wymaga tego samego, a efekt bywa większy.
Zbyt małe fragmenty
Tracą kontekst. Zdanie „nie dotyczy to zamówień hurtowych" bez otoczenia jest bezużyteczne.
Rozpoznaje się to po wynikach formalnie trafnych i bezużytecznych: system pokazuje zdanie z wyjątkiem, nie pokazując reguły, której ten wyjątek dotyczy.
Zbyt duże fragmenty
Rozmywają znaczenie. Fragment obejmujący pięć zagadnień nie jest bliski żadnemu z nich. Mechanizm tego nie sygnalizuje — osadzenie powstanie i będzie wyglądało poprawnie, tylko nigdy nie trafi w czubek listy.
Podział według struktury
Po nagłówkach, paragrafach, pozycjach listy. Działa wyraźnie lepiej niż cięcie co określoną liczbę znaków w środku zdania.
Warunek jest jeden: dokumenty muszą mieć strukturę. Pliki pisane jednym ciągiem, bez nagłówków, trzeba najpierw uporządkować albo pogodzić się z gorszym wynikiem. Tam, gdzie formatowanie zachowało się w źródle, podział wychodzi niemal sam.
Nakładanie
Fragmenty zachodzące na siebie o kilka zdań chronią przed przecięciem myśli w połowie. Kosztuje trochę miejsca i zwykle się opłaca.
Nagłówek przy fragmencie
Dołączenie tytułu dokumentu i nazwy sekcji do każdego fragmentu wyraźnie poprawia trafność. Najtańsza możliwa poprawa.
Tą samą drogą warto dołożyć informacje, po których będzie się filtrować: dział, datę obowiązywania, wersję dokumentu i uprawnienia. Dopisanie ich później oznacza przeliczenie zbioru od nowa.
Czego podział nie znosi
Tabel i formularzy. Wiersz oderwany od nagłówków kolumn traci sens, a formularz pocięty na pola przestaje być czymkolwiek. Takie miejsca trzeba obsłużyć osobno: całą tabelę jako jeden fragment albo każdy wiersz razem z nagłówkami. Podobny kłopot sprawiają dokumenty złożone z samych punktów odsyłających do innych punktów.
Jak dobrać wielkość
Nie z zalecenia, tylko z pomiaru. Ten sam zbiór dzielony na dwa lub trzy sposoby, ta sama lista zapytań, porównanie trafności na pierwszych pozycjach. Wynik zależy od rodzaju treści: krótkie wpisy w bazie wiedzy i wielostronicowe umowy wymagają czego innego.
Podział a późniejsze zmiany
Zmiana sposobu cięcia unieważnia cały indeks. Dlatego decyzję warto podjąć na próbce przed przetworzeniem całości, a nie po. Przy dokumentach zmienianych często dochodzi drugi warunek: fragmenty muszą dać się jednoznacznie powiązać ze źródłem, żeby po edycji pliku wymienić tylko te, które faktycznie się zmieniły.
