Wyszukiwanie semantyczne jest tanie w porównaniu z generowaniem odpowiedzi. Koszt leży gdzie indziej, niż podpowiada intuicja.
Trzy składniki
Jednorazowe przeliczenie zbioru, stałe składowanie osadzeń i koszt obsługi zapytań. Pierwszy jest zwykle największy.
Do tego dochodzi czwarty, najczęściej pomijany w zestawieniach: praca ludzi. Uporządkowanie dokumentów, przygotowanie zestawu oceniającego i przejrzenie wyników to godziny, których nie widać w żadnym rachunku za usługę.
Warto liczyć te pozycje osobno, bo zachowują się inaczej: pierwsza pojawia się raz i wraca przy każdej zmianie modelu, druga płynie stale, trzecia rośnie z liczbą użytkowników.
Przeliczenie zbioru
Przy milionie fragmentów to godziny pracy i realny koszt. Powtarza się przy każdej zmianie modelu osadzeń.
Powtarza się także przy zmianie sposobu podziału dokumentów, bo osadzenia policzone dla innych fragmentów tracą sens. Dlatego obie decyzje warto przemyśleć na próbce, zanim ruszy przetwarzanie całości.
Zapytania
Osadzenie krótkiego zapytania jest kilkaset razy tańsze niż wygenerowanie odpowiedzi. W rachunku całości to pozycja drobna.
Rośnie tylko wtedy, gdy wyszukiwanie zasila coś działającego bez człowieka — porównywanie kartotek, dopasowywanie zgłoszeń, podpowiedzi przy każdym wpisanym znaku. Wtedy zapytań jest wielokrotnie więcej niż użytkowników i warto policzyć je osobno.
Składowanie
Rośnie liniowo z liczbą fragmentów i zależy od rozmiaru osadzeń. Przy dużych zbiorach warto wybrać model o krótszym wyniku.
Przy zbiorach firmowej wielkości ta pozycja bywa tak mała, że nie warto o niej rozmawiać. Sens nabiera dopiero tam, gdzie fragmenty liczy się w milionach.
Koszt utrzymania
Osobna pozycja, o której łatwo zapomnieć przy planowaniu. Składają się na nią aktualizacja indeksu, przeglądanie zapytań bez wyników i reagowanie na zmiany w źródłach. Wdrożenie zostawione bez opieki po kilku miesiącach zaczyna zwracać treści, których już nie ma.
Model lokalny
Modele osadzeń są małe i działają szybko także bez karty graficznej. To najłatwiejszy element do uruchomienia u siebie.
Zmienia to strukturę kosztu: zamiast opłaty za przetworzenie każdego fragmentu pojawia się koszt sprzętu i czasu. Przy jednorazowym przeliczeniu dużego zbioru bywa to rozstrzygające, przy małym nie ma znaczenia.
Sprawdza się też tam, gdzie dokumenty nie mogą opuścić firmy — wtedy jest to nie tyle oszczędność, ile jedyny wariant.
Gdzie naprawdę leży koszt
W przygotowaniu treści: uporządkowaniu dokumentów, podziale, uzupełnieniu opisów. Ta praca nie zależy od wyboru narzędzia.
I nie da się jej pominąć ani kupić. To ona decyduje o tym, czy projekt zamknie się szybko, czy będzie ciągnął się miesiącami — sama część techniczna przy gotowych rozwiązaniach bywa krótka.
Jak to wyceniamy
Rozliczamy się stawką godzinową albo wyceną za projekt, zależnie od zakresu. Audyt poprzedzający wdrożenie jest płatny i to on pozwala oszacować resztę — bez obejrzenia dokumentów, ich formy i wielkości zbioru każda liczba byłaby zgadywaniem. Wiele elementów jest gotowych, więc proste wdrożenia zamykają się w kilka dni.
Kiedy nie warto płacić
Gdy zwykłe wyszukiwanie pełnotekstowe obsługuje niemal wszystkie pytania. Sprawdza się to przed wydaniem pierwszej złotówki — sytuacje takie zbiera tekst o tym, kiedy semantyczne nie jest potrzebne.
