Wybór modelu językowego do zastosowania
Nie ma modelu najlepszego. Jest model odpowiedni do zadania — i różnice między nimi bywają większe w kosztach niż w jakości.
Kryteria
- jakość w języku polskim, nie tylko angielskim,
- długość materiału, jaki da się przekazać naraz,
- czas odpowiedzi przy pracy interaktywnej,
- koszt przetwarzania przy zakładanej skali,
- możliwość uruchomienia lokalnie.
Kolejność tych kryteriów zależy od zadania i to ona rozstrzyga wybór. Przy przetwarzaniu tysięcy dokumentów pierwszy jest koszt. Przy podpowiedziach dla obsługi klienta — czas odpowiedzi. Przy analizie umów — długość materiału i dokładność.
Język polski
Modele różnią się tu bardziej niż w zadaniach angielskojęzycznych. Porównania publikowane przez dostawców rzadko obejmują polski, więc sprawdzenie trzeba wykonać samodzielnie. Widać to szczególnie przy odmianie nazw własnych, przy skrótach branżowych i przy tekstach pisanych niestarannie, a takie są zgłoszenia klientów.
Zadanie wyznacza wymagania
Klasyfikacja krótkich zgłoszeń wymaga czegoś innego niż analiza umowy. Do prostych zadań mniejszy i tańszy model zwykle wystarcza. Pomaga rozbicie procesu na etapy: rozpoznanie rodzaju dokumentu, wyciągnięcie danych, sformułowanie odpowiedzi. Każdy etap może korzystać z innego modelu, a wtedy najdroższy pracuje tylko tam, gdzie jest potrzebny.
Szybkość a jakość
Przy pracy interaktywnej odpowiedź po dziesięciu sekundach jest odbierana jako awaria. Przy przetwarzaniu nocnym czas nie ma znaczenia. To rozróżnienie warto zrobić na początku, bo zmienia listę rozważanych rozwiązań, a bywa odkrywane dopiero po wdrożeniu. Bywa też, że da się je pogodzić: szybka odpowiedź wstępna dla użytkownika i dokładniejsze przetworzenie w tle, którego wynik pojawia się chwilę później.
Model jako element wymienny
Rozwiązanie warto budować tak, żeby zmiana modelu nie wymagała przebudowy. Modele zmieniają się co kilka miesięcy. W praktyce oznacza to trzymanie w jednym miejscu tego, co dotyczy modelu: sposobu formułowania zapytania, oczekiwanego formatu wyniku i obsługi błędów. Wtedy wymiana jest zmianą ustawienia, a nie projektem.
Długość materiału
Możliwość przekazania długiego dokumentu naraz brzmi jak zaleta bez wad, ale ma dwie konsekwencje. Pierwsza to koszt: płaci się za wszystko, co zostało wysłane, także za części nieistotne dla pytania. Druga to jakość — im więcej materiału, tym łatwiej o pominięcie szczegółu ukrytego w środku. Przy pracy na obszernych dokumentach zwykle lepiej działa wcześniejsze wyszukanie właściwego fragmentu i przekazanie tylko jego.
Jak sprawdzić przed decyzją
Bez własnego zestawu przypadków wybór opiera się na cudzych wynikach. Zanim padnie decyzja, warto przygotować porównanie na własnych danych — ten sam zestaw zapytań przepuszczony przez kilka modeli, oceniany według wcześniej ustalonego kryterium.
Nie zawsze największy
Model najmocniejszy do zadania prostego to koszt bez korzyści. Warto zacząć od mniejszego i podnieść dopiero po sprawdzeniu wyników. Różnica bywa niewidoczna w jakości, a wyraźna w rachunku — zwłaszcza przy zadaniach powtarzanych wielokrotnie każdego dnia.
