Karta graficzna — ile pamięci potrzeba
Pytanie „czy ten model się zmieści" ma prostą odpowiedź. Wystarczy przelicznik i chwila rachunku przed zakupem.
Prosty przelicznik
Model o siedmiu miliardach parametrów w pełnej precyzji zajmuje około czternastu gigabajtów. Po kwantyzacji do czterech bitów — około czterech. Skala jest liniowa.
Liniowość jest tu wygodna: dwa razy więcej parametrów to dwa razy więcej pamięci przy tym samym zapisie. Dzięki temu decyzję da się podjąć na kartce, zanim ktokolwiek wyda pieniądze.
Miejsce na kontekst
Sam model to nie wszystko. Długie zapytania i baza wiedzy zajmują dodatkową pamięć, rosnącą wraz z długością przekazywanej treści. Warto zostawić zapas.
To najczęściej pomijana pozycja. Model wczytuje się bez problemu, a kłopot pojawia się dopiero wtedy, gdy ktoś wklei do zapytania kilkanaście stron umowy albo gdy do odpowiedzi trzeba dołożyć fragmenty dokumentów z bazy. Zapas liczy się więc nie od typowego zapytania, tylko od najdłuższego, jakie w tej firmie realnie wystąpi.
Typowe progi
- 8 GB — małe modele po kwantyzacji, do prostych zadań,
- 16 GB — modele średnie, praca jednej osoby,
- 24 GB — komfortowa praca, dłuższy kontekst,
- 48 GB i więcej — modele duże albo obsługa zespołu.
Progi dotyczą jednego użytkownika naraz. Gdy z modelu ma korzystać kilka osób jednocześnie, rośnie nie tylko zapotrzebowanie na pamięć, ale i na czas odpowiedzi — to osobny rachunek, opisany przy okazji tego, ile zapytań obsłuży serwer.
Wpływ kwantyzacji
Zapis o mniejszej dokładności przesuwa wszystkie progi w dół i to on najczęściej rozstrzyga, czy zakup w ogóle jest potrzebny. Zanim padnie decyzja o droższej karcie, warto sprawdzić, co daje kwantyzacja modelu na tym samym zadaniu.
Dwie karty
Pamięć da się łączyć, ale nie każde rozwiązanie to obsługuje, a wydajność nie rośnie proporcjonalnie. Jedna karta z większą pamięcią jest prostsza.
Prostsza znaczy tu również: łatwiejsza w utrzymaniu. Zestaw z dwiema kartami ma więcej ustawień, które mogą się rozjechać po aktualizacji, i wymaga obudowy oraz zasilania przygotowanych z góry. Cały dobór sprzętu trzeba wtedy przemyśleć razem, nie po kolei.
Gdy model się nie mieści
Część trafia do pamięci operacyjnej i wydajność spada wielokrotnie. Lepiej wybrać mniejszy model mieszczący się w całości.
Objaw jest charakterystyczny: wszystko działa, tylko odpowiedzi przychodzą znacznie wolniej niż w próbach. Warto ten stan rozpoznać, zanim ktoś uzna, że to wina modelu albo zadania.
Sprawdzenie przed zakupem
Wypożyczenie maszyny na godziny kosztuje niewiele i odpowiada na pytanie o wydajność dokładniej niż jakiekolwiek zestawienie.
Test warto zrobić na własnych dokumentach i przy najdłuższym spodziewanym zapytaniu. Wynik z gotowego przykładu mówi o sprzęcie, a nie o tym konkretnym zastosowaniu.
