Lokalny LLM w firmie: od czego zacząć

Większość firm, które chcą „postawić własny model”, zaczyna od złego końca: od zakupu sprzętu. Potem przez miesiąc szuka zadania, które uzasadni wydatek. Kolejność odwrotna działa znacznie lepiej — i jest tańsza, bo pierwsze trzy kroki nie wymagają żadnego serwera.

Krok 1: jedno zadanie, nie platforma

Wybierz jedno powtarzalne zadanie na danych, które nie powinny wychodzić z firmy. Klasyfikacja przychodzących maili, wyciąganie pól z faktur, streszczanie notatek ze spotkań z klientem, odpowiedzi na pytania o wewnętrzne procedury. Zadanie ma mieć jasne „dobrze” i „źle”, bo inaczej nie da się go zmierzyć.

„Asystent AI dla całej firmy” nie jest zadaniem. To projekt, który nigdy się nie kończy.

Krok 2: zestaw testowy, zanim wybierzesz model

Zbierz kilkadziesiąt do kilkuset prawdziwych przykładów z oczekiwaną odpowiedzią. To jest najcenniejsza rzecz, jaką zbudujesz w całym procesie — przeżyje każdy model, który wypróbujesz, i każdą jego aktualizację.

Bez tego zestawu wybór modelu jest kwestią gustu, a dyskusja o tym, czy lokalny „wystarczy”, ciągnie się bez końca. Z nim jest liczbą.

Krok 3: porównaj z modelem z API

Puść zestaw testowy przez dobry model hostowany i przez dwa, trzy modele z otwartymi wagami w różnych rozmiarach. Do tego testu wystarczy laptop z porządną kartą graficzną albo wynajęta na godziny maszyna w chmurze — kupowanie sprzętu na tym etapie to zgadywanie.

Często okazuje się, że w wąskim, dobrze opisanym zadaniu mniejszy model otwarty zbliża się do dużego hostowanego. Czasem okazuje się, że nie. Obie odpowiedzi są cenne, bo opierają się na Twoich danych, a nie na rankingach z internetu.

Krok 4: dopiero teraz sprzęt

Kiedy wiesz, który model daje radę, wiesz też, czego potrzebuje. Rozmiar modelu, poziom kwantyzacji i długość kontekstu przekładają się na ilość pamięci karty graficznej; liczba równoczesnych zapytań — na przepustowość. To da się policzyć dla konkretnego modelu, zamiast kupować „na zapas”.

Opcji jest więcej niż serwer w szafie: wynajęta maszyna u europejskiego dostawcy, kolokacja, stacja robocza pod biurkiem dla małego zespołu. Wybierz według jurysdykcji, kosztu i tego, kto będzie się tym opiekował.

Krok 5: eksploatacja, czyli część, o której nikt nie mówi

Model w produkcji to usługa jak każda inna. Potrzebuje:

• Przypiętej wersji — wagi, sposobu uruchomienia i promptu, zapisanych tak, żeby za rok dało się odtworzyć ten sam wynik.
• Logów — co weszło, co wyszło, ile trwało. Bez nich nie da się poprawiać ani tłumaczyć.
• Ponownego testu przy każdej zmianie — ten sam zestaw z kroku 2, przed każdą aktualizacją modelu albo promptu.
• Planu B — co się dzieje, gdy serwer padnie. Czasem wystarczy kolejka i cierpliwość, czasem awaryjne przełączenie na API dla danych, które mogą wyjść.

Licencje: przeczytaj, zanim wdrożysz

„Otwarte wagi” nie znaczy jednego. Licencje modeli różnią się warunkami użycia komercyjnego, ograniczeniami i obowiązkami. Przeczytaj licencję konkretnego modelu, zanim zbudujesz na nim proces — to dziesięć minut, które mogą oszczędzić migracji.

Czego się spodziewać

Pierwsze wdrożenie zajmie więcej czasu niż podpięcie API. Drugie zajmie mniej, bo zestaw testów, logowanie i sposób uruchamiania już istnieją. Od trzeciego masz w firmie zdolność, której nie da się wyłączyć zmianą cennika — i to jest cały sens.