Ewaluacja, czyli skąd wiesz, że Twoja AI działa

Demo zawsze działa. Dostawca wybrał przykłady, prowadzący wie, o co zapytać, a sala kiwa głową. Potem system trafia na prawdziwe maile, krzywo zeskanowane faktury i klienta, który pisze wszystko w jednym zdaniu bez przecinków — i nikt nie wie, czy działa, bo nikt nie ustalił, co to znaczy.

Ewaluacja to nudna odpowiedź na to pytanie. I jedyna, która wytrzymuje zmianę modelu.

Wrażenie to nie pomiar

Najczęstszy sposób oceny AI w firmach wygląda tak: ktoś testuje przez godzinę, wpisuje kilka pytań, mówi „całkiem nieźle”. Problem w tym, że godzina testów ludzkich to kilkanaście przykładów, dobranych przez kogoś, kto wie, czego się spodziewać. Rzadkie przypadki — te, które kosztują — prawie nigdy się w nich nie pojawiają.

Do tego wrażenie nie da się powtórzyć. Kiedy za trzy miesiące zmienisz model albo prompt, nie wiesz, czy jest lepiej, gorzej, czy tylko inaczej.

Zestaw testowy to aktywo firmy

Zestaw testowy to zbiór prawdziwych przykładów z oczekiwanym wynikiem. Nic więcej — i nic cenniejszego w całym projekcie AI.

• Prawdziwe dane, nie wymyślone. Wyciągnij przypadki z historii: zwykłe, trudne i te, które kiedyś poszły źle.
• Oczekiwany wynik zapisany przez kogoś, kto zna proces. Nie przez model. Jeśli dwie osoby z zespołu nie zgadzają się co do poprawnej odpowiedzi, to znalazłeś niejasność w procesie, nie w AI.
• Rośnie z czasem. Każdy błąd w produkcji staje się nowym przypadkiem testowym. Po roku zestaw zna Twój biznes lepiej niż jakakolwiek dokumentacja.

Jak oceniać wyniki

Nie każde zadanie da się ocenić tak samo.

Odpowiedź zamknięta — kategoria, kwota, data, tak/nie. Tu wystarczy porównanie: zgadza się albo nie. Licz odsetek trafień, osobno dla każdej kategorii, bo średnia ukrywa miejsca, w których system się sypie.

Odpowiedź otwarta — streszczenie, szkic maila, odpowiedź na pytanie. Tu potrzebujesz kryteriów: czy zawiera kluczowe fakty, czy nie wymyśla niczego, czy ma właściwy ton. Część tej oceny może zrobić drugi model z jasną instrukcją, ale próbkę zawsze sprawdza człowiek — inaczej oceniasz model modelem i nie wiesz, który z nich się myli.

Koszt i czas — też są wynikiem. Model, który jest o włos lepszy i kilka razy wolniejszy, może być gorszym wyborem dla procesu, który ma działać w trakcie rozmowy z klientem.

Ewaluacja jako polisa na dostawcę

Tu wraca temat suwerenności. Dostawca hostowanego modelu może go zaktualizować bez pytania. Czasem jest lepiej. Czasem Twój proces, dopracowany pod starą wersję, zaczyna się mylić w sposób, którego nikt nie zauważa przez tydzień.

Z zestawem testów zauważasz to w godzinę. Masz też liczbę, z którą możesz wrócić do dostawcy, przypiąć wersję albo porównać alternatywę — w tym model z otwartymi wagami uruchomiony u siebie. Bez zestawu masz tylko wrażenie, że „ostatnio coś gorzej działa”.

Minimum na start

Pięćdziesiąt prawdziwych przypadków, oczekiwany wynik przy każdym, prosty skrypt, który puszcza je przez system i liczy trafienia. Uruchamiany przy każdej zmianie modelu i promptu. To jest jeden dzień pracy — i różnica między firmą, która wie, że jej AI działa, a firmą, która ma nadzieję.