--- title: "Ewaluacja, czyli skąd wiesz, że Twoja AI działa" url: "https://barbairians.com/pl/blog/ewaluacja-skad-wiesz-ze-ai-dziala" description: "Demo zawsze działa. Pytanie brzmi, czy działa na Twoich danych, w piątek o 16:00 i po następnej aktualizacji modelu. Odpowiedź daje zestaw testów, nie wrażenie." --- # Ewaluacja, czyli skąd wiesz, że Twoja AI działa 24 września 2026·2 min czytania·BarbAIrianS Demo zawsze działa. Dostawca wybrał przykłady, prowadzący wie, o co zapytać, a sala kiwa głową. Potem system trafia na prawdziwe maile, krzywo zeskanowane faktury i klienta, który pisze wszystko w jednym zdaniu bez przecinków — i nikt nie wie, czy działa, bo nikt nie ustalił, co to znaczy. Ewaluacja to nudna odpowiedź na to pytanie. I jedyna, która wytrzymuje zmianę modelu. ## Wrażenie to nie pomiar Najczęstszy sposób oceny AI w firmach wygląda tak: ktoś testuje przez godzinę, wpisuje kilka pytań, mówi „całkiem nieźle”. Problem w tym, że godzina testów ludzkich to kilkanaście przykładów, dobranych przez kogoś, kto wie, czego się spodziewać. Rzadkie przypadki — te, które kosztują — prawie nigdy się w nich nie pojawiają. Do tego wrażenie nie da się powtórzyć. Kiedy za trzy miesiące zmienisz model albo prompt, nie wiesz, czy jest lepiej, gorzej, czy tylko inaczej. ## Zestaw testowy to aktywo firmy Zestaw testowy to zbiór prawdziwych przykładów z oczekiwanym wynikiem. Nic więcej — i nic cenniejszego w całym projekcie AI. - **Prawdziwe dane, nie wymyślone.** Wyciągnij przypadki z historii: zwykłe, trudne i te, które kiedyś poszły źle. - **Oczekiwany wynik zapisany przez kogoś, kto zna proces.** Nie przez model. Jeśli dwie osoby z zespołu nie zgadzają się co do poprawnej odpowiedzi, to znalazłeś niejasność w procesie, nie w AI. - **Rośnie z czasem.** Każdy błąd w produkcji staje się nowym przypadkiem testowym. Po roku zestaw zna Twój biznes lepiej niż jakakolwiek dokumentacja. ## Jak oceniać wyniki Nie każde zadanie da się ocenić tak samo. **Odpowiedź zamknięta** — kategoria, kwota, data, tak/nie. Tu wystarczy porównanie: zgadza się albo nie. Licz odsetek trafień, osobno dla każdej kategorii, bo średnia ukrywa miejsca, w których system się sypie. **Odpowiedź otwarta** — streszczenie, szkic maila, odpowiedź na pytanie. Tu potrzebujesz kryteriów: czy zawiera kluczowe fakty, czy nie wymyśla niczego, czy ma właściwy ton. Część tej oceny może zrobić drugi model z jasną instrukcją, ale próbkę zawsze sprawdza człowiek — inaczej oceniasz model modelem i nie wiesz, który z nich się myli. **Koszt i czas** — też są wynikiem. Model, który jest o włos lepszy i kilka razy wolniejszy, może być gorszym wyborem dla procesu, który ma działać w trakcie rozmowy z klientem. ## Ewaluacja jako polisa na dostawcę Tu wraca temat suwerenności. Dostawca hostowanego modelu może go zaktualizować bez pytania. Czasem jest lepiej. Czasem Twój proces, dopracowany pod starą wersję, zaczyna się mylić w sposób, którego nikt nie zauważa przez tydzień. Z zestawem testów zauważasz to w godzinę. Masz też liczbę, z którą możesz wrócić do dostawcy, przypiąć wersję albo porównać alternatywę — w tym model z otwartymi wagami uruchomiony u siebie. Bez zestawu masz tylko wrażenie, że „ostatnio coś gorzej działa”. ## Minimum na start Pięćdziesiąt prawdziwych przypadków, oczekiwany wynik przy każdym, prosty skrypt, który puszcza je przez system i liczy trafienia. Uruchamiany przy każdej zmianie modelu i promptu. To jest jeden dzień pracy — i różnica między firmą, która wie, że jej AI działa, a firmą, która ma nadzieję. - ewaluacja - jakość - testy - modele ## Czytaj dalej - [Fabryki AI w Europie: kto będzie właścicielem tokenów](https://barbairians.com/pl/blog/fabryki-ai-w-europie-kto-bedzie-wlascicielem-tokenow) - [Umowa z modelem: czego nie podpisywać u dostawcy AI](https://barbairians.com/pl/blog/umowa-z-modelem-czego-nie-podpisywac-u-dostawcy-ai)