AI - Ranking polskich modeli LLM

Polskie modele AI coraz częściej trafiają do rankingów. Problemem pozostaje sposób ich porównywania

Rozwój polskich modeli językowych coraz częściej przedstawiany jest jako technologiczny wyścig. Kolejne publikacje informują, że wybrany model pokonał zagraniczną konkurencję, osiągnął rekordowy wynik albo został najlepszym polskim rozwiązaniem opartym na sztucznej inteligencji.

Takie komunikaty dobrze sprawdzają się w nagłówkach, ale nie zawsze pomagają użytkownikowi, firmie lub instytucji odpowiedzieć na podstawowe pytanie: który model rzeczywiście nadaje się do konkretnego zastosowania?

Problem zaczyna się już na poziomie nazewnictwa. Pod wspólną nazwą modelu może występować kilka różnych wersji. Mogą różnić się liczbą parametrów, sposobem trenowania, przeznaczeniem, licencją oraz wymaganiami sprzętowymi.

Model bazowy nie jest tym samym co model instrukcyjny. Model przygotowany do dalszego trenowania nie powinien być oceniany według tych samych kryteriów co gotowy chatbot. Kwantyzacja również nie zawsze oznacza powstanie nowego modelu. Często jest jedynie innym sposobem zapisania jego wag, pozwalającym uruchomić rozwiązanie na słabszym sprzęcie.

Jeżeli wszystkie te warianty zostaną wrzucone do jednej tabeli, ranking może wyglądać profesjonalnie, ale porównywać obiekty pełniące zupełnie inne funkcje.

Podobny problem dotyczy benchmarków. Jeden model może bardzo dobrze wypadać w testach wiedzy ogólnej, drugi w zadaniach programistycznych, a trzeci w rozumieniu języka polskiego. Wysoki wynik w jednej kategorii nie oznacza automatycznie, że model będzie najlepszym wyborem do analizy dokumentów, obsługi klienta albo pracy lokalnej.

Benchmark mierzy konkretny test, wykonany w określonych warunkach. Na wynik wpływają między innymi wersja modelu, treść instrukcji systemowej, temperatura, liczba prób, sposób oceniania oraz wykorzystany zestaw danych.

Z tego powodu informacja, że model „wygrał ranking”, bez podania metodologii ma ograniczoną wartość. Najważniejsze jest ustalenie, jakie cechy były oceniane i czy odpowiadają one rzeczywistym potrzebom użytkownika.

Osobnym zagadnieniem jest jakość języka polskiego. Deklaracja, że model obsługuje język polski, może oznaczać jedynie zdolność rozpoznania prostego polecenia i wygenerowania zrozumiałej odpowiedzi.

Nie oznacza to jeszcze, że model dobrze radzi sobie z terminologią prawną, finansową, medyczną lub urzędową. Nie gwarantuje także naturalnego stylu, poprawnej odmiany nazw, zachowania kontekstu w długich dokumentach ani rozpoznawania subtelnych różnic znaczeniowych.

W przypadku polskich modeli szczególne znaczenie ma także dostępność lokalna. Część rozwiązań można uruchomić na własnej infrastrukturze, co pozwala zwiększyć kontrolę nad danymi. Nie oznacza to jednak, że każdy model nadaje się do pracy na zwykłym komputerze.

Znaczenie mają liczba parametrów, format modelu, poziom kwantyzacji, dostępna pamięć RAM lub VRAM oraz oczekiwana szybkość działania. Model może być technicznie możliwy do uruchomienia, ale zbyt wolny do praktycznej pracy.

Wybierając model dla organizacji, należy więc brać pod uwagę nie tylko wynik benchmarku, lecz także koszt infrastruktury, licencję, możliwość wykorzystania komercyjnego, poufność danych, jakość języka polskiego oraz dopasowanie do konkretnego procesu.

Właśnie z tego powodu AI-TOP.PL rozwija osobny obszar poświęcony polskim modelom LLM. Celem nie jest wskazanie jednego narodowego zwycięzcy, lecz uporządkowanie informacji o dostępnych modelach, ich wersjach, przeznaczeniu i sposobie dystrybucji.

W zestawieniu mogą pojawiać się między innymi modele z rodzin Bielik, PLLuM oraz inne rozwiązania rozwijane z myślą o języku polskim. Każdy z nich może posiadać kilka wariantów, dlatego ważne jest rozdzielenie rodziny modelu od konkretnego wydania.

Ranking powinien być traktowany jako narzędzie do przygotowania krótkiej listy kandydatów, a nie jako automatyczna rekomendacja wdrożenia.

Po zawężeniu wyboru modele należy sprawdzić na własnym zestawie danych. Test powinien obejmować rzeczywiste dokumenty, pytania i sytuacje charakterystyczne dla danego procesu. Warto oceniać nie tylko poprawność odpowiedzi, ale również stabilność wyników, liczbę błędów, szybkość oraz koszt wymaganej infrastruktury.

Najlepszy polski model nie musi być modelem, który osiągnął najwyższą średnią w ogólnym rankingu.

Może nim być model, który najlepiej rozumie dokumenty konkretnej organizacji, działa lokalnie na dostępnej infrastrukturze, posiada odpowiednią licencję i generuje wynik możliwy do zweryfikowania przez człowieka.

To przesuwa dyskusję z poziomu patriotycznego kibicowania technologii na poziom dojrzałej analizy.

Polskie modele AI są ważnym elementem rynku, ale ich wartość nie powinna być budowana wyłącznie na medialnych deklaracjach o pokonaniu zagranicznej konkurencji.

Najważniejsze pytanie nie brzmi: który polski model wygrał ranking?

Znacznie ważniejsze pytanie brzmi: który model, w jakiej wersji i do jakiego procesu rzeczywiście tworzy wartość?