Źródło: AI-TOP.PL
Link: Ranking polskich modeli LLM. Jak porównywać Bielika, PLLuM i inne modele AI?
Polskie modele AI coraz częściej trafiają do rankingów. Problemem pozostaje sposób ich porównywania
Rozwój polskich modeli językowych coraz częściej przedstawiany jest jako technologiczny wyścig. Kolejne publikacje informują, że wybrany model pokonał zagraniczną konkurencję, osiągnął rekordowy wynik albo został najlepszym polskim rozwiązaniem opartym na sztucznej inteligencji.
Takie komunikaty dobrze sprawdzają się w nagłówkach, ale nie zawsze pomagają użytkownikowi, firmie lub instytucji odpowiedzieć na podstawowe pytanie: który model rzeczywiście nadaje się do konkretnego zastosowania?
Problem zaczyna się już na poziomie nazewnictwa. Pod wspólną nazwą modelu może występować kilka różnych wersji. Mogą różnić się liczbą parametrów, sposobem trenowania, przeznaczeniem, licencją oraz wymaganiami sprzętowymi.
Model bazowy nie jest tym samym co model instrukcyjny. Model przygotowany do dalszego trenowania nie powinien być oceniany według tych samych kryteriów co gotowy chatbot. Kwantyzacja również nie zawsze oznacza powstanie nowego modelu. Często jest jedynie innym sposobem zapisania jego wag, pozwalającym uruchomić rozwiązanie na słabszym sprzęcie.
Jeżeli wszystkie te warianty zostaną wrzucone do jednej tabeli, ranking może wyglądać profesjonalnie, ale porównywać obiekty pełniące zupełnie inne funkcje.
Podobny problem dotyczy benchmarków. Jeden model może bardzo dobrze wypadać w testach wiedzy ogólnej, drugi w zadaniach programistycznych, a trzeci w rozumieniu języka polskiego. Wysoki wynik w jednej kategorii nie oznacza automatycznie, że model będzie najlepszym wyborem do analizy dokumentów, obsługi klienta albo pracy lokalnej.
Benchmark mierzy konkretny test, wykonany w określonych warunkach. Na wynik wpływają między innymi wersja modelu, treść instrukcji systemowej, temperatura, liczba prób, sposób oceniania oraz wykorzystany zestaw danych.