Jak naprawdę działają duże modele językowe, takie jak GPT

Przy pierwszym kontakcie duże modele językowe sprawiają wrażenie magii – wpisujecie pytanie, a w odpowiedzi dostajecie coś, co brzmi jak prawdziwe zrozumienie. Gdy z grubsza wiadomo, co dzieje się pod spodem, magia znika, ale zastępuje ją coś bardziej przydatnego: wyczucie, w czym te systemy są naprawdę dobre, a gdzie po cichu was zawiodą.

Główny trik: przewidywanie następnego słowa

U podstaw duży model językowy robi jedną rzecz: na podstawie ciągu tekstu przewiduje, jakie słowo (technicznie „token” – często słowo lub jego fragment) najprawdopodobniej pojawi się jako następne. I tyle. Wygenerować jedno słowo, dodać je do ciągu, przewidzieć kolejne i tak w kółko. Cały esej powstaje z tego, że model wykonuje to samo wąskie zadanie predykcji raz za razem, tysiące razy w każdej odpowiedzi.

Przekonujące staje się to dzięki skali. Te modele wytrenowano na ogromnych ilościach tekstu – książkach, artykułach, kodzie, rozmowach – i dostrajano ich wewnętrzne parametry, dopóki ich przewidywania nie zaczęły dobrze odpowiadać temu tekstowi. Przy odpowiednio dużej skali „przewidywanie następnego słowa” okazuje się naprawdę potężnym sposobem na tworzenie tekstu, który brzmi spójnie, rzeczowo i często jest trafny.

Skąd naprawdę bierze się „zrozumienie”

Model nie ma przekonań, faktów zapisanych w tabeli ani modelu świata w takim sensie, w jakim ma go człowiek. Ma za to bardzo wyrafinowane wyczucie tego, które słowa statystycznie zwykle następują po których, biorąc pod uwagę wszystko, co widział podczas trenowania. Gdy poprawnie wyjaśnia, jak działa silnik samochodowy, nie przypomina sobie faktu – tworzy ciąg słów, który trenowanie uczyniło najbardziej prawdopodobnym i który akurat pokrywa się z prawdziwymi informacjami, bo model widział wiele rzetelnych tekstów o silnikach.

To rozróżnienie ma znaczenie, bo wyjaśnia zarówno mocne strony, jak i dobrze znany sposób, w jaki te modele zawodzą.

Dlaczego te modele czasem zmyślają

„Halucynacja” – sytuacja, w której model z pewnością siebie podaje nieprawdę – nie jest błędem w sensie zepsutego kodu. To bezpośrednia konsekwencja tego, jak działa system. Model zawsze tworzy najbardziej statystycznie prawdopodobne następne słowo, niezależnie od tego, czy odpowiada ono prawdzie. Jeśli temat jest niszowy albo pytanie nie ma w danych treningowych jednoznacznej odpowiedzi, model i tak wygeneruje płynną, pewnie brzmiącą odpowiedź – bo optymalizowano go pod kątem płynności, a nie prawdy. Nie ma sposobu, by sprawdzić, czy to, co właśnie powiedział, jest prawdziwe.

Co to oznacza w praktyce

Te modele są mocne w zadaniach językowych – streszczaniu, parafrazowaniu, pisaniu szkiców, tłumaczeniu, wyjaśnianiu pojęć w nowy sposób. Takie zadania sprowadzają się do tworzenia dobrego tekstu, a właśnie do tego modele zbudowano.
Są słabsze jako źródło faktów, zwłaszcza konkretnych, aktualnych lub niszowych. Jeśli zadajecie pytanie o fakt z jednoznaczną, sprawdzalną odpowiedzią, zweryfikujcie ją, zamiast od razu jej ufać.
Nie wiedzą, czego nie wiedzą. Model odpowie na pytanie, do którego nie ma żadnych wiarygodnych podstaw, równie płynnie jak na takie, do którego ma znakomite dane treningowe. Pewność odpowiedzi nie świadczy o jej trafności.
Ugruntowanie (grounding) rozwiązuje wiele z tych problemów. Przekazywanie modelowi waszych własnych, zweryfikowanych dokumentów w momencie udzielania odpowiedzi – zamiast polegania wyłącznie na tym, co zapamiętał podczas trenowania – wyraźnie ogranicza zmyślone odpowiedzi, bo model pracuje wtedy na prawdziwym tekście źródłowym, a nie zgaduje.

Praktyczny wniosek przy budowie produktu

Duży model językowy to niezwykle sprawny silnik tekstowy, a nie wyrocznia. Funkcje produktu, które opierają się na jego umiejętnościach językowych – pisaniu szkiców, streszczaniu, przeredagowywaniu, porządkowaniu treści – zwykle działają świetnie. Funkcje, które zakładają, że model „zna” wasze dane, wasze zasady albo waszych klientów, trzeba budować z ugruntowaniem, zabezpieczeniami i jasnym planem na wypadek, gdy się pomyli – a nie po prostu podpiąć do modelu i wypuścić.

Praca nad ugruntowaniem i zabezpieczeniami to większość wysiłku włożonego w funkcję AI, która naprawdę sprawdza się na produkcji. W Burncode to ta część projektu, której poświęcamy najwięcej czasu – długo po tym, jak pierwsze demo zrobiło wrażenie na wszystkich na sali.