GPT kimi böyük dil modelləri əslində necə işləyir

Böyük dil modelindən ilk dəfə istifadə edəndə bu, sehr kimi görünür — sual yazırsınız və cavab olaraq həqiqi anlayışa bənzəyən bir şey gəlir. Daxildə təxminən nə baş verdiyini bildikdən sonra sehr yox olur, lakin onu daha faydalı bir şey əvəz edir: bu sistemlərin əslində nədə güclü olduğunu və harada sizi səssizcə yarı yolda qoyacağını anlamaq.

Əsas fənd: növbəti sözün proqnozlaşdırılması

Mahiyyət etibarilə böyük dil modeli bir iş görür: verilmiş mətn ardıcıllığına əsasən növbəti hansı sözün (texniki dillə desək, «token»in — çox vaxt söz və ya sözün bir hissəsi) gəlmə ehtimalının ən yüksək olduğunu proqnozlaşdırır. Vəssalam. Bir söz yarat, onu ardıcıllığa əlavə et, növbətini proqnozlaşdır, təkrarla. Bütöv bir esse modelin hər cavabda minlərlə dəfə eyni dar proqnozlaşdırma tapşırığını yerinə yetirməsi nəticəsində yaranır.

Bunu inandırıcı edən miqyasdır. Bu modellər nəhəng həcmdə mətn — kitablar, məqalələr, kod, söhbətlər — üzərində öyrədilib və proqnozları həmin mətnə yaxşı uyğun gələnə qədər daxili parametrlərini tənzimləyib. Bunu kifayət qədər böyük miqyasda edin və «növbəti sözü proqnozlaşdır» ardıcıl, məlumatlı və çox vaxt dəqiq görünən mətn yaratmaq üçün həqiqətən güclü fəndə çevrilir.

«Anlayış» əslində haradan gəlir

Modelin insandakı kimi inancları, axtarış cədvəlində saxlanan faktları və ya dünya haqqında təsəvvürü yoxdur. Onda olan şey öyrədilmə zamanı gördüyü hər şeyi nəzərə alaraq, statistik olaraq hansı sözlərin hansı sözlərdən sonra gəlməyə meylli olduğuna dair çox incə hissdir. O, avtomobil mühərrikinin necə işlədiyini düzgün izah edəndə faktı xatırlamır — öyrədilməsinin ən ehtimal etdiyi söz ardıcıllığını yaradır və bu ardıcıllıq düzgün məlumatla üst-üstə düşür, çünki model avtomobil mühərrikləri haqqında çoxlu dəqiq mətn görüb.

Bu fərq vacibdir, çünki həm güclü tərəfləri, həm də hamıya məlum olan nasazlıq rejimini izah edir.

Bu modellər niyə bəzən uydururlar

«Halüsinasiya» — modelin yanlış bir şeyi inamla bəyan etməsi — xarab kod mənasında xəta deyil. Bu, sistemin işləmə prinsipinin birbaşa nəticəsidir. Model həmişə statistik baxımdan ən inandırıcı növbəti sözü yaradır, həmin sözün həqiqətə uyğun olub-olmamasından asılı olmayaraq. Mövzu az tanınmışdırsa və ya öyrətmə verilənlərində sualın aydın faktiki cavabı yoxdursa, model yenə də rəvan, inamlı səslənən cavab yaradacaq — çünki o, həqiqət üçün yox, rəvanlıq üçün optimallaşdırılıb. Onun indicə dediyinin real olub-olmadığını yoxlamaq imkanı yoxdur.

Bu, praktikada nə deməkdir

• Bu modellər dil tapşırıqlarında güclüdür — xülasələşdirmə, yenidən ifadə etmə, qaralama hazırlama, tərcümə, anlayışı yeni şəkildə izah etmə. Bu tapşırıqların mahiyyəti yaxşı mətn yaratmaqdır — onlar da məhz bunun üçün yaradılıb.
• Fakt mənbəyi kimi isə daha zəifdirlər, xüsusən də konkret, yeni və ya dar sahəyə aid hər şeydə. Aydın, yoxlanıla bilən cavabı olan faktiki sual versəniz, ona birbaşa etibar etməyin — yoxlayın.
• Onlar bilmədiklərini bilmirlər. Model etibarlı əsası olmayan suala da əla öyrətmə verilənlərinə malik olduğu suala cavab verdiyi qədər rəvan cavab verəcək. Cavabdakı inam dəqiqliyin göstəricisi deyil.
• Kontekstə bağlama (grounding) bunun çoxunu həll edir. Modelə yalnız öyrədilmə zamanı yadda saxladıqlarına arxalanmaq əvəzinə, cavab verdiyi anda sizin öz yoxlanılmış sənədlərinizi təqdim etmək uydurma cavabları kəskin azaldır, çünki model artıq təxmin etmək əvəzinə real mənbə mətnə əsaslanır.

Məhsul yaradarkən praktik nəticə

Böyük dil modeli kahin deyil, son dərəcə bacarıqlı mətn mühərrikidir. Onun dil qabiliyyətinə əsaslanan məhsul funksiyaları — qaralama, xülasə, yenidən yazma, strukturlaşdırma — adətən əla işləyir. Onun sizin verilənlərinizi, qaydalarınızı və ya müştərilərinizi «bildiyini» fərz edən funksiyalar isə sadəcə modelə qoşulub istifadəyə verilməməli — kontekstə bağlama, qoruyucu məhdudiyyətlər və model səhv etdikdə nə baş verəcəyinə dair aydın planla qurulmalıdır.

Canlı mühitdə həqiqətən davam gətirən Sİ funksiyası yaratmağın əsas hissəsi məhz kontekstə bağlama və qoruyucu məhdudiyyətlər üzərində işdir — Burncode-da bu, ilkin demo otaqdakı hər kəsi heyran etdikdən xeyli sonra, layihədə ən çox vaxt ayırdığımız hissədir.