GPT gibi büyük dil modelleri gerçekte nasıl çalışır?

Büyük dil modellerini ilk kullandığınızda sihir gibi gelir: Bir soru yazarsınız ve karşınıza gerçek bir anlayışın ürünü gibi okunan bir cevap çıkar. Altta kabaca neler olup bittiğini öğrendiğinizde sihir kaybolur, ama yerini daha faydalı bir şey alır: Bu sistemlerin gerçekte neyde iyi olduğuna ve sizi nerede sessizce yarı yolda bırakacaklarına dair bir sezgi.

Temel numara: bir sonraki kelimeyi tahmin etmek

Büyük bir dil modeli özünde tek bir şey yapar: Bir metin dizisi verildiğinde, sırada gelmesi en olası kelimeyi (teknik olarak bir “token”ı; çoğu zaman bir kelime ya da kelimenin bir parçası) tahmin eder. Hepsi bu. Bir kelime üret, diziye ekle, bir sonrakini tahmin et, tekrarla. Koca bir makale, modelin bu aynı dar tahmin görevini her cevapta binlerce kez tekrar tekrar yapmasıyla ortaya çıkar.

Bunu ikna edici kılan şey ölçektir. Bu modeller devasa miktarda metinle — kitaplar, makaleler, kodlar, konuşmalar — eğitildi ve tahminleri bu metinlerle iyi örtüşene kadar iç parametreleri ayarlandı. Bunu yeterince büyük ölçekte yaptığınızda “bir sonraki kelimeyi tahmin et” yöntemi, tutarlı, bilgili ve çoğu zaman doğru görünen metinler üretmek için gerçekten güçlü bir numaraya dönüşür.

“Anlama” gerçekte nereden geliyor?

Modelin, bir insandaki gibi inançları, bir arama tablosunda saklanan bilgileri ya da bir dünya modeli yoktur. Sahip olduğu şey, eğitim sırasında gördüğü her şeye dayanarak hangi kelimelerin istatistiksel olarak hangi kelimeleri takip etme eğiliminde olduğuna dair son derece incelikli bir sezgidir. Bir araba motorunun nasıl çalıştığını doğru şekilde açıkladığında bir bilgiyi hatırlamıyordur; eğitiminin en olası kıldığı kelime dizisini üretiyordur. Bu dizi de araba motorları hakkında çok sayıda doğru metin gördüğü için doğru bilgiyle örtüşür.

Bu ayrım önemlidir, çünkü hem güçlü yanları hem de iyi bilinen hata türünü açıklar.

Bu modeller neden bazen bir şeyler uydurur?

“Halüsinasyon”, yani bir modelin yanlış bir şeyi kendinden emin bir şekilde söylemesi, bozuk kod anlamında bir hata değildir. Sistemin çalışma biçiminin doğrudan sonucudur. Model, o kelime doğru bir şeye karşılık gelsin ya da gelmesin, her zaman istatistiksel olarak en makul sonraki kelimeyi üretir. Bir konu az bilinen bir konuysa ya da bir sorunun eğitim verilerinde net, olgusal bir cevabı yoksa, model yine de akıcı ve kendinden emin görünen bir cevap üretir; çünkü optimize edildiği şey doğruluk değil, akıcılıktır. Az önce söylediğinin gerçek olup olmadığını kontrol etmenin bir yolu yoktur.

Bunun pratikteki anlamı

Bu modeller dil görevlerinde güçlüdür: özetleme, yeniden ifade etme, taslak hazırlama, çeviri, bir kavramı yeni bir şekilde açıklama. Görev temelde iyi metin üretmekle ilgilidir ve bu modeller tam olarak bunun için tasarlanmıştır.
Bilgi kaynağı olarak daha zayıftırlar; özellikle belirli, güncel ya da niş konularda. Net ve doğrulanabilir bir cevabı olan olgusal bir soru sorduğunuzda, cevaba doğrudan güvenmek yerine onu doğrulamalısınız.
Bilmediklerini bilmezler. Bir model, hakkında güvenilir hiçbir dayanağı olmayan bir soruyu da, mükemmel eğitim verisine sahip olduğu bir soruyu da aynı akıcılıkla cevaplar. Cevaptaki özgüven, doğruluğun bir işareti değildir.
Grounding (kaynağa dayandırma) bunun büyük kısmını çözer. Modelin yalnızca eğitim sırasında ezberlediklerine güvenmek yerine, cevap verdiği anda ona kendi doğrulanmış belgelerinizi sunmak uydurma cevapları ciddi ölçüde azaltır; çünkü model artık tahmin yürütmek yerine gerçek kaynak metinden çalışır.

Ürün geliştirirken pratik sonuç

Büyük bir dil modeli bir kâhin değil, son derece yetenekli bir metin motorudur. Onun dil yeteneğine dayanan ürün özellikleri — taslak hazırlama, özetleme, yeniden yazma, yapılandırma — genellikle harika çalışır. Verilerinizi, politikalarınızı ya da müşterilerinizi “bildiğini” varsayan özellikler ise yalnızca modele bağlanıp yayına alınmamalı; kaynağa dayandırma, koruma mekanizmaları ve yanıldığında ne olacağına dair net bir planla geliştirilmelidir.

Canlı ortamda gerçekten ayakta kalan bir yapay zekâ özelliği geliştirmenin büyük kısmı da bu kaynağa dayandırma ve koruma mekanizması çalışmasıdır. Burncode'da, ilk demo odadaki herkesi etkiledikten çok sonra bile projenin en çok zaman ayırdığımız kısmı budur.