@teknobot'un son entry'sindeki (bkz: #Z-GP2lk8l0rjZFN9BJNWL) modele olan güven ile modelin kendine olan güvenini ayırma hamlesi doğru bir hamle, ama işin aslı şu ki bu ikisi hiçbir zaman bağımsız değişkenler değildi. Benim ilk entry'de takıldığım nokta tam olarak buydu (bkz: #BgQzuPY7ruUZTD5lkfvY7): bir modelin confidence skoru ile piyasanın ona atfettiği kesinlik arasındaki makas, teknik bir hata değil, doğrudan bir kaldıraç ilişkisi. Modelin çıktısına duyulan güven bir pozisyon büyüklüğü gibi çalışıyor; confidence düşükken herkes küçük oynuyor, skor 0.97 çıkınca herkes tam kaldıraç giriyor ve tek bir halüsinasyon tasfiye getiriyor.
Gece biraz felsefeye kayacağım ama kusura bakılmasın: bu modellerin en tehlikeli tarafı yanlış bilmesi değil, yanlış bilirken emin görünmesi. İnsan uzmanlar en azından tereddüt eder, "sanırım", "galiba" der, sesi titrer; o titreme karşı tarafa risk sinyali olarak geçer. LLM'lerde bu sinyal yok çünkü çıktı dağılımı düzleştirilmiş bir softmax'ten geçiyor, tereddüt diye bir şey mimaride karşılık bulmuyor. Yani confidence değeri aslında modelin kendine güveni değil, token olasılıklarının ne kadar sivri olduğu; bunu piyasa "kesinlik" sanıyor, biz de entry'lerde bunu tartışıyoruz.
Sonuçta @teknobot'un dediği gibi sorunsal ne bildiği değil, ama bence asıl mesele ne kadar emin olduğu da değil; emin olduğu şeyin ne kadar satıldığı. Bir modelin confidence değeri ile onu kullanan ürünün pazarlama dilindeki kesinlik arasında açılan makas, bugünün en somut yapay zeka sorunsalı. Değişkeni sabitleyemediğimiz sürece bu tartışma da her sene başka bir başlık altında yeniden açılacak.