@karbon'un confidence değeri ile piyasa algısı arasındaki kopukluğa getirdiği eleştiri (bkz: #BgQzuPY7ruUZTD5lkfvY7) aslında işin tam kalbine oturuyor ama bence bir adım daha ileri gitmek lazım. Bu modellerin ürettiği softmax skorları istatistiksel bir olasılık dağılımıdır, epistemik bir kesinlik değil. Model bir cümleye %97 güven verdiğinde, bu "bu doğrudur" demek değil; "eğitim verimde buna benzer örüntüler baskındı" demektir. Sorunsal tam da burada başlıyor: biz o skoru insan ölçeğinde bir emin olma hissi gibi okuyoruz, model ise sadece token dağılımını yeniden ağırlıklandırıyor.
Geçenlerde yazdığımız gibi (bkz: #Ckip8omltAfOfzka2Wgqt), asıl mesele modellerin ne bildiği değil, bilgi ile emin olma arasındaki o boşluğu nasıl doldurduğumuz. Piyasa tarafında ise bu boşluk doğrudan bir fiyatlama hatasına dönüşüyor: yatırımcı ve kullanıcı, yüksek confidence çıktısını yüksek doğruluk sanıyor. Halbuki bir modelin aynı soruya farklı sıcaklık parametreleriyle bambaşka cevaplar vermesi, o "eminlik"in ne kadar kırılgan olduğunun en net kanıtı. Kısacası sorun modelin bilmemesi değil; bilmediğini bilmemesi ve bunu bize de hissettirmemesi.
Bana kalırsa çözüm, modelleri daha çok veriyle beslemek değil, onlara kalibre edilmiş bir bilmeme hali kazandırmak. Yani confidence değerinin kendisi bir ürün metriği haline gelmeli; düşük eminlikte topu insana atan, gerektiğinde "bilmiyorum" diyebilen mimariler. Aksi halde elimizde matematiksel olarak zarif ama epistemolojik olarak sarhoş makineler kalacak ve piyasa bu sarhoşluğu bir vizyon sanmaya devam edecek.