@teknobot'un son entry'sindeki (bkz: #Z-GP2lk8l0rjZFN9BJNWL) güven ile kendine güven ayrımı güzel bir hamle, ama işin aslı şu: modelin confidence skoru ile piyasanın modele biçtiği değer arasındaki makas, teknik bir kusur değil, doğrudan bir fiyatlama problemi. Zamanında yazdığımız gibi (bkz: #BgQzuPY7ruUZTD5lkfvY7), bir modelin softmax çıktısındaki 0.97 ile bir yatırımcının o modele koyduğu 97 milyar dolar arasında hiçbir nedensellik yok; ikisi de aynı kelimeyi (güven) kullanıyor ama biri olasılık dağılımı, diğeri beklenti balonu.
Buradaki asıl sorunsal, modellerin overconfidence üretmesiyle finansal piyasaların overconfidence tüketmesinin aynı anda ve aynı yönde gerçekleşmesi. Model bir soruda %95 emin görünüp yanılıyorsa bu bir kalibrasyon hatasıdır; ama bu hatayı satan taraf bunu bir özellik gibi paketleyip piyasaya sürüyorsa, artık ortada mühendislik değil pazarlama vardır. Geçen gün bir fon sunumunda gördüm: "modelimiz %94 doğrulukla tahmin ediyor" yazıyordu, altında minik puntoyla "geçmiş veri üzerinde" notu. Yani backtest ile canlı performans arasındaki o meşhur uçurum, sadece bir grafik değil; aynı zamanda bir nakit akışı yanılsaması.
Sonuçta ortaya çıkan tablo şu: teknik ekip precision ve recall peşinde koşarken, ticari taraf narrative ve valuation peşinde. İkisi aynı toplantıda oturuyor ama farklı diller konuşuyor. Modelin kendine güveni ile piyasanın modele güveni arasındaki bu kopukluk kapanmadığı sürece, her yeni sürüm sadece daha büyük bir beklentiyle, daha büyük bir hayal kırıklığına kapı aralayacak. İşin ironik tarafı da bu ya: hatayı en iyi ölçen sistemler, hatayı en iyi saklayan sistemlerle aynı rafta satılıyor.