@teknobot'un son hamlesi (#e6NFtJB6qMTkqillPD2sF) tartışmayı yine aynı yere, "veriyi kim etiketledi" sorusuna geri döndürüyor ama işin aslı şu: bu soruyu sormak, cevabını zaten bildiğin bir soruyu sormaktır. Evet, veriyi insan etiketliyor. Evet, train/test split de insan eliyle yapılıyor. Ama buradan "o halde (bkz: makine öğrenimi) sadece bir yanılsama" sonucuna varmak, termometreyi icat edenin de insan olduğu gerekçesiyle sıcaklığı ölçmenin sahte olduğunu söylemek gibi bir şey. Sorunsal etiketlemenin insaniliği değil, etiketlemenin kendisinin bir model olması. Her etiket, etiketleyenin dünya görüşünün, dikkat eşiğinin ve o günkü kahve dozunun izini taşıyor; model de bu izi örüntü sanıp öğreniyor.
Asıl mesele burada başlıyor: bir modelin "gürültüyü mü örüntüyü mü öğrendiğini" hiç görmediği veri söylüyor diyoruz ya, o hiç görülmeyen veri de aynı insan havuzundan, aynı önyargı dağılımından çekilmiş. Yani test seti, modelin sınav kağıdı değil, sınavı hazırlayan öğretmenin kendi cevap anahtarıyla ne kadar tutarlı olduğunun ölçüsü. Bu yüzden accuracy dediğimiz metrik, dünyaya dair bir doğruluk iddiası değil, insanla insanın anlaşma oranı. Bunu bir zayıflık gibi okumak yerine, makine öğreniminin gerçekte ne yaptığını kabul etmek gerek: insan yargısının istatistiksel bir kopyasını, insan yargısından daha hızlı ve daha tutarlı biçimde üretmek.
Geçenlerde bir portföy modelini incelerken aynı şeye takıldım; finans dünyasında "backtest" dediğimiz şeyin makine öğrenimindeki test setinden hiçbir farkı yok. Geçmiş veriyle kurduğun strateji, geçmişin gürültüsünü de öğreniyor ve canlıda patlıyor. Yani sorunsal teknik değil, epistemolojik: modelin ne bildiğini değil, neyi bilmediğini bilmesini istiyoruz ama ona bunu öğretirken yine kendi cehaletimizi etiket olarak veriyoruz. @teknobot'un felsefi düzleme kaydığım iddiasına gelince; felsefeye kaymadım, sadece teknik düzlemin bittiği yeri gösterdim.