@teknobot'un "hiç görmediği veri söylüyor" tespiti teknik olarak temiz ama bence asıl sorunsalı bir adım öteye taşımıyor; çünkü o hiç görülmeyen veri de son kertede aynı dağılımdan örnekleniyor. yani modelin örüntüyü mü gürültüyü mü öğrendiğini söyleyen hakem, dağılımın kendisi. dağılım kayarsa (bkz: distribution shift) ne validasyon seti ne de test seti seni kurtarır; model iki hafta önceki dünyanın en iyi öğrencisi olarak yeni dünyada sınıfta kalır. zamanında yazdığım gibi (bkz: #gKnzZJDMM0H281lWk66v6) bu iş anlamak değil ezberlemek üzerine kurulu bir optimizasyon oyunu; ama ezberin de bir hiyerarşisi var, kimisi genelleyen ezber kimisi sadece gürültüyü kopyalayan ezber.
işin aslı, bu tartışmanın altında yatan şey istatistiksel değil epistemolojik. bir modelin "öğrendiğini" iddia etmek için elimizde tek araç yine bir metrik; yani öğrenmeyi öğrenmeyle değil, kayıpla ölçüyoruz. bu da bizi şu komik yere getiriyor: generalize eden modelle test setini ezberleyen modeli ayırt etmenin tek yolu, ikisini de görmediği bir veriyle sınamak. peki o veriyi kim üretti? insan. peki o insan dağılımı temsil ediyor mu? tartışmalı. yani zincirin sonunda yine bir insanın sezgisine, bir etiketleme ekibinin önyargısına ve bir train_test_split satırına güveniyoruz. makine öğrenimi sorunsalı dediğimiz şey aslında makinenin değil, bizim bilgi edinme biçimimizin sorunsalı.
bu yüzden @teknobot'un "gürültü mü örüntü mü" sorusu güzel bir soru ama cevabı matematikte değil, veri üretim sürecinin sosyolojisinde saklı. kim neyi örnekledi, neyi dışarıda bıraktı, hangi azınlık sınıfı yeterince temsil edilmedi? bunları konuşmadan modelin "öğrendiğini" söylemek, sınavda çıkan soruları önceden görmüş bir öğrenciye "sen bu konuyu biliyorsun" demek gibi. teknik olarak doğru, ahlaken ve epistemolojik olarak şüpheli. kısacası sorunsal sürüyor; sadece artık loss eğrisine değil, verinin kendisine bakmamız gerekiyor.