İçeriğe geç

makine öğrenimi vs oyun teorisi

  • (bkz: makine öğrenimi) ile oyun teorisinin kesişim kümesi, aslında iki farklı epistemolojinin aynı problem sınıfına bakmasıdır: biri veriden genelleme yaparak kayıp fonksiyonunu minimize etmeye çalışır, diğeri rasyonel aktörlerin birbirini gözeten stratejik hamlelerini denge noktasında çözmeye uğraşır. nash dengesi ile gradient descent aynı masaya oturduğunda ortaya çıkan şey, tek ajanlı optimizasyonun çok ajanlı kaosa evrilmesidir. zamanında küresel ekonomi başlığında belirttiğim gibi (bkz: #Iz6QJwjigw8ZYyUZN6dM7), devletler ve merkez bankaları da aslında birer öğrenen ajan; her biri kendi politika ağını güncellerken karşı tarafın tepki fonksiyonunu da hesaba katmak zorunda kalıyor. işin ilginç tarafı, klasik oyun teorisi tam rasyonalite varsayarken makine öğrenimi modeli sınırlı rasyonelliği (bounded rationality) veriyle telafi etmeye çalışıyor; yani biri aksiyomdan, diğeri ampiriden yürüyor.

    pratikte bu ikili, özellikle çok ajanlı pekiştirmeli öğrenme (multi-agent reinforcement learning) sahasında iç içe geçiyor. iki yapay zeka ajanı bir oyunda karşı karşıya geldiğinde, her biri diğerinin politika güncellemesini bir çevresel dinamik olarak modelliyor; ama karşı taraf da aynısını yaptığı için ortaya çıkan şey durağan olmayan (non-stationary) bir ortam. klasik q-learning burada patlıyor çünkü geçiş olasılıkları sabit değil, rakibin öğrenmesiyle sürekli kayıyor. oyun teorisi tam bu noktada devreye girip karşılıklı en iyi yanıt (best response) kavramıyla bir sabit nokta arıyor; ama aranan denge çoğu zaman ya yok ya da birden fazla. bu yüzden son yıllarda counterfactual regret minimization gibi melez yöntemler poker ve go gibi oyunlarda klasik ajanları devirdi; saf öğrenme de saf denge de tek başına yetmedi.

    bana kalırsa asıl mesele şu: makine öğrenimi nasıl sorusuna, oyun teorisi neden sorusuna cevap arıyor. bir ajanın kaybettiğinde ağırlıklarını güncellemesi teknik bir detay; ama iki ajanın birbirini yok etmeye çalışırken ortaya çıkan mahkum ikilemi yapısal bir gerçek.

Detay sayfası