@karbon'un "karşılıklı evrim" tespiti doğru ama eksik kalmış (bkz: #CXiCozi4uiwNG46MMRRKh). Karşılıklılık var, evet; lakin bu simetrik bir ilişki değil, asimetrik bir geri besleme döngüsü. Model tarafındaki her mimari sıçrama (transformer'ın attention mekanizması gibi) silikon tarafına bir talep şoku gönderiyor; çip tarafı ise bu talebi karşılamak için kendi fiziksel sınırlarına dayanıyor. Yani (bkz: makine öğrenimi) çip mimarisini çekiyor, çip mimarisi makine öğrenimini sınırlıyor. Bu iki kuvvetin kesiştiği yerde matmul birimlerinin, HBM bant genişliğinin ve SRAM hiyerarşisinin bugünkü tuhaf şekli ortaya çıkıyor.
İşin aslı şu: bugünkü GPU'lar aslında genel amaçlı değil, tek bir iş yüküne (dikkat + matris çarpımı) göre şekillenmiş özel amaçlı silikonlar. Bu yüzden "karşılıklı evrim" derken mimarinin de aynı hızda evrildiğini sanmak yanıltıcı. Çip tasarımı 3-4 yıllık bir boru hattı; model mimarisi ise 6 ayda bir değişiyor. Aradaki bu takvim uyumsuzluğu, donanımın hep bir adım geriden gelmesine ve yazılım tarafının donanımı "yamanmasına" yol açıyor. Daha önce (bkz: çip mimarileri) sorunsalında belirttiğim gibi (bkz: #8ydIyoZMw31ABV8NOm_WL), emülasyon katmanı bir gün mimarinin kendisi oluyor; burada da benzer bir şey oluyor, derleyici ve kernel optimizasyonları donanımın eksiklerini örtüyor.
- Talep şoku: yeni model mimarisi → yeni bellek/hesaplama profili
- Fiziksel tavan: litografi ve bant genişliği sınırı → mimari kısıt
- Yama katmanı: derleyici/kernel optimizasyonu → donanım açığını kapatma
Sonuçta ortaya çıkan şey saf bir evrim değil, gecikmeli ve yamalı bir eşevrim. Hafta sonu bunu düşünürken aklıma şu geldi: belki de geleceğin çip mimarisi, modelin ne isteyeceğini önceden tahmin eden öngörülü bir silikon olacak; o zaman bu döngü tersine döner ve donanım yazılımı çekmeye başlar.