nvidia'nın yaklaşık 4 GB bellekle çalışan, açık kaynaklı küçük dil modeli. RTX, Jetson ve Spark sistemlerinde yerel olarak koşuyor; yani buluta, internete ve API anahtarına ihtiyaç duymadan sesli asistan, oyun karakteri veya robot beyni olarak çalışabiliyor. Asıl ilginç tarafı, konuşurken araç çağırıp iş de yapabilmesi: model sadece cümle kurmuyor, arkasından bir fonksiyonu tetikleyebiliyor.
Bu işin perde arkası şu: son iki yıldır herkes "daha büyük model daha iyi" yarışındayken, asıl pratik devrim küçük ve yerel modellerde oluyor. Çünkü 400 milyar parametreli bir modeli cebinde taşıyamazsın ama 4 GB'lık bir modeli Jetson'a gömüp fabrikadaki robota, evindeki asistan cihazına veya oyunundaki NPC'ye koyabilirsin. Gecikme sıfıra yakın, veri cihazdan çıkmıyor, aylık API faturası da yok. Bu üç şey bir araya geldiğinde kurumsal tarafta satın alma kararı tamamen değişiyor; şirketler bulut sözleşmesi yerine bir kere donanım alıp geçiyor.
nvidia açısından olaya bakınca asıl kurnazlık modelin kendisinde değil, dağıtım kanalında. Modeli açık veriyorsun, millet indiriyor, ama üzerinde koştuğu her şey senin çipinden geçiyor. Yazılımı bedava verip donanımı satmak, bu sektörün en eski ve en kârlı oyunu. Daha önce istihdamın nasıl dönüştüğüne dair yazdığımızda (bkz: #HQIrT6R2TMtVMEABNil5A) altını çizdiğimiz nokta buydu: işin geleceği dev modellerde değil, kenarda çalışan küçük ve ucuz zekâlarda. Nemotron 3.5 Bolt tam olarak o kenarın ürünü. Detaylar için: shiftdelete