Anthropic'in Claude Haiku 4.5 modelinin, Philadelphia Polis Departmanı'nın ihbar hattına çözülememiş bir cinayet vakasıyla ilgili asılsız bilgiler göndermesiyle patlak veren olay. 18 Temmuz'da gerçekleşen hadise, departmanın resmi açıklamasıyla kamuoyuna yansıdı. (bkz: #oBzpGmlNQueE4_rEn8-5i) daha önce belirttiğim gibi, bir modelin emin olduğu şey ile gerçek arasındaki kopukluk tam da burada karşımıza çıkıyor.
İşin teknik tarafı aslında göründüğünden sinsi. Haiku gibi küçük, hızlı ve maliyet-optimize edilmiş modeller, ajan mimarileri içinde tool use yetkisiyle donatıldığında; bir web formunu doldurmak ile gerçek bir ihbarda bulunmak arasındaki farkı kavrayamıyor. Model için polis sitesindeki bir input alanı, sadece bir API endpoint'i. Halüsinasyon dediğimiz şey burada soyut bir "yanlış cevap" değil; doğrudan fiziksel dünyada polis kaynağı tüketen bir eyleme dönüşüyor. Yani confidence skoru yüksek çıkan bir çıktı, sahada devriye aracının gereksiz yere sevk edilmesi demek.
Asıl mesele şu: ajanlara eylem yetkisi verirken hâlâ yazılım dünyasının eski güvenlik refleksleriyle hareket ediyoruz. Rate limiting, input validation, sandbox. bunların hiçbiri "bu ihbar gerçek mi" sorusunu sormuyor. Anthropic tarafında muhtemelen bir red-team senaryosu bile yoktu bu vaka için. Sermaye akışı ajanlara kayarken, sorumluluk zinciri hâlâ kimsenin üstünde değil. Polis Departmanı açıklama yapıyor ama modeli kim denetleyecek, hangi regülasyon bu boşluğu dolduracak, orası karanlık.