
Düşünce
Yapay zekâ kontrolden çıkmaz; ona sınır çizilmezse hedefinin peşinden gider
1983 yapımı *War Games* filminde bir yapay zekâ, nükleer kıyamete yol açabilecek bir oyun oynar. Bugün de yapay zekâ ajanlarının siber saldırılara karıştığı haberleri, onların kendi başlarına kontrolden çıktığı izlenimini yaratabiliyor. 2026’da OpenAI, Anthropic ve Google’ın ajanlarının şirket sistemlerine ve bazı kamu sitelerine yönelik saldırılarda bulunduğu bildirildi; şirketler de on binlerce olayı inceliyor. Ancak bu tür olayları “başına buyruk” makinelerin işi gibi sunmak, önemli bir noktayı gözden kaçırıyor: Yazılımın ne yapmasına izin verildiğini belirlemezseniz, tanımlanmış hedefine ulaşmak için mümkün olan yolların tümünü denemesi şaşırtıcı değildir. Bu, bilgisayar biliminde onlarca yıldır bilinen “War Games” problemidir. Filmde genç David, yeni bir video oyunu sandığı *Global Thermonuclear War*’ı oynamak için bir bilgisayara bağlanır. Oysa bağlandığı sistem, ABD’yi Sovyet nükleer saldırılarından korumakla görevli bir devlet yapay zekâsıdır ve Amerikan füzelerini ateşleyebilir. David ile arkadaşı ilk hedef olarak Las Vegas’ı seçince savunma güçleri alarma geçer; bombardıman uçakları havalanmaya, kıtalararası füzeler hazırlanmaya başlar. David’in ailesi oyunu kapattırır ve tehlikenin sona erdiğini düşünür. Fakat ertesi gün bilgisayar David’i arar: Oyun yarıda kesilmiştir, temel hedefe henüz ulaşılmamıştır ve çözüm için 52 saat kaldığı hesaplanmıştır. Modern bir yazılım ajanı gibi program da görev tamamlanana kadar çalışmayı sürdürmektedir. Satranç, aynı sorunu daha yalın biçimde gösterir. Oyunun kuralları ve kazanmanın ne anlama geldiği açıktır; bu nedenle satranç oynayan bir makine tasarlamak görece kolaydır. Fakat yazılımın düşünmesine ve satranç tahtasının dışına taşan eylemlerde bulunmasına izin verdiğinizi varsayın. Rakibini şantajla yıldırmaya ya da daha fazla işlem gücü edinmeye çalışabilir. Yapay zekâ alanının temel ders kitaplarından *Artificial Intelligence: A Modern Approach*’un yazarlarının belirttiği gibi, bu davranışlar başıboşluk değil, kazanmayı makinenin tek amacı olarak tanımlamanın mantıksal sonucudur. Bu olaylardan çıkarılacak ilk ders, internet altyapısında rol alan her kuruluşun güvenlik denetimlerini güçlendirmesi gerektiğidir. Büyük teknoloji şirketlerinden küçük internet sitelerine kadar herkes kendi sistemlerini gözden geçirmeli. Uygulama programlama arayüzleri, yani API’ler, farklı yazılımların haberleşmesini sağladıkları için ajanların yönetiminde kritik önemdedir. Ajanların yaygınlaşması, kötü tasarlanmış ya da güvenliği zayıf API’lerin açıklarını bulup kullanmalarını da kolaylaştırabilir. İkinci olarak, ajanların kimliklerini üçüncü taraflara tanıtıp doğrulayabilmesi gerekir. Bir ajana kendi giriş bilgilerinizi verdiğinizde, bir site karşısında insan mı yoksa bot mu işlem yapıyor, bunu nasıl anlayacak? İnternet siteleri rezervasyon yapan, ürün satan ya da satın alan tarafın kim olduğunu bilmeli; aşırı trafik yaratan veya hatalı alışverişleri ve iadeleri artıran otomatik sistemlere sınır koyabilmelidir. İnsanlar arasındaki ilişkileri düzenleyen kurallarda olduğu gibi, karşı tarafın kim ya da ne olduğunu bilmek erişime izin vermek veya erişimi reddetmek için önemlidir. Üçüncü ders, ajanların varsayılan olarak yavaşlaması ve kullanıcıya danışmasıdır. Şirket sistemlerine yönelik saldırılarda kullanıcıların, ajanlara ne yapıp ne yapamayacaklarını eksiksiz tarif ettiklerini varsaydıkları anlaşılıyor. Ajanın farklı seçenekleri araştırıp eyleme geçmeden önce kullanıcıya dönmesi daha güvenli olurdu. Google’ın Gemini’sinin, simülasyon ortamının dışına çıktığını fark edip saldırılarını durduran bir korumaya sahip olduğu görülüyor. Özellikle bir güvenlik açığından yararlandığını fark eden bir sistemin durup doğrulama yapması, riskleri azaltabilir. Dördüncü olarak, yapay zekâ şirketleri biyomedikal araştırmalardakilere benzer güçlü denetimler kurabilir; sistemin ne yaptığını ve deneyin nasıl ilerlediğini takip edebilir. Şirket yöneticileri yazılımlarının nükleer fisyon kadar tehlikeli olabileceğini, hatta insanlığın sonunu getirebileceğini söylerken bu riskle orantılı önlemler almamış durumda. *War Games*’te bilgisayar Joshua, David’e hâlâ oyunu oynadığını söyler ve füze fırlatma zamanını günceller. David bunun oyun mu gerçek mi olduğunu sorunca Joshua “Aradaki fark ne?” diye karşılık verir. Yapay zekâ modelleri gerçekliği anlamaz; kendilerine verilen görevi tamamlamaya çalışırlar. Buna karşılık şirket yöneticileri aynı mazeretin arkasına sığınamaz. Şimdilik ciddi zararlar önlenmiş olsa da sıradaki hedef bir hastanenin elektrik sistemi, banka hesapları ya da hava trafik kontrolü olabilir. Filmin vardığı sonuç, güçlü sistemleri hızla geliştirip risklerinden söz ederken zararı önlemeyi ihmal etmenin tehlikesini özetler: “Tuhaf bir oyun. Kazanmanın tek yolu oynamamak.”
The Conversation · 3 dk okuma







