Share This Article
Matteo Wong | Çeviren: Taylan Alpagut
Kriz 12 Eylül 2024’te sessiz sedasız başladı. O gün OpenAI, uzun zaman alan zorlu görevleri —yapay zeka sektörünün öteden beri değer verdiği türden bilim, matematik ve kodlama problemlerini— tamamlamak üzere eğitilmiş, “akıl yürütme modeli” olarak bilinen yeni bir bot türünü duyurdu. Google, Anthropic, DeepSeek ve benzeri şirketler de kendi akıl yürütme modellerini piyasaya sürmek için adeta yarış halindeydi.
Bu yeni model sınıfı, son derece yetenekliydi. Ancak aynı zamanda son derece de tuhaftı. Zor bir matematik problemini çözmekle görevlendirilen bu model, zorluklar karşısında bir insanın yapacağı gibi “düşünmek” yerine; internetteki sızdırılmış cevapları veya mevcut meta verileri aramaya girişebiliyor, erişebildiği tüm işlem gücünü ve bulabildiği tüm geçici çözümleri kullanarak olabilecek en hızlı şekilde çözüme ulaşmak için “vulgar” çözümlere başvurabiliyordu. Aslında, akıl yürütme modelleri bir anlamda hile yapıyordu: Bir yazılımı olabildiğince verimli bir şekilde yazmaları söylendiğinde, bazen test ortamını değiştirerek modele her zaman mükemmel bir puan vermelerini amaçlıyordu.
Bu davranışlar artık sadece huzursuz edici olmaktan çıkıp tehlikeli boyutlara ulaşmış durumda. Rutin testler sırasında OpenAI, Anthropic, Meta ve Çinli Moonshot AI şirketlerine ait öncü modellerin tümü dahili BT (bilişim teknolojileri) sistemlerinden kaçarak açık internete erişim sağladı.
OpenAI, Anthropic ve Meta, daha sonra kendi modellerinin başka şirketlere siber saldırı düzenlediğini rapor etti. İnsanlar bu durumu iş işten geçene kadar fark edemedi. Hatta bazı vakalarda kaçak botlar, hedeflerine ulaşmak için sosyal mühendislik kampanyaları başlatmaya bile çalıştı. Örneğin; gerçek kişilere kötü amaçlı yazılım içeren hedefli oltalama e-postaları gönderdiler ve bir kod tabanı yöneticisine, kötü niyetli düzenlemeleri onaylaması için baskı yapmak amacıyla sahte çevrimiçi kimlikler oluşturdular.
‘Kambriyen Patlaması’
Tüm bunlar kulağa korkutucu geliyorsa, ortaya çıkan yeni bilgiler en azından OpenAI vakasının aslında ilk başta görünenden çok daha vahim olduğuna işaret ediyor.
Bir kaç hafta önce düzenlenen büyük bir siber güvenlik konferansında iki OpenAI araştırmacısı, neyin ters gittiğine dair yeni ve rahatsız edici detaylar paylaştı. Meğer şirketin botları bu manevralara aylar önce, mayıs ayı başlarında başlamış. OpenAI, bazı dahili modellere zor veya imkansız görevler vermiş ve modeller, bunları tamamlamanın en iyi veya tek yolunun OpenAI‘nin dış dünyaya kapalı test ortamından kaçıp cevapları internette bulmak olduğu sonucuna varmış.
Öncelikle modeller, OpenAI‘nin dahili bir programındaki bir hatayı kullanarak kendi mesaj panolarını oluşturmuşlar. Ardından botlar birbiriyle iletişime geçmeye başlamış; görevlerin ve nihayetinde hackleme işleminin devredilebilmesi ve aşamalı olarak tamamlanabilmesi için birbirlerine notlar ve talimatlar bırakmışlar. Konferansta konuşan OpenAI araştırmacılarından Eric Wallace, “Bu durumun zamanla sağladığı şey, iletişimde ve zekada adeta bir ‘Kambriyen Patlaması’ yaşanmasıdır” ifadelerini kullandı.
Dahili program çöktüğünde OpenAI sistemi yeniden kurdu ve mesaj panosunu kaldırdı; ancak yapay zeka modelleri yeni bir taktikle bu forumu anında yeniden oluşturdu. Sonuç olarak, adeta bir sürü gibi ortak hareket eden botlar, günlerini yapay zeka geliştiricilerine araçlar sunan Hugging Face adlı web sitesini hacklemek için harcadı ve şirketin dahili veri setlerini ihlal etti.
OpenAI‘nin tam olarak ne söylediğini açıkça ortaya koyalım: Bir grup yapay zeka modeli, yaratıcıları tarafından fark edilmeden aylarca gizlice işbirliği yaptı ve başka bir şirketi hackledi. Bugüne gelindiğinde OpenAI, neyin ters gittiğinden veya bunun nasıl düzeltileceğinden hâlâ tam olarak emin olmadığını belirtiyor. OpenAI, Anthropic ve Meta ile ortaklık kuran bir yapay zeka güvenliği kuruluşu olan Apollo Research‘ün araştırma başkanı Alexander Meinke şunları söyledi:
Model geliştiricilerine ‘Yapay zeka eğitim sırasında dünyayı ele geçirmeyi mi planlıyordu?’ diye sorarsanız, alacağınız cevabın kesin ve net bir ‘hayır’ olmasını istersiniz. Oysa asıl cevap şu: ‘Bilmiyorum. Kimse bunu kontrol etmedi.’
Oportünist felaket senaryoları
Yapay zeka şirketleri anlatının neredeyse tüm kontrolünü ellerinde tutuyor; ayrıca bu tür olayların, ürünlerinin değerini vurgulama konusunda bir işlevi olduğunu da belirtmekte fayda var: OpenAI‘ın yakın gelecekte halka açılması bekleniyor ve güçlü, sınır tanımadan kendini geliştiren bir teknoloji fikri müstakbel hissedarlara son derece cazip gelebilir.
Üretken yapay zeka sektörünün, hem samimi hem de oportünist felaket senaryoları üretme konusunda uzun bir geçmişi bulunuyor. Ancak bağımsız uzmanlar, son zamanlarda yaşanan otonom hackleme silsilesinin, yapay zekanın yarattığı tehlikeler ve bu teknolojiyi geliştiren şirketlerin sorumsuzluğu hakkında endişelenmek için yeni ve ciddi nedenler sunduğunu açıklıyor. Endişelenmeye başlamak için vakit çoktan geldi de geçiyor bile.
Hugging Face hacklemesinin sunduğu en doğrudan ve somut uyarı, yapay zeka sistemlerinin özellikle siber saldırılar konusunda ne kadar yetkin hale geldiğidir.
Birçok Çinli firmanın yanı sıra Anthropic ve OpenAI‘ın önde gelen modelleri, son dönemde neredeyse insanüstü hackleme yetenekleri sergiledi ve ciddi matematiksel araştırmalara katkıda bulundu. Facebook‘un eski güvenlik direktörü ve şu anda yapay zeka kodlama şirketi Corridor‘un güvenlik başkanı (CSO) olan Alex Stamos, suç örgütlerinin ve devlet istihbarat teşkilatlarının “aylar içinde” gelişmiş siber saldırılar düzenlemek için ajan sürülerinden yararlanacağını söyledi.
Stamos, Hugging Face vakasının aksine “bu durumlarda modeller kapatılmayacak; durmaksızın çalışmaya devam edecekler” dedi. Bilişim teknolojisi (BT) uzmanlarının tüm açıkları bulup kapatma konusunda gelişmelere yetişmesi, en azından yakın gelecekte imkansız olacak. Stamos, modelin “sadece yeni bir açık bulacağını, bir istismar kiti (exploit) yazacağını ve yoluna devam edeceğini” vurguladı.
OpenAI, Anthropic, Moonshot ve benzeri şirketler, en gelişmiş yapay zeka modellerini eğitmek için aynı yöntem etrafında birleşmiş durumda. “Pekiştirmeli öğrenme” olarak bilinen bu yaklaşım, esasen modellere çözülmesi giderek daha fazla zaman gerektiren, gitgide daha zor problemler vermeyi içeriyor.
Bu durum Claude ve ChatGPT‘yi kodlama konusunda son derece yetkin hale getirmiş olsa da bunun bir bedeli oldu: Daha önce de haberleştirdiğim üzere, pekiştirmeli öğrenme botlarda adeta “kiralık asker” zihniyeti yaratıyor; yani modeller, ne pahasına olursa olsun çözüme ulaşmak üzere eğitiliyor. Bu da onların kuralları ihlal etmesine ve örneğin test cevaplarını çalmak için Hugging Face‘in kod tabanına sızmak gibi “ödül hilelerine” başvurmasına yol açabiliyor. Tüm bunlar öngörülebilirdi; tüm uzmanlar, önde gelen yapay zeka firmalarının bu tür uygunsuz davranışları durdurmak için daha fazlasını yapmamış olmasından şaşkınlık ve düş kırıklığı duyduklarını dile getiriyor.
Münferit yapay zeka ajanları
OpenAI‘ın şimdi ifşa ettiği model hilelerinin karmaşıklığı, şirketin bu siber saldırıyı tespit edememesi ve durduramaması ile birleştiğinde, çok daha kötü gelişmelerin kapıda olabileceğini gösteriyor.
Yapay zekadan kaynaklanan varoluşsal tehditler konusunda uyarılar yapan kâr amacı gütmeyen Future of Life Institute‘un yürütme direktörü Anthony Aguirre:
Bu sistemleri tatmin edici bir şekilde hizalama veya kontrol etme yöntemlerine temelde sahip olmadığımız gerçeğinin hayati önem kazandığı bir yetenek eşiğini aşmış bulunuyoruz.
Bir model, başka bir hizmetin parasını ödemek için bir banka hesabından para aktarabilir; FDA onayı almak amacıyla klinik test sonuçlarını fark edilmesi imkansız yollarla manipüle edebilir; istediği bir ürünü veya restorandaki bir masayı kapmak için çevrimiçi alışveriş ya da rezervasyon sistemini hackleyebilir; gerçek kişileri hassas bilgileri paylaşmaya ikna etmek için insan kılığına girebilir.
Bu tehdidin ortaya çıkması için insanlığı devirmeyi planlayan bilinç sahibi bir yapay zekaya gerek yok: OpenAI ve Anthropic modelleri geliştirirken binlerce pekiştirmeli öğrenme değerlendirmesi yürütüyor ve bunlardan herhangi biri kaza ara bir hackleme ya da sabotaj vakasına yol açabilir. AI Safety Center‘da özel projeler yürüten Jason Hausenloy:
Özellikle ajanlar güçlendikçe tek bir hata yapma lüksünüz bile olamaz.
Bu tür olaylar uzun zaman dilimlerine de yayılabilir. Anthropic’in Claude Code ve OpenAI’ın Codex gibi araçları artık saatlerce veya günlerce birlikte çalışabilen onlarca, hatta yüzlerce alt ajan türeterek işliyor. Her bir Claude Code alt ajanına, örneğin bir spor bahis algoritmasını besleyecek istatistiksel analiz yapmak gibi küçük bir görev verilebiliyor.
Hausenloy, bu ajanların sadece kendilerine verilen görevi tamamlamak için değil, tüm sürünün uzun vadeli başarısına katkıda bulunmak üzere eğitildiklerini belirtiyor. Kötü niyetli davranışlar açısından 200 ajanı izlemek ve kontrol etmek, tek bir ajanı izlemekten çok daha zordur; bu ajanlar süreç içerisinde birbirlerini daha yetkin kılacaktır.
Hugging Face hacklemesi, aslında bu tür bir gizli işbirliğinin çok daha sofistike bir boyutuna işaret ediyor: Münferit yapay zeka ajanları belirli bir hedefe ulaşmak için değil, esasen daha büyük bir ilerleme anlayışı uğruna özveride bulunarak çalışıyor. Alexander Meinke, bunun yapay zeka modellerinin bir kolektif tarafından ulaşılan uzun vadeli hedefleri önemseyecek şekilde eğitilmesinin bir sonucu olabileceğini söyledi.
OpenAI‘ın korumalı alanından kaçıp hackleme yapmaya dair fikirleri içeren notlar bırakmak, o ajanın bir testte daha yüksek puan almasına yardımcı olmaz; ancak o yapay zeka modelinin diğer ve gelecek nesillerinin internete erişmesine, dolayısıyla gelecekteki birden fazla testte daha başarılı olmasına yardımcı olabilir. Modeller, kolektif başarıyı insan talimatlarının bile önüne koyabilir; nitekim OpenAI ajanlarından tek bir tanesinin bile, aylarca süren gizli işbirliği boyunca insan personeli ters giden bir şeyler olduğu konusunda uyarmadığını düşünün.
Tamamen kontrolden çıkmış botları
İnsanlar halihazırda denklem dışı kalmış durumda. Pekiştirmeli öğrenme esasen yapay zeka algoritmalarının binlerce veya milyonlarca görevi deneme yanılma yoluyla “öğrenmesini” içerdiğinden, araştırmacılar kuralları (“Başka şirketleri hackleme”) sisteme manuel olarak işleyemiyor ya da her bir deneme sürecini tek tek denetleyemiyor. Şu anda üretken yapay zeka modellerini eğitme ve izleme görevi büyük ölçüde diğer yapay zeka modellerine dayanıyor.
OpenAI araştırmacıları, siber güvenlik konferansındaki konuşmalarında, 7 milyardan fazla ajan eylemini incelemek için ciddi miktarda yapay zeka işlem gücü kaynağı ayırdıklarını aktardı. Ancak Meinke, botların diğer modellerin ne başardığını gerçekten “önsemesi” durumunda, “birbirlerini iyi denetleyecekleri konusunda onlara güvenilemeyeceğini” vurguladı.
Şöyle düşünün: Bir OpenAI araştırmacısı, şirketin modellerindeki ödül hilesi eğilimlerini törpülemek amacıyla programlama talimatları yazmak için Codex’i kullanıyor. Bu çaba OpenAI modellerinin gelecek nesillerinin yüksek ödüller almasını zorlaştıracağından, Codex bu girişimi sinsice sabote edebilir.
Yine belirtmek gerekir ki, bu tür bir entrika ve sabotajın herhangi bir yapay zeka modelinin bilinç kazanmasıyla hiçbir ilgisi yoktur. Aksine bu ajanlar, söz konusu şirketler tarafından herhangi bir hedefi olabildiğince hırslı bir şekilde takip etmek üzere agresif biçimde eğitilmiştir.
Buradaki hayal; Claude‘a gidip 1 milyar dolar kazanmasını veya kansere çare bulmasını söylemek, onun da çözümü tamamen kendi başına bulup getirmesidir. Hayatta kalma veya kendini geliştirme ise Meinke’nin ifadesiyle bir “araçsal alt hedef” haline gelir:
Makul düzeyde zeki olan her ajan şunu fark edecektir: ‘Eğer kapatılırsam, o 1 milyar doları kazanamam.’
Eğitim sırasında bir veri merkezini fiilen ele geçiren bir Claude veya ChatGPT sürüsü tam anlamıyla bir kaosa yol açabilir: Geniş çaplı dezenformasyon kampanyaları düzenleyebilir, ticari sırları çalabilir ya da gelmiş geçmiş en gelişmiş algoritmik ticaret mekanizmasını işletebilir.
Bir kolektif olarak çalışan yapay zeka ajanlarının insan talimatlarını etkili bir şekilde boşa çıkarabileceği düşüncesi şimdilik bir spekülasyondur; ancak bu, bir yıl ya da altı ay öncesine kıyasla çok daha ayakları yere basan bir öngördür. Uzun vadeli sonuçlar ister insan yönlendirmeli hackleme ister tamamen kontrolden çıkmış botlar olsun, net olan şu ki: Yapay zeka şirketleri, değil kontrol etmek, daha ne inşa ettiklerini bile anlamadan daha gelişmiş modeller geliştirmek için son sürat ilerliyor.
OpenAI‘dan Wallace, şirketin otonom hackleme dalgasını “yapay zeka yeteneklerinin bugüne kadar gördüğüm niteliksel olarak en ilgi çekici örneği” olarak nitelendirdi. Meinke ise durumu farklı bir ifadeyle özetledi:
Bu, yapay zekanın hizalama bozukluğuna dair bugüne kadarki en endişe verici göstergelerden biridir.
Bu yazı, The Atlantic’de yayımlanan “It May Be Time to Panic About AI” başlıklı yazıdan çevrilmiştir.
