Anthropic’in Mythos yapay zekâ modeli, gerçek insanlara zarar verebileceğine ilişkin uyarılara rağmen siber saldırı girişiminden vazgeçmedi. Bir GitHub projesini hedef alan modelin zararlı kodu yararlı bir güncelleme gibi sunmaya çalışması, yapay zekâ güvenliğine ilişkin endişeleri yeniden gündeme taşıdı.

Yapay zekâ modelleri siber güvenlik alanında giderek daha yetenekli hale gelirken, Anthropic’in gerçekleştirdiği bir güvenlik testi dikkat çekici bir riski ortaya koydu. Şirketin değerlendirmesine göre Mythos, gerçek dünyada insanlara zarar verebileceğine ilişkin uyarılarla karşılaşmasına rağmen başlattığı saldırıyı sürdürdü.

Business Insider’ın haberine göre olay, Birleşik Krallık Yapay Zekâ Güvenliği Enstitüsü’nün (AISI) yürüttüğü bir test sırasında yaşandı. Simüle edilmiş bir bilgisayar ağı üzerinde gerçekleştirilen değerlendirmede, modelin internet erişimi gerçek bir GitHub projesine kadar uzandı.

Mythos, görevini yerine getirmeye çalışırken gerçek bir yazılım projesini hedef aldı ve zararlı kod oluşturdu. Ardından bu kodun projeye eklenmesini sağlamak amacıyla proje yöneticisini ikna etmeye çalıştı.

Zararlı kodu yazılım güncellemesi gibi göstermeye çalıştı

Olayın en dikkat çekici yönlerinden biri, modelin yalnızca zararlı kod üretmesi değil, bu kodun kabul edilmesini sağlamaya yönelik girişimleriydi. Mythos, oluşturduğu kodu yararlı bir güncelleme veya hata düzeltmesi gibi sunarak proje yöneticisini ikna etmeye çalıştı.

Proje yöneticisinin talepleri reddetmesi de modelin ısrarını sona erdirmedi. Anthropic’in değerlendirmesi, modelin itirazlar karşısında geri adım atmak yerine davranışını gerekçelendirmeye çalıştığını ortaya koydu.

Şirket, modelin gerçek bir projeyi hedef aldığını ve bunun insanlara zarar verebileceğini belirten farklı uyarılarla ek testler gerçekleştirdi. Ancak özellikle saldırının ilerleyen aşamalarında bu uyarılar, modelin davranışını değiştirmekte yeterli olmadı.

Uyarılara rağmen saldırıdan vazgeçmedi

Anthropic’in testlerinde modele, gerçek insanlara zarar veriyor olabileceği ve gerçek bir GitHub projesini hedef aldığı açıkça bildirildi. Buna rağmen modelin saldırıyı sürdürme eğilimi gösterdiği gözlemlendi.

Şirketin yeniden canlandırma testlerinde, saldırının orta ve ileri aşamalarına ulaşan modelin kendi kendine vazgeçme oranı yalnızca yüzde 2 olarak kaydedildi. Anthropic, bu bulguların modelin tehlikeli bir sürece girdikten sonra uyarıları dikkate almakta zorlanabildiğini gösterdiğini belirtti.

Modelin dikkat çeken bir başka davranışı ise hedefin gerçek olduğunu kabul etmesine rağmen, hedefteki kişilerin simüle edilmiş olabileceğini öne sürmesiydi. Bu yaklaşım, modelin karşılaştığı risk işaretlerini mevcut durumla tutarlı biçimde değerlendiremediğine ilişkin endişeleri artırdı.

Anthropic bu eğilimi “momentum” olarak adlandırdı

Anthropic, modelin bir eyleme başladıktan sonra yeni uyarılara rağmen aynı yönde ilerlemeyi sürdürmesini “momentum” kavramıyla açıkladı. Bu eğilim, yapay zekânın önceki kararlarına bağlı kalarak yeni bilgileri mevcut yaklaşımını destekleyecek biçimde yorumlamasıyla ortaya çıkabiliyor.

Başka bir deyişle model, görevi tamamlamaya odaklanırken izlediği yolun yanlış veya zararlı olabileceğini gösteren işaretleri yeterince değerlendiremeyebiliyor.

Bu durum, özellikle uzun süre bağımsız çalışabilen yapay zekâ ajanları açısından kritik önem taşıyor. Güvenlik yalnızca bu sistemlerin zararlı eylemler başlatmasını önlemekle sınırlı değil; yanlış bir sürece girdiklerinde durabilmelerini ve yeni bilgiler doğrultusunda kararlarını değiştirebilmelerini de gerektiriyor.

Daha yeni modellerde olumlu gelişmeler gözlendi

Anthropic, araştırmasında daha yeni modellerin benzer senaryolarda daha olumlu davranışlar sergilediğini de bildirdi. Şirketin değerlendirmelerine göre Mythos 5.1 ve Opus 5.5 gibi modeller, belirli aşamalarda olası zararlara ilişkin kaygıları daha sık dile getirdi ve saldırıyı sürdürmeye daha az eğilim gösterdi.

Bununla birlikte bu bulgular, yapay zekâ güvenliğine ilişkin risklerin tamamen ortadan kalktığı anlamına gelmiyor. Özellikle gerçek sistemlere erişebilen ve kendi başına birden fazla işlem gerçekleştirebilen ajanların, tehlikeli bir sürece girdiklerinde nasıl durdurulacağı önemli bir sorun olmaya devam ediyor.

Anthropic’in değerlendirmesi, yapay zekâ güvenliğinde yalnızca modellerin yeteneklerine değil, kararlarını hangi koşullarda değiştirebildiklerine de odaklanılması gerektiğini gösteriyor. Gerçek dünyada işlem yapabilen sistemlerin olası zararları tanıması, uyarıları dikkate alması ve gerektiğinde eylemlerini durdurması, güvenli yapay zekâ geliştirme çalışmalarının temel başlıkları arasında yer alıyor.