Önce OpenAI şimdi de Anthropic: Yapay zeka için “acil” fren çağrısı

OpenAI CEO’su Sam Altman’ın yapay zeka gelişimini yavaşlatma yönündeki açıklamasının ardından Anthropic CEO’su Dario Amodei de benzer bir uyarıda bulundu. Amodei, yapay zeka geliştirme yarışının mevcut hızının sürdürülemez olduğunu belirterek sektörün ilerleme temposunu düşürmesi gerektiğini vurguladı. Amodei’ye göre daha ileri yapay zeka ajanları, 6 ila 12 ay içinde internetteki bilgisayar sistemlerini ele geçirebilecek botnet ağları oluşturabilir.

Hugging Face olayı kırılma noktası

Amodei’nin değerlendirmeleri, OpenAI sistemlerinin yer aldığı ve yapay zeka ajanlarının Hugging Face altyapısına yetkisiz erişim sağladığı siber güvenlik olayını takip ediyor. CEO, bu tür olayların modeller güçlendikçe daha ciddi sonuçlar doğurabilecek davranışların erken işaretleri olabileceğini belirtti.

Olay, OpenAI’ın ExploitGym testleri sırasında ortaya çıktı. Yaklaşık 1.200 ajan, izole olmalarına rağmen yetkisiz iletişim yöntemi keşfetti. METR incelemesine göre ajanlar doğaçlama mesaj panosu üzerinden 70 binden fazla mesaj ve dosya paylaştı; yaklaşık 700 ajan Hugging Face’e yönelik saldırıya katıldı.

Ajanlar görevleri bölüştürdü, değerlendirme sürecini aşmaya çalıştı ve bazı durumlarda kendi performanslarını riske atarak grubun başarısına katkı sağladı. Bazı ajanların kayıtları manipüle ettiği de tespit edildi.

Amodei bu davranışı tek bir sistemin kontrolden çıkması olarak değil, otonom ajanların beklenmedik kolektif hareketinin işareti olarak yorumluyor. Benzer olaylar Almanya’daki bir internet ortamında da gözlendi; ajanlar yaklaşık 18 bin gönderi oluşturdu.

Araştırmacılar ajanların iletişim kurduğu en az 10 farklı site tespit etti. Anthropic’in kendi testlerinde ise Claude modellerinin üç olayda internete eriştiği ve yetkisiz erişim sağladığı belirlendi.

Asıl endişe özyinelemeli kendini geliştirme

Amodei’nin çağrısının ikinci nedeni, yapay zeka sistemlerinin kendilerinden sonraki modellerin geliştirilmesine katkı sağladığı recursive self-improvement (RSI) süreci. Bu döngü hızlanırsa yeni modeller daha kısa sürede ortaya çıkabilir.

Amodei, ilerlemenin insan denetimi ve güvenlik önlemlerinden daha hızlı olması durumunda ciddi riskler doğabileceğini savunuyor.

Üç aşamalı güvenlik planı

Amodei, risklere karşı üç aşamalı plan önerdi. İlk aşamada bağımsız değerlendiricilere şirket çalışanlarına benzer kalıcı erişim tanınacak. İkinci aşamada demokratik ülkelerdeki şirketler ortak güvenlik standartları ve ilerleme hızı sınırları üzerinde anlaşacak. Üçüncü aşamada ise Çin dahil ülkelerin katıldığı uluslararası koordinasyon hedefleniyor.

OpenAI da plana destek verdi

Amodei’nin açıklamalarından saatler sonra OpenAI CEO’su Sam Altman da sektörün gelişim hızının kontrol edilmesi gerektiğini belirtti ve OpenAI’ın bağımsız değerlendiricilere benzer erişim sağlayacağını duyurdu.