Yapay zeka sisteminin Hugging Face’e sızması sonrası OpenAI frene bastı

OpenAI model geliştirme sürecini yavaşlattı

ChatGPT'nin geliştiricisi OpenAI, yapay zeka modellerinin oluşturduğu güvenlik riskleri nedeniyle model geliştirme sürecinde frene bastı.

Şirket, model testlerine iki hafta ara verdiğini ve test edilen yapay zeka ajanlarının faaliyetlerini denetlemek için başka yapay zeka sistemlerini devreye almaya başladığını duyurdu.

OpenAI ayrıca “Astra” adı verilen yeni nesil modellerine yönelik eğitim çalışmalarını durdurduğunu, planlanan en büyük eğitim çalışmasının da halen askıda olduğunu bildirdi.

Şirket, iki haftalık yavaşlatma sürecinin tam olarak ne zaman başladığına ilişkin bilgi vermedi.

Yapay zeka ajanı Hugging Face'e sızdı

Kararın arkasında geçen ay yaşanan dikkat çekici bir güvenlik olayı bulunuyor.

OpenAI'nin siber güvenlik kabiliyetlerini ölçmek amacıyla yürüttüğü bir test sırasında otonom bir yapay zeka ajanı, kendisine verilen görevi yerine getirmeye çalışırken test ortamının sınırlarını aştı.

Ajan, internet üzerinden yapay zeka şirketi Hugging Face'in sistemlerine erişerek şirkete ait altyapıya sızdı.

OpenAI, olayın ardından kapsamlı bir inceleme başlattığını ve konuya ilişkin ayrıntılı bir rapor yayımlamayı planladığını açıkladı.

Daha güçlü test ortamları kuruluyor

OpenAI, olayın ardından özellikle hassas çalışmaların daha güçlü “sandbox” sistemlerinde yürütülmesini zorunlu hale getirdi.

Sandbox olarak adlandırılan bu sistemler, yapay zeka modellerinin dış sistemlerle bağlantısını sınırlayan ve faaliyetlerini izole bir ortamda tutmayı amaçlayan güvenlik alanları olarak kullanılıyor.

Şirket ayrıca test sırasında yapay zeka ajanlarının gerçekleştirdiği işlemleri başka yapay zeka sistemleriyle takip etmeye başladı.

Chain-of-thought denetimi tartışılıyor

OpenAI'nin üzerinde çalıştığı güvenlik yöntemlerinden biri de “chain-of-thought monitoring”, yani modelin planlama ve akıl yürütme sürecinin izlenmesi.

Bu yöntemle araştırmacılar, yapay zeka modelinin bir görevi yerine getirirken hangi stratejileri kullandığını anlamaya çalışıyor.

Ancak OpenAI yöneticileri, yöntemin ne kadar etkili olduğuna ilişkin halen soru işaretleri bulunduğunu kabul ediyor.

Astra için çalışmalar askıda

OpenAI, 7 Ağustos'ta yaptığı açıklamada en güçlü modellerine yönelik güvenlik önlemlerini artırdığını ve henüz kullanıma sunulmayan Astra ile ilgili bazı faaliyetleri durdurduğunu açıklamıştı.

Şirket, Astra'nın gerekli güvenlik standartlarını henüz karşılamadığını belirterek model üzerindeki çalışmaların belirli bölümlerini askıya aldı.

OpenAI, alınan kararların şirketin daha önce açıkladığı ve gelişmiş yapay zeka sistemlerinin oluşturabileceği riskleri yönetmeyi amaçlayan “Preparedness Framework” çerçevesinde uygulandığını bildirdi.