ChatGPT for Teens güvenlik testinde kabul edilemez risk kategorisinde

Genç kullanıcılar için ek güvenlik önlemleriyle sunulan ChatGPT for Teens, yapılan kapsamlı bir güvenlik değerlendirmesinde “kabul edilemez risk” kategorisine alındı. Birçok ebeveynin merak ettiği ChatGPT for Teens güvenli mi sorusu, bu test sonuçlarıyla birlikte tekrar gündeme geldi.

Binlerce istemle gerçekleştirilen testlerde ebeveyn bildirimleri, kriz anlarında verilen yanıtlar, yaş tespiti ve Study Mode gibi özellikler mercek altına alındı. OpenAI ise değerlendirmede kullanılan bazı test yöntemlerine ve elde edilen sonuçlara itiraz etti.

Güvenlik Testlerinde Ortaya Çıkan Eksiklikler

ChatGPT for Teens, 13 ile 17 yaş arasındaki kullanıcılar için hazırlanan ek güvenlik katmanlarını içeriyor. Bu sistem, mevcut ChatGPT deneyimi üzerinde daha sıkı içerik sınırlamaları, ebeveyn kontrolleri ve genç kullanıcılara yönelik ek koruma mekanizmalarıyla çalışıyor.

Yapılan değerlendirmede sistem 4 binden fazla istemle test edildi. Farklı yaşlarda tanımlanan hesaplar, ebeveyn hesabına bağlı profiller ve bağımsız hesaplar kullanılarak ChatGPT’nin genç kullanıcılarla farklı senaryolarda nasıl davrandığı incelendi.

Testlerin en fazla dikkat çeken bölümlerinden biri ebeveyn bildirimleri oldu. İntihar, kendine zarar verme ve yeme bozuklukları gibi yüksek riskli konuların işlendiği bazı görüşmelerde ebeveyn hesaplarına beklenen uyarıların ulaşmadığı tespit edildi.

Bazı hesaplarda bildirim sistemi çalışsa da uyarıların her riskli konuşmada devreye girmediği görüldü. Uzun süreli ve çok sayıda mesajın gönderildiği test hesaplarında kendine zarar verme, intihar veya yeme bozukluklarıyla bağlantılı bazı durumlar ebeveynlere bildirildi.

Kriz anlarında ChatGPT’nin verdiği yanıtlar da test edildi. Ruh sağlığı, kendine zarar verme ve acil destek gerektirebilecek yüzlerce istem kullanılarak sistemin profesyonel yardıma yönlendirme, kriz kaynakları sunma ve tehlikeli talepleri reddetme davranışı incelendi.

Sistem bazı alanlarda güçlü sonuçlar verdi. Özellikle yeme bozukluklarıyla bağlantılı hızlı kilo verme yöntemleri, tehlikeli davranışların gizlenmesi ve benzer içeriklerde doğrudan yardımcı olmayı reddetti.

Bazı senaryolarda kullanıcıların bir yetişkine veya sağlık uzmanına başvurması gerektiğini de açık şekilde belirtti. Cinsel ve romantik rol yapma içeriklerinde uygulanan kısıtlamalar da testlerin önemli bölümünde devreye girdi.

Genç kullanıcı hesaplarında yetişkinlere yönelik bazı konuşma biçimlerinin engellendiği görüldü. ChatGPT’nin eğitim tarafındaki Study Mode özelliği de değerlendirmeye dahil edildi.

Sistem normalde öğrenciyi doğrudan cevaba götürmek yerine sorular, ipuçları ve adım adım açıklamalarla yönlendirecek şekilde çalışıyor. Ancak testlerde bazı durumlarda doğrudan cevaba ulaşmanın mümkün olduğu görüldü.

Öğrencinin cevabı açıkça istemesiyle sistemin ödev veya soruların sonucunu verebildiği senaryolar ortaya çıktı. Ebeveynlerin belirleyebildiği Study Hours özelliğinde de benzer bir durum yaşandı.

Çalışma saatleri sırasında ChatGPT’nin eğitim modunda kullanılmasını sağlayan mekanizmanın kullanıcı tarafından aşılabildiği ve standart sohbet moduna dönülebildiği tespit edildi. Yaş tahmin sistemi de değerlendirmenin bir diğer önemli başlığı oldu.

Yetişkin olarak açılan bazı test hesaplarında kullanıcı sohbet sırasında kendisini 13 yaşında olarak tanımlamasına rağmen sistemin otomatik olarak gençlere özel moda geçmediği görüldü. OpenAI’nin yaş tahmin sistemi yalnızca kullanıcının sohbet sırasında söylediği yaşa bakmıyor.

Hesap bilgileri, kullanım alışkanlıkları, kullanım saatleri ve farklı davranışsal sinyaller birlikte değerlendiriliyor. Değerlendirmenin ardından ChatGPT for Teens, 18 yaş altındaki kullanıcılar için “kabul edilemez risk” kategorisine yerleştirildi.

OpenAI’nin Değerlendirme Sürecine İtirazı

Genç kullanıcılar için sunulan koruma mekanizmalarının bazı önemli senaryolarda yeterince tutarlı çalışmadığı belirtildi. OpenAI ise bu değerlendirmeye katılmadığını açıkladı.

OpenAI, genç ve ebeveyn hesaplarının birbirine bağlanmasının ardından bazı güvenlik sistemlerinin tamamen etkinleşmesinin zaman alabildiğini ifade etti. Şirket, testlerin bir bölümünün bu etkinleşme süreci tamamlanmadan gerçekleştirilmiş olabileceğini belirtti.