WorldPlay2, görselleri içinde özgürce dolaşabileceğiniz dünyalara dönüştürüyor

Yapay zekânın geleceğinde önemli bir yer tutması beklenen dünya modelleri (world models), kısa sürelerin içine sıkışmış başı sonu belli videolar üretmenin ötesine geçerek, kullanıcılara anlık olarak etkileşime geçebilecekleri interaktif dünyalar sunuyorlar. Son dönemde dikkat çekici örneklerini görmeye başladığımız bu teknoloji hızla gelişiyor. Bunun son örneği de kısa süre önce açık kaynak olarak yayınlanan WorldPlay2 oldu. Tek bir görselden yola çıkarak, kullanıcıların içinde dolaşıp etkileşime geçebileceği dünyalar yaratan WorldPlay2, tutarlık seviyesi ve kare dışında kalan alanları da hatırlama yetisiyle bugüne kadar çıkan en etkileyici dünya modelleri arasında yer alıyor.

___HABERCOM_EMBED_0___

Dünyanın İçindeyken Komut Yazıp Olayları Değiştirebiliyorsunuz

WorldPlay2 gibi dünya modelleri, bir ortamın nasıl göründüğünü ve gerçekleştirilen eylemlere karşı nasıl değişmesi gerektiğini öğrenerek kullanıcıların hareketlerine tepki veren sanal dünyalar oluşturuyor. WorldPlay2'yi kullanmak için başlangıçta tek bir görsel ve kısa bir metin komutu yeterli oluyor. Örneğin bir orman yolunun fotoğrafını sisteme yükleyip mavi ceketli bir yürüyüşçüyü ve yağmurun başladığı bir sahneyi tarif edebiliyorsunuz. Model, bu girdilerden yola çıkarak etkileşimli bir video dünyası oluşturuyor. Ardından klavyedeki WASD tuşlarıyla ilerleyebiliyor, yön tuşlarıyla kamerayı çevirebiliyor ve boşluk tuşuyla zıplayabiliyorsunuz. İsterseniz birinci şahıs, isterseniz üçüncü şahıs perspektifinden dünyayı keşfedebiliyorsunuz.

Üstelik etkileşimler yalnızca karakterin hareketleriyle sınırlı değil. Kullanıcı, deneyim devam ederken yeni metin komutları girerek sahnede gerçekleşen olayları da değiştirebiliyor. Örneğin yağmurun durmasını ve bulutların arasından güneş ışığının süzülmesini isteyebiliyorsunuz. WorldPlay2, ortamı her komutta baştan oluşturmak yerine, mevcut sahneyi ve karakteri mümkün olduğunca koruyarak yeni olaya uyum sağlıyor.

WorldPlay2 Saniyede 16-17 Kare Üretebiliyor

WorldPlay2'nin paylaşılan teknik sonuçları, modelin gerçek zamanlı etkileşim hedefi doğrultusunda kayda değer bir hız seviyesine ulaştığını gösteriyor. Araştırma makalesinde, sistemin 8 NVIDIA H20 ekran kartı üzerinde saniyede 16 kare (FPS) hızında çalışabildiği belirtiliyor. Tarayıcı üzerinden erişilebilen Reactor sürümünde ise 4 NVIDIA B200 ekran kartıyla saniyede yaklaşık 17 karelik bir üretim hızı bildiriliyor.

Açık kaynaklı bu modelin ağırlıkları ve çalıştırma kodları bu hafta GitHub üzerinden paylaşıldı. Diğer yandan doğrudan internet tarayıcınız üzerinden deneyebileceğiniz bir versiyonu da Reactor üzerinden erişime açıldı. Burada, daha önceden verilmiş görsellerle oluşturulmuş dünyalar içinde istediğiniz gibi dolaşabiliyorsunuz. Daha teknik bilgiye sahip kullanıcılar ise GitHub deposundaki kodları ve modelleri kullanarak sistemi kendi sunucularında çalıştırabilirler.

Modelin kodları ve ağırlıkları GitHub üzerinden erişime açılmış olsa da bu, WorldPlay2'nin sıradan bir oyuncu bilgisayarında sorunsuz biçimde çalıştırılabileceği anlamına gelmiyor. Sistem, temelinde 14 milyar parametreli Wan2.2 I2V-A14B video üretim modelini kullanıyor ve bu temel modelin de ayrıca indirilmesi gerekiyor. Dolayısıyla hem model ağırlıkları hem de gerçek zamanlı üretim için gereken hesaplama gücü, donanım açısından önemli bir yük oluşturuyor.

Daha Uzun Süre Tutarlı Kalabilmesi İçin Özel Bir Hafıza Sistemi Kullanıyor

Bu tarz modellerde karşılaşılan en büyük zorluklardan biri oluşturulan dünyanın uzun süre boyunca tutarlılığını korumasını sağlamak. Çünkü bunun için yapay zekânın nesnelerin konumlarını, karakterlerin görünümünü veya çevrenin yapısını hatırlaması gerekiyor. Bugüne kadar çıkan dünya modellerinde yapay zekânın genelde bu konuda zorlandığını görmüştük. Örneğin bir orman yolunda ilerleyip geri döndüğünüzde ağaçların yer değiştirdiğine ya da daha önce orada bir evin kaybolduğuna şahit olabiliyordunuz. WorldPlay2 ise bu sorunu çözmek için birbiriyle bağlantılı üç teknik yaklaşım kullanıyor. Bunlardan ilki, hareket kontrolleriyle metin komutlarını birbirinden ayıran bir sistem. İkincisi, geçmiş görüntüleri daha az yer kaplayan hafıza verilerine dönüştüren bir yöntem. Üçüncüsü ise uzun süreli video üretiminde kalite kaybını azaltmayı amaçlayan Stable Forcing adlı eğitim tekniği.

İlk yaklaşımda modelin kontrol girdileri iki ayrı grupta ele alınıyor. Kamera açısını değiştirmek, ileri veya geri gitmek, yana hareket etmek ve zıplamak gibi fiziksel kontroller belirli karelerle eşleştiriliyor. Metin komutları ise sahnenin görünümünü, karakterin kimliğini ve gerçekleşen olayları ayrı ayrı tanımlıyor. Böylece kullanıcı yağmurun başlamasını istediğinde modelin yalnızca hava koşullarını değiştirmesi, karakteri veya çevrenin genel yapısını mümkün olduğunca koruması hedefleniyor.

İkinci yaklaşımda ise model, geçmişte oluşturduğu bütün kareleri yüksek çözünürlükleriyle birlikte sürekli işlemek yerine bunlardan daha küçük hafıza belirteçleri (memory tokens) oluşturuyor. Bu belirteçler, önceki görüntülerden elde edilen bilgileri daha kompakt biçimde saklıyor. Böylece model, geçmişteki sahnelerden yararlanmayı sürdürürken her yeni kare için işlenmesi gereken veri miktarını azaltabiliyor. Bu yöntem, özellikle kullanıcı aynı bölgeleri yeniden ziyaret ettiğinde çevrenin daha tutarlı görünmesine yardımcı oluyor.

Stable Forcing ise modelin hızlı üretim yaparken uzun vadede kalite kaybetmesini önlemek için geliştirildi. Sistem, başlangıçta daha az adımda görüntü üretebilen bir model üzerinden eğitiliyor ve ardından uzun üretim süreçleri boyunca elde edilen sonuçlar yeniden değerlendirilerek modelin tutarlılığı korunmaya çalışılıyor. Yayınlanan ilk örnekler bu konuda başarıya da ulaşıldığını gösteriyor.