Yeni bir çalışmaya nazaran araştırmacılar, beyin aktivitesinden “yüksek kaliteli” görüntüyü tekrar yapılandırmak için üretken yapay zeka kullandılar.
Singapur Ulusal Üniversitesi ve Hong Kong Çin Üniversitesi’nden araştırmacılar Jiaxin Qing, Zijiao Chen ve Juan Helen Zhou, beyin okumalarından görüntü üreten MinD-Video isimli bir model oluşturmak için fMRI bilgilerini ve metinden manzaraya aktarma bilgilerini sürece alarak yapay zeka modeli Stable Diffusion’ı kullandılar. Çalışmayla ilgili makale geçen hafta arXiv ön baskı sunucusunda yayınlandı.
İZLETİLEN İMAJLAR FİKİR YOLUYLA YİNE AKTARILDI
Makalenin ilgili web sitesindeki gösterimleri, deneklere gösterilen görüntüler ile beyin aktivitelerine dayalı olarak oluşturulan yapay zeka tarafından üretilen görüntüler ortasında bir paralellik gösteriyor. İki görüntü ortasındaki farklar çok az ve çoğunlukla emsal bahisler ve renk paletleri içerdiği belirtildi.
MinD-Video, araştırmacılar tarafından “görüntü ve görüntü beyin kod çözme ortasındaki boşluğu kapatmak için tasarlanmış iki modüllü bir boru hattı” olarak tanımlanıyor.
Sistemi eğitmek için araştırmacılar, görüntüleri ve bunları izleyen test deneklerinin fMRI beyin okumalarını içeren halka açık bir data kümesi kullandılar. “İki modüllü boru hattı” eğitimli bir fMRI kodlayıcı ve yaygın olarak kullanılan bir imaj oluşturma yapay zeka modeli olan Stable Diffusion’ın ince ayarlı bir versiyonundan oluşuyordu.
YÜKSEK KALİTEDE TRANSFER SAĞLANDI
Araştırmacılar tarafından yayınlanan görüntülerde, bir tarladaki atların orjinal görüntüsü ve akabinde atların daha canlı renklere sahip bir versiyonunun yine yapılandırılmış görüntüsü gösteriliyor. Bir öbür görüntüde ise bir otomobil ormanlık bir alanda ilerliyor ve tekrar yapılandırılan görüntüde virajlı bir yolda ilerleyen bir kişinin birinci şahıs bakış açısı gösteriliyor.
Araştırmacılar, tekrar yapılandırılan görüntülerin hareketler ve sahne dinamikleri açısından “yüksek kaliteli” olduğunu tespit etti. Ayrıca, görüntülerin yüzde 85’lik bir doğruluğa sahip olduğunu ve bunun evvelki yaklaşımlara nazaran bir gelişme olduğunu bildirdiler.
Yazarlar, “Bu alanın, nörobilimden beyin-bilgisayar arayüzlerine kadar büyük modeller geliştikçe umut verici uygulamalara sahip olduğuna inanıyoruz” diye yazdı.
ÇALIŞMA ÜÇ KIYMETLİ BULGUYU AYDINLATTI
Özellikle, bu sonuçların üç ana bulguyu aydınlattığını söylediler. Bunlardan biri görsel korteksin baskınlığıdır ve beynin bu kısmının görsel algının kıymetli bir bileşeni olduğunu ortaya koymaktadır.
Diğeri ise fMRI kodlayıcısının yapısal bilgilerle başlayan ve daha sonra daha derin katmanlarda daha soyut ve görsel özelliklere kayan hiyerarşik bir biçimde çalışmasıdır.
Son olarak, müellifler fMRI kodlayıcının her öğrenme evresinde geliştiğini ve eğitimine devam ettikçe daha incelikli bilgileri alma yeteneğini gösterdiğini bulmuşlardır.
ZİHİN OKUMADA DÖNÜM NOKTASI OLARAK GÖRÜLÜYOR
Bu çalışmanın, esasen yapay zekâ kullanarak insanların zihinlerini okuma alanında bir öbür ilerlemeyi temsil ettiği belirtildi. Daha evvel Osaka Üniversitesi’ndeki araştırmacılar, fMRI datalarını ve Kararlı Difüzyonu da kullanan bir teknikle beyin aktivitesinden yüksek çözünürlüklü imgeleri tekrar yapılandırabildiklerini keşfetmişlerdi.
Bu yeni araştırmadaki artırılmış Kararlı Difüzyon modeli, görselleştirmenin daha yanlışsız olmasını sağlıyor. “Kararlı difüzyon modelimizin GAN’lar üzere öbür üretici modellere nazaran en değerli avantajlarından biri, daha yüksek kaliteli görüntüler üretme kabiliyetinde yatıyor.
Araştırmacılar, fMRI kodlayıcı tarafından öğrenilen temsillerden yararlanıyor ve sırf üstün kalitede değil, birebir vakitte orjinal sinirsel faaliyetlerle daha âlâ ahenk sağlayan görüntüler üretmek için eşsiz difüzyon sürecini kullanıyor” diye yazdı.
