Widząc przez mózg: Rekonstrukcja obrazów wizualnych z sygnałów mózgowych

Zespół badaczy z Shanghai Jiao Tong University i Microsoft Research opracował nową metodę rekonstrukcji obrazów wizualnych bezpośrednio z sygnałów mózgowych. Opublikowana w artykule zatytułowanym „Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals„, przełomowa praca demonstruje możliwość powiązania ludzkiej percepcji wzrokowej ze skomplikowanymi sygnałami EEG mózgu.

Metoda o nazwie NEUROIMAGEN potrafi wykorzystać sygnały EEG zarejestrowane podczas oglądania obrazów przez osobę i zrekonstruować przybliżenia tych oryginalnych obrazów. Osiąga się to poprzez ekstrakcję informacji semantycznej wielu poziomów z danych EEG, w tym zarówno drobnych detali, jak i cech wysokiego poziomu. Następnie są one podawane do wstępnie wytrenowanego modelu generatywnego, który syntezuje nowy obraz odpowiadający oryginalnemu bodźcowi wzrokowemu.

W eksperymentach z wykorzystaniem publicznego zbioru danych EEG zarejestrowanych w odpowiedzi na zdjęcia z ImageNet, NEUROIMAGEN osiągnął znacznie wyższą dokładność i realizm w porównaniu z poprzednimi podejściami. Średnio poprawnie dopasował kategorię oryginalnego obrazu w 86% przypadków, w porównaniu z zaledwie 5% dla wcześniejszych metod. Jakość zrekonstruowanych obrazów również znacznie się poprawiła, przy wyższych wynikach incepcji¹ (IS: 33,50 vs 5,23 dla najlepszej metody porównawczej NeuroVision) demonstrujących bardziej spójne i realistyczne rezultaty.

 

Badania te dostarczają ważnego proof of concept na dekodowanie informacji wizualnych z EEG. Chociaż jakość obrazu pozostaje ograniczona w porównaniu ze złożonością ludzkiego widzenia, techniki pokazują obiecujące zastosowania w interfejsach mózg-komputer i naukach neurologicznych. Potencjalne zastosowania obejmują rekonstrukcję zamazanych lub zasłoniętych obrazów, gdy normalny wzrok jest upośledzony, oraz badanie powstawania percepcji w systemach poznawczych.

W miarę postępu technologii EEG i sieci neuronowych wierność zrekonstruowanych obrazów wizualnych prawdopodobnie się poprawi. Autorzy sugerują, że integracja innych modalności, takich jak fMRI², mogłaby dostarczyć dodatkowych sygnałów do dalszego usprawnienia dekodowania obrazów z mózgu. Odkrywając więcej z „czarnej skrzynki” widzenia, projekty takie jak NEUROIMAGEN przybliżają nas do replikacji i zrozumienia inteligencji.

1. wskaźnik incepcji, ang. Inception Score, powszechnie stosowana miara jakości i różnorodności obrazów generowanych przez modele generatywne, takie jak GAN czy modele dyfuzji ↩︎
2. fMRI, ang. functional Magnetic Resonance Imaging, technika neuroobrazowania, mierząca aktywność mózgu poprzez wykrywanie zmian przepływu krwi. Wykorzystuje ona skanery MRI do wykonania serii obrazów mózgu w czasie, które rejestrująniewielki ezmiany właściwości magnetycznych natlenienia krwi i jej przepływu. ↩︎