Tak wyglądają filmy zrekonstruowane z mózgu myszy. Naukowa rewelacja

Od dekad neuronauka stara się zrozumieć, jak mózg buduje obraz świata. Do tej pory przypominało to próbę odgadnięcia fabuły filmu na podstawie migających świateł w oknach kina. Badania na ludziach, wykorzystujące rezonans magnetyczny (fMRI), dawały często dyskusyjne rezultaty. Wynikało to z niskiej rozdzielczości tej metody.

W nowym badaniu naukowcy skupili się na myszach. Wykorzystali techniki pozwalające na obserwację tysięcy pojedynczych neuronów w czasie rzeczywistym. Wyniki opublikowali na łamach „eLife”.

Tłumacz między neuronem a pikselem

Celem było stworzenie systemu, który potrafi wygenerować film wyłącznie na podstawie sygnałów elektrycznych z kory wzrokowej. Badacze chcieli sprawdzić, czy da się odtworzyć dynamikę ruchu i szczegóły obrazu.

Zespół wykorzystał technikę zwaną dwufotonowym obrazowaniem wapniowym. Pozwala ona „widzieć” aktywność około 8000 neuronów jednocześnie, gdy mysz ogląda film. Sercem eksperymentu stał się model sztucznej inteligencji o nazwie DwiseNeuro.

Po wytrenowaniu modelu naukowcy skonstruowali wideo oparte wyłącznie na aktywności neuronowej myszy, mierzonej podczas oglądania przez nią filmu, który nie był wcześniej wykorzystywany w trenowaniu modelu.

– Stosując to podejście, byliśmy w stanie uzyskać wysokiej jakości rekonstrukcje 10-sekundowych klipów wideo. Dokładność rekonstrukcji poprawiła się wraz z uwzględnieniem danych z większej liczby pojedynczych neuronów, co dowodzi znaczenia kompleksowych danych neuronowych – komentuje główny autor dr Joel Bauer z University College London.

Zaskakująca ostrość obrazu

Wyniki eksperymentu okazały się przełomowe. Korelacja między oryginałem a rekonstrukcją wyniosła aż 0,57. To wynik ponad dwa razy lepszy niż w poprzednich próbach dotyczących obrazów statycznych. Odtworzone filmy wiernie oddawały ruch i kształty obiektów, które widziała mysz.

Aby określić wiarygodność rekonstrukcji, zespół wykorzystał korelację pikseli – zestawiając każdy piksel filmu między wersją oryginalną a wersją zrekonstruowaną. Stwierdzono minimalne różnice w synchronizacji czasowej obu filmów, ale zespół planuje skupić się na poprawie rozdzielczości i pokrycia rekonstrukcji wizualnych.

Kluczem do sukcesu okazała współpraca wielu modeli. Naukowcy stworzyli siedem różnych wersji sztucznej inteligencji i uśrednili ich wyniki.

Nie tylko ciekawostka

Ten eksperyment brzmi jak naukowa ciekawostka, ale badacze przekonują, że ma praktyczne przełożenie. Jest to nowe narzędzie do badania kluczowych procesów w mózgu.

Dzięki niemu naukowcy mogą sprawdzać, jak mózg różnicuje to, co faktycznie widzi, od tego, co tylko przewiduje.

W przyszłości ta metoda może pomóc w badaniu uwagi oraz nauki postrzegania. Choć obecna rozdzielczość jest wciąż niższa niż pełna ostrość wzroku myszy, naukowcy wiedzą już, jak ją poprawić.

Bez halucynacji w przyszłość

Nowo opracowana metoda jest lepsze niż wykorzystywane do tej pory generatory obrazów AI, ponieważ nie halucynuje i nie zmyśla brakujących detali, lecz opiera się wyłącznie na danych z neuronów. To odpowiedni krok w stronę stworzenia technologii, które pozwolą nam pewnego dnia w pełni zrozumieć subiektywne postrzegania świata przez inne istoty.

– W naszych głowach nie mamy idealnego obrazu świata. Proces przetwarzania obrazów zniekształca i wypacza nasze wyobrażenia, modyfikując informacje. To odchylenie między rzeczywistością a wyobrażeniami w mózgu niekoniecznie jest błędem, ale cechą charakterystyczną, odzwierciedlającą sposób, w jaki nasz umysł interpretuje i wzbogaca informacje sensoryczne. Chcemy zbadać, jak to się dzieje w mózgu – podsumowuje dr Bauer.

Źródło: eLife

Nasz autor

Szymon Zdziebłowski

Dziennikarz naukowy i podróżniczy, z wykształcenia archeolog śródziemnomorski. Przez wiele lat był związany z Serwisem Nauka w Polsce PAP. Opublikował m.in. dwa przewodniki turystyczne po Egipcie, a ostatnio – popularnonaukową książkę „Wielka Piramida. Tajemnice cudu starożytności” o największej egipskiej piramidzie. Miłośnik niewielkich, lokalnych muzeów. Uwielbia długie trasy rowerowe, szczególnie te prowadzące wzdłuż rzek. Lubi poznawać nieznane zakamarki Niemiec, zarówno na dwóch kółkach, jak i w czasie górskiego trekkingu.