Esileht > ajuteadus, huvitavad küsimused, uni ja unenäod > Ma tean, mida Sa unes näed vol 2

Ma tean, mida Sa unes näed vol 2

Kristjan näris läbi verivärskest artiklist, kus kirjeldatakse kõige uuemat läbimurret mõtetelugemise valdkonnas. Aitäh talle kaastöö eest ja head lugemist:

Viimase kümne aasta jooksul on mõtetelugemise tehnoloogiat pidevalt arendatud. Nii näidati hiljuti siin blogis kirjeldatud töös, et pelgalt ajumustreid jälgides saab ära arvata, millist eksemplari 120st erinevast pildist katseisik hetkel näeb (Ettevaatust mõtted on loetavad!). Uute piltide hulk, millest mõtetelugejad pidid valima õige, oli antud katses küll võrreldes seniste katsetega suur, kuid võrreldes meie igapäevaste nägemiskogemustega siiski väike. Lisaks näitasid Miyawaki ja teised, et esmastest visuaalsetest ajupiirkondadest on võimalik välja lugeda ka täiesti uusi pilte, mida katseisik parasjagu vaatab (Ma tean, mida Sa unes näed!). Olgugi et piltideks olid “kõigest” 10 korda 10 pikslit mustvalged ruudud, oli tegemist toreda läbimurdega, mis näitas, et fMRI andmete abil on juba praegu võimalik välja lugeda kujutisi, mida katseisik näeb. See võimaldas neid lihtsakoelisi kujutisi rekonstrueerida – ajuaktiivsuste põhjal ekraanile taas see sama pilt luua, mida katseisik algselt nägi.

Nagu arvata võis arenevad sellised ideed kiirelt edasi – mõtetelugemine on väga ahvatlev valdkond ning lisaks on saanud see nüüdseks käega katsutavaks. Seega ongi loogiline jätk eelnevale, et üritatakse ajuaktiivsuse põhjal rekonstrueerida pilte, mis tulevad päriselust ja on hulka keerukamad kui 10 x 10 piksliga mustvalged kujutised.

Thomas Naselaris ja teised avaldasid just respekteeritud teadusajakirjas Neuron artikli, kus nad dekodeerivad (= loevad välja) fMRI abil saadud ajuandmetest ‘tavalisest’ maailmast saadud fotosid! St katseisikule näidatakse suvalist stseeni kujutav pilt, mis algoritmide abil ajust välja loetakse ja rekonstrueeritakse. See on päris märkimisväärne saavutus, sest meie tavalised pildid on Väga keerulised – lõputult palju erinevaid detaile, värve ja ideid.

Jälgigem näiteks antud fotot:

t2nav

Kui hakkate ise vaatama kogu seda sigrimirgi masinliku pilguga, siis mõistate, et tegemist on väga keerulise olukorraga. Kuid just selliseid pilte üritati antud katses katseisiku ajuaktiivsuse põhjal rekonstrueerida!

Nagu ikka koosnes katse kahest osast. Kõige pealt loodi mudelit, mis kirjeldaks matemaatiliselt suhteid erinevate ajuaktiivsuste ja piltide vahel. Selleks näidati katseisikule suurest andmebaasist (6 miljonit tavalist fotot) 1750 pilti, mille põhjal arvutati vajalikud mudelid. Edasi näidati kolmele katseisikule 120 uut pilti, mida antud mudelid proovisidki rekonstrueerida.

Katse teeb eriliseks fakt, et rekonstruktsiooniprotsessis kasutatakse lisaks esmastele nägemispiirkondadele, kust saadakse pikslite kaupa pildi hele-tumedusi, ka hilisemaid nägemiskeskusi, kust saadakse informatsiooni semantiliste kategooriate kohta. See tähendab, et kõrgematest nägemiskeskustest üritatakse aru saada, millised tähenduslikud objektid kuskil vaateväljas võiksid eksisteerida. Semantilisi kategooriaid loodi katse korraldajate poolt nendest 23 tükki (näiteks maja, rahvahulk, puuviljad, taevas, tee jne.)

Tulemused olid hämmastavad ja märkimisväärsed!

pilt1

Pildi esimeses tulbas on katseisikule näidatud foto, teises tulbas on esmastest nägemispiirkondadest saadud informatsioon, mida pole töödeldud. Kolmandas tulbas on töödeldud teise tulba informatsioon, kus tehakse vahet sigrimigril ja ühevärvilistel aladel. Neljandas tulbas on kõikide meetodite kombinatsiooni abil rekonstrueeritud foto, mille jaoks on kasutatud hilisemate nägemiskeskuste semantilist informatsiooni koos teise ja kolmanda tulba andmete ja päriselu piltide omadusi karakteriseeriva algoritmiga.

Loomulikult ei ole tegemist veel täiusliku tulemusega ning lisaks rekonstrueeris antud süsteem pilte ka täiesti valesti, kuid antud töö näitab, et me saame pildi rekonstrueerimiseks kasutada hilisematest nägemiskeskustes olevat semantilist informatsiooni koos varasemate nägemiskeskuste omaga. Edasi tuleb vaid oodata natukene täpsemaid masinaid, täiustada antud algoritmide kombinatsiooni ning müstilisest mõtete lugemisest ja unenägude salajasest salvestamisest ongi saanud (hirmutav?) reaalsus.

allikas:
Naselaris jt., 2009, Neuron: Bayesian Reconstruction of Natural Images from Human Brain Activity

  1. Riho
    september 25, 2009, 2:14 p.l.

    ja nii ongi … et võivad salaja tulla ja mu unenägusid lugeda? peaks vist küsima, et kuidas ennast selle eest kaitsta saaks?

  2. Jaan
    september 25, 2009, 2:26 p.l.

    tegelikult on (praegusel hetkel) kaitsta lihtne: tuleb mitte osaleda fMRI katses, kus näidatakse visuaalseid stiimuleid. st alati vajatakse väljalugemiseks ja rekonstrueerimiseks infot selle kohta, kuidas katseisiku aju erinevatele (antud juhul visuaalsetele) stiimulitele vastab. näiteks selles katses näidati ju ka eelnevalt katseisikule 1750 pilti, mille ajal katseisiku ajuvastuseid registreeriti.

  3. Jürgen
    september 26, 2009, 10:29 p.l.

    Kuivõrd suur on loodud mudeli variatsioon üle inimeste? St kas piisavalt paljude erinevate inimeste fMRI katseandmeid piisavalt targalt kombineerides oleks võimalik konstrueerida mingisugust üldisemat mudelit, mis oleks võimeline ilma üksikule inimesele kohandamata tema mõtteid välja lugema?

  4. jaanaru
    september 26, 2009, 11:32 p.l.

    otse loomulikult on tegu väga olulise küsimusega🙂 võin anda näpu ja pea, et suuremad mõtetelugemisgrupid just selliste algoritmide peal praegu vaeva näevadki. lisaks on oluline taibata, et hirmutavaks teeb asja see, et nii häid tulemusi saab juba fMRI aktiivsuse põhjal, mis on tegelikult tohutult ebatäpne (üks voksel esindab umbes 100 000 neuroni aktiivsust!) – niipea, kui leitakse tehnoloogia, mille abil veelgi täpsemalt inimaju sisse vaadata, on ilmselt kõik uksed lahti.
    (NB: igal juhul soovitan MITTE osaleda fMRI katses, kus teil palutakse alguses kas vaadata numbreid või mõelda numbrite peale ja pärast naljapärast öeldakse “mõelge nüüd oma pangakaardi PIN koodile” – nad tõepoolest suure tõenäosusega saavad selle koodi juba praeguse tehnoloogiaga välja lugeda)

  5. ökul
    september 27, 2009, 8:14 e.l.

    Jürgen märkas tõepoolest väga olulise probleemi sellistes uurimustes. Samamoodi, kui vaadata fMRI pilte erinevate valetavate inimeste ajust (täpsemini, fMRI kuvandeid, mis näitavad valetava aju aktiivsuse lahutamisel siiraid vastuseid andva aju aktiivsusest), tuleb välja vägagi suurte erinevustega pilte. Ka valetamise avastamise ajutehnoloogiate arendajad tegelevad selle probleemiga (Davatzikos jt). Aga nii nagu on alati arenenud mürkide ja vastumürkide leidmine ning viirustarkvara ja selle tõrje arendamine, võib ka tulevikus ette kujutada selliseid treeninguid või koolitusi (või ka turustatavaid stimulatsiooniprogramme), mis aitavad ajus luua selliseid erutusmustreid, kus välja arendatud mõtetelugemistehnoloogia jänni jääb.

  6. september 27, 2009, 9:48 e.l.

    Jürgenile: eri inimestel on vähemalt kuklasagras, kus toimub otsene nägemine, kergelt varieeruvaad kohad vastava vaatevälja osa jaoks. Üksikutel juhtudel on pimedatele kirurgiliselt sinna juhtmed ühendatud ja patsiendi tagasisidet oli vaja ühenduste asukohtade valikul.

  7. Bachmann
    september 27, 2009, 10:14 e.l.

    Meie TÜ laboris, kui kasutada trans-kraniaalset ajukoore magnetstimulatsiooni (TMS), tuleb individuaalne varieeruvus samuti ilusasti esile. Näiteks koht motoorses korteksis, mille stimuleerimisel pöial isikule tahtmatult liigutust teeb on tsentraalvao-eelses piirkonnas isikuti suhteliselt varieeruv ja vastav aju MRI-pilt sellest kohast on üllatavalt erinev. Sama ka siis, kui kuklasagarast TMS abil fosfeene (amodaalsed, mitte väliste nägemisärritajate poolt esile kutsutud nägemisaistingud) või skotoome (ruumis piiritletud tühik või nö pime ala nägemisväljas, mille ümber või kõrval nähtav maailm endiselt oma kvaliteetides kogetav on) esile kutsuda. Sarnaselt sellele, mida Märt mainis, on need kohad oktsipitaalses ajukoores, mida on tarvis stimuleerida, et skotoom tekiks samas nägemisvälja kohas, üllatavalt varieeruvad isikuti. (Jaan ilmselt samuti mäletab, et kalkariinvao ümbruses TMS fookust paika pannes nii selle piirkonna anatoomia kui ka TMS-punktid päris tublisti isikuti erinevad.)
    Sama teemaga seoses veel. Nägemisproteeside arendamisel on tehnoloogia jõudnud juba nii kaugele, et kuklasagaras vastavate stimuleerimismaatriksite (krooniliselt implanteeritud elektroodid) kasutamisel õige tugevusega ja õige sagedusega impulsse õigetesse kohtadesse andes saab kaamerapilti sellest väljast, mis inimese ees on ümber tõlkida uduseks ja jämedakoeliseks, aga pimedale (seni pimeda olnud?) inimesele siiski mõistlikult tajutavaks pildiks. Midagi sellist, nagu mäletame filmist Predator, kus tulnukad nägid temperatuuri ja suutsid selle järgi inimest taustast eristada.

  1. No trackbacks yet.

Lisa kommentaar

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Muuda )

Twitter picture

You are commenting using your Twitter account. Log Out / Muuda )

Facebook photo

You are commenting using your Facebook account. Log Out / Muuda )

Google+ photo

You are commenting using your Google+ account. Log Out / Muuda )

Connecting to %s