Prošloga srpnja su istraživači sa Sveučilišta Kalifornija u San Franciscu (UCSF) na Facebooku (!) objavili rezultate studije u kojoj su prezentirali kako se BCI (Brain-Computer Interface, sučelje između mozga i računala) može koristiti za dekodiranje govora u stvarnom vremenu, barem unutar ograničenih okvira kao što su Q&A sustavi (razmjena pitanja i odgovora).
U tom istraživanju je korišten invazivni BCI-sustav, što znači da su elektrode bile kirurški implantirane u mozak ispitanika.
Pulsna oksimetrija mozga
Još dvije godine prije toga, sredinom 2017., Facebook je objavio da je na vlastitom projektu izrade neinvazivnog sučelja između mozga i računala uposlio preko 60 računalnih stručnjaka i bioinženjera, te u njega "upumpao" više od pola milijarde dolara. Prema prvim najavama, radilo se o pokušaju izrade narukvice koja bi registrirala moždane signale korisnika i razmjenjivala ih s računalom, javlja Bug.
No, čini se da su prvotno planiranu narukvicu zamijenile - slušalice: prošle godine, skoro istovremeno kada je UCSF obznanio rezultate svojega istraživanja, Facebook je (na Facebooku, a gdje drugdje?) objavio blog-post u kojem je najavio prve rezultate svojeg rada na razvoju neinvazivne BCI tehnologije.
U tom tekstu je opisan uređaj nalik slušalicama koji u lubanju korisnika emitira valne duljine / fotone u spektru infracrvene svjetlosti i potom koristi promjene u moždanoj apsorpciji te svjetlosti za mjerenje oksigenacije u ciljnim skupinama moždanih stanica.
U postu je pisalo: „Vjerojatno znate za pulsni oksimetar, senzor nalik na štipaljku s crvenom svjetlošću, kojega vam u liječničkoj ordinaciji ili u bolnici stavljaju na prst kako bi izmjerili postotak zasićenja vaše krvi kisikom (oksigenaciju). Kao što je oksimetar u stanju kroz vaš prst izmjeriti zasićenosti krvi kisikom, tako se infracrveno svjetlo može upotrijebiti i za mjerenje oksigenacije krvi u mozgu, korištenjem senzora postavljenog izvan tijela na neinvazivan način… I mada nam mjerenje oksigenacije možda nikada neće omogućiti dekodiranje cijelih rečenica iz naših misli, ako budemo u stanju prepoznati samo nekoliko zamišljenih naredbi poput 'home', 'select' ili 'delete', stvorili bismo potpuno nove načine interakcije s današnjim virtual reality sustavima… i sutrašnjim artificial reality naočalama.“
Slušalice za infracrvene signale
Nakon te objave Facebook više nije davao puno informacija o tom projektu - sve do prije dva tjedna, kada je Mark Chevillet, direktor istraživanja u Facebook Reality Labsu i voditelj Facebook BCI projekta, održao polusatno predavanje na konferenciji Wearable Tech + Digital Health + Neurotech Silicon Valley održanoj 12-14. veljače 2020. u Stanfordu u Silikonskoj dolini.
Tada je otkrio dosta novih detalja o Facebook BCI-ju. Kao prvo, dovršen je prelazak na novi dizajn hardvera za komunikaciju s mozgom, koji sada nalikuje slušalicama koje se stavljaju na glavu. Iako još uvijek nije konačna verzija, Chevillet tvrdi da je daleko korisnija od prvotnog prototipa optičkog sučelja, kojega je za Facebook Reality Labs izradila istraživačka skupina na Sveučilištu Washington u St. Louisu. Taj je sustav bio velik, skup i ne bi se moglo reći da je bio comfortably wearable, ugodno nosiv, priznao je Chevillet.
No istraživači Facebooka su sada razvili jeftiniju i nosiviju verziju, koristeći komponente s nižim troškovima proizvodnje i s ugrađenom već postojećom, djelomično prilagođenom elektronikom. Ova naprava koju su nazvali komplet za detekciju, prikazana je u srpnju na Facebookovom blogu, a trenutno je u tijeku testira kojim se utvrđuje je li jednako osjetljiv kao i prethodni, veći uređaj.
Istovremeno s hardverskim usavršavanjem, istraživači usredotočuju svoje napore prema dva funkcionalna cilja: povećanju brzine očitavanja signala, te prema smanjenju šuma. "Hemodinamički odgovor kojega mjerimo - promjenu razine kisika u krvi u žilama koje opskrbljuju moždane regije", kaže Chevillet, "trenutno registriramo oko pet sekundi nakon što je mozak taj kisik utrošio na svoju aktivnost. Posve smo svjesni da je takvo kašnjenje između moždane aktivnosti i signala koji tu aktivnost pokazuje zaista preveliko za funkcionalno iskorištavanje u CBI-sustavu. Kada bismo mogli pojačati korisni dio signala i smanjiti šum, mogli bismo moždanu aktivnost registrirati s puno manje kašnjenja", objašnjava Chevillet.
Kontrast, gustoća, pikselizacija i algoritmi čišćenja šumova
Nove slušalice pomoći će ovom nastojanju, jer je utvrđeno da najveća količina šuma u signalu nastaje zbog pomicanja mjernog sustava po kosi i koži na glavi korisnika. Nove, manje slušalice čvršće sjede na glavi, što rezultira manjim pomacima nego što je to slučaj s većim uređajem za detekciju signala. Istovremeno se ispituje i mogućnost reduciranja šuma korištenjem svjetlosnih impulsa (umjesto dosadašnjeg kontinuiranog odašiljanja svjetlosti), u nadi da će na taj način bolje razlikovati fotone koji putuju kroz vlasište i lubanju prije nego što se reflektiraju (a koji su izvor beskorisnog dijela signala, tj. uzrok šuma) od fotona koji zaista potječu iz moždanog tkiva.
"Drugi način za poboljšanje odnosa signala i šuma uređajaj je povećanje kontrasta. Ne možemo neograničeno povećavati energiju signala iz infracrvenog spektra; ona mora ostati ispod sigurnosne dopuštene razine za moždano tkivo. No, može se povećati gustoća pikselizacije u sustavu fotodetektora, pa istraživački tim pokušava povećati broj optičkih vlakana na površini s koje se detektira signal. Trenutno iskušavamo detektorno polje od 32 x 32 piksela da vidimo možemo li poboljšati omjer signal-šum, a rezultate ćemo prezentirati kasnije tijekom ove godine", kaže Chevillet.
"No čak i kada dobijemo bolji signal, u njemu će se i dalje nalaziti nezanemariva količina šuma". Zato se istraživačka nastojanja, objasnio je Chevillet, usmjeravaju i prema iskorištavanju dosadašnjih saznanja o neuralnim osnovama govora, čime se pokušava postići detekcija "čistog" govornog signala, umjesto nasumičnog "čitanja" svih aktivnosti moždanih neurona.
"Jednostavnije rečeno: iz signala možemo odstraniti šum ako signal pročistimo govornim algoritmima", kaže on. "Te algoritme - koji su usavršeni na ogromnim količinama zvučnih zapisa ljudskog govora - pokušavamo naučiti da iz signala zagađenog šumom izvuku samo onaj korisni, govorni dio."
A što drugi kažu o tome?
''Ovakav neinvazivni pristup sučelju mozga i računala jest intrigantan, ali ga neće biti lako korisno primijeniti u praksi“, komentira Roozbeh Ghaffari, biomedicinski istraživač sa Sveučilišta Northwestern i izvršni direktor tvrtke Epicore Biosystems.
"Nedvojbeno je moguće povezati signale iz aktiviranih neurona s promjenama u lokalnim razinama oksigenacije u krvi. No ključni dio - o kojem će naposljetku ovisiti uspješnost i komercijalna primjenjivost ove ideje - je dovoljno precizno mapiranje, dakle vrlo točno i vrlo brzo povezivanje tih promjena mjerenih na površini kože sa signalima koji potječu iz moždanih centara za govor, što se čini vrlo izazovnim i zahtjevnim zadatkom", dodaje Ghaffari.
A nama, potencijalnim budućim korisnicima, preostaje pak da se strpimo - kako se čini, još sasvim malo vremena - pa vidimo koji će od nekolicine vrlo ozbiljno zamišljenih i još ozbiljnije financiranih istraživačko-bioinženjerskih projekata iznjedriti prve konkretne rezultate u sve žešćoj i zanimljivijoj utrci za izradu komercijalno primjenjivog sustava za izravnu komunikaciju mozga i računala… i kako će ti rezultati izgledati na (i u) našim glavama.
U tom istraživanju je korišten invazivni BCI-sustav, što znači da su elektrode bile kirurški implantirane u mozak ispitanika.
Pulsna oksimetrija mozga
Još dvije godine prije toga, sredinom 2017., Facebook je objavio da je na vlastitom projektu izrade neinvazivnog sučelja između mozga i računala uposlio preko 60 računalnih stručnjaka i bioinženjera, te u njega "upumpao" više od pola milijarde dolara. Prema prvim najavama, radilo se o pokušaju izrade narukvice koja bi registrirala moždane signale korisnika i razmjenjivala ih s računalom, javlja Bug.
No, čini se da su prvotno planiranu narukvicu zamijenile - slušalice: prošle godine, skoro istovremeno kada je UCSF obznanio rezultate svojega istraživanja, Facebook je (na Facebooku, a gdje drugdje?) objavio blog-post u kojem je najavio prve rezultate svojeg rada na razvoju neinvazivne BCI tehnologije.
U tom tekstu je opisan uređaj nalik slušalicama koji u lubanju korisnika emitira valne duljine / fotone u spektru infracrvene svjetlosti i potom koristi promjene u moždanoj apsorpciji te svjetlosti za mjerenje oksigenacije u ciljnim skupinama moždanih stanica.
U postu je pisalo: „Vjerojatno znate za pulsni oksimetar, senzor nalik na štipaljku s crvenom svjetlošću, kojega vam u liječničkoj ordinaciji ili u bolnici stavljaju na prst kako bi izmjerili postotak zasićenja vaše krvi kisikom (oksigenaciju). Kao što je oksimetar u stanju kroz vaš prst izmjeriti zasićenosti krvi kisikom, tako se infracrveno svjetlo može upotrijebiti i za mjerenje oksigenacije krvi u mozgu, korištenjem senzora postavljenog izvan tijela na neinvazivan način… I mada nam mjerenje oksigenacije možda nikada neće omogućiti dekodiranje cijelih rečenica iz naših misli, ako budemo u stanju prepoznati samo nekoliko zamišljenih naredbi poput 'home', 'select' ili 'delete', stvorili bismo potpuno nove načine interakcije s današnjim virtual reality sustavima… i sutrašnjim artificial reality naočalama.“
Slušalice za infracrvene signale
Nakon te objave Facebook više nije davao puno informacija o tom projektu - sve do prije dva tjedna, kada je Mark Chevillet, direktor istraživanja u Facebook Reality Labsu i voditelj Facebook BCI projekta, održao polusatno predavanje na konferenciji Wearable Tech + Digital Health + Neurotech Silicon Valley održanoj 12-14. veljače 2020. u Stanfordu u Silikonskoj dolini.
Tada je otkrio dosta novih detalja o Facebook BCI-ju. Kao prvo, dovršen je prelazak na novi dizajn hardvera za komunikaciju s mozgom, koji sada nalikuje slušalicama koje se stavljaju na glavu. Iako još uvijek nije konačna verzija, Chevillet tvrdi da je daleko korisnija od prvotnog prototipa optičkog sučelja, kojega je za Facebook Reality Labs izradila istraživačka skupina na Sveučilištu Washington u St. Louisu. Taj je sustav bio velik, skup i ne bi se moglo reći da je bio comfortably wearable, ugodno nosiv, priznao je Chevillet.
No istraživači Facebooka su sada razvili jeftiniju i nosiviju verziju, koristeći komponente s nižim troškovima proizvodnje i s ugrađenom već postojećom, djelomično prilagođenom elektronikom. Ova naprava koju su nazvali komplet za detekciju, prikazana je u srpnju na Facebookovom blogu, a trenutno je u tijeku testira kojim se utvrđuje je li jednako osjetljiv kao i prethodni, veći uređaj.
Istovremeno s hardverskim usavršavanjem, istraživači usredotočuju svoje napore prema dva funkcionalna cilja: povećanju brzine očitavanja signala, te prema smanjenju šuma. "Hemodinamički odgovor kojega mjerimo - promjenu razine kisika u krvi u žilama koje opskrbljuju moždane regije", kaže Chevillet, "trenutno registriramo oko pet sekundi nakon što je mozak taj kisik utrošio na svoju aktivnost. Posve smo svjesni da je takvo kašnjenje između moždane aktivnosti i signala koji tu aktivnost pokazuje zaista preveliko za funkcionalno iskorištavanje u CBI-sustavu. Kada bismo mogli pojačati korisni dio signala i smanjiti šum, mogli bismo moždanu aktivnost registrirati s puno manje kašnjenja", objašnjava Chevillet.
Kontrast, gustoća, pikselizacija i algoritmi čišćenja šumova
Nove slušalice pomoći će ovom nastojanju, jer je utvrđeno da najveća količina šuma u signalu nastaje zbog pomicanja mjernog sustava po kosi i koži na glavi korisnika. Nove, manje slušalice čvršće sjede na glavi, što rezultira manjim pomacima nego što je to slučaj s većim uređajem za detekciju signala. Istovremeno se ispituje i mogućnost reduciranja šuma korištenjem svjetlosnih impulsa (umjesto dosadašnjeg kontinuiranog odašiljanja svjetlosti), u nadi da će na taj način bolje razlikovati fotone koji putuju kroz vlasište i lubanju prije nego što se reflektiraju (a koji su izvor beskorisnog dijela signala, tj. uzrok šuma) od fotona koji zaista potječu iz moždanog tkiva.
"Drugi način za poboljšanje odnosa signala i šuma uređajaj je povećanje kontrasta. Ne možemo neograničeno povećavati energiju signala iz infracrvenog spektra; ona mora ostati ispod sigurnosne dopuštene razine za moždano tkivo. No, može se povećati gustoća pikselizacije u sustavu fotodetektora, pa istraživački tim pokušava povećati broj optičkih vlakana na površini s koje se detektira signal. Trenutno iskušavamo detektorno polje od 32 x 32 piksela da vidimo možemo li poboljšati omjer signal-šum, a rezultate ćemo prezentirati kasnije tijekom ove godine", kaže Chevillet.
"No čak i kada dobijemo bolji signal, u njemu će se i dalje nalaziti nezanemariva količina šuma". Zato se istraživačka nastojanja, objasnio je Chevillet, usmjeravaju i prema iskorištavanju dosadašnjih saznanja o neuralnim osnovama govora, čime se pokušava postići detekcija "čistog" govornog signala, umjesto nasumičnog "čitanja" svih aktivnosti moždanih neurona.
"Jednostavnije rečeno: iz signala možemo odstraniti šum ako signal pročistimo govornim algoritmima", kaže on. "Te algoritme - koji su usavršeni na ogromnim količinama zvučnih zapisa ljudskog govora - pokušavamo naučiti da iz signala zagađenog šumom izvuku samo onaj korisni, govorni dio."
A što drugi kažu o tome?
''Ovakav neinvazivni pristup sučelju mozga i računala jest intrigantan, ali ga neće biti lako korisno primijeniti u praksi“, komentira Roozbeh Ghaffari, biomedicinski istraživač sa Sveučilišta Northwestern i izvršni direktor tvrtke Epicore Biosystems.
"Nedvojbeno je moguće povezati signale iz aktiviranih neurona s promjenama u lokalnim razinama oksigenacije u krvi. No ključni dio - o kojem će naposljetku ovisiti uspješnost i komercijalna primjenjivost ove ideje - je dovoljno precizno mapiranje, dakle vrlo točno i vrlo brzo povezivanje tih promjena mjerenih na površini kože sa signalima koji potječu iz moždanih centara za govor, što se čini vrlo izazovnim i zahtjevnim zadatkom", dodaje Ghaffari.
A nama, potencijalnim budućim korisnicima, preostaje pak da se strpimo - kako se čini, još sasvim malo vremena - pa vidimo koji će od nekolicine vrlo ozbiljno zamišljenih i još ozbiljnije financiranih istraživačko-bioinženjerskih projekata iznjedriti prve konkretne rezultate u sve žešćoj i zanimljivijoj utrci za izradu komercijalno primjenjivog sustava za izravnu komunikaciju mozga i računala… i kako će ti rezultati izgledati na (i u) našim glavama.
