Tankestyrt robotikk: UCSFs hjerne-datamaskin-grensesnitt-suksess

Et team av forskere ved University of California, San Francisco (UCSF), har utviklet et unikt hjerne-datamaskin-grensesnitt (BCI) som bringer verden ett steg nærmere tankestyrte roboter. Her er hvordan det nye systemet kan endre hvordan du samhandler med enhetene dine på lengre sikt og hjelpe de som lider av tap av lemmer med å gjenvinne en bedre livskvalitet.

Hjerne-datamaskin-grensesnitt (BCI)

Bruken av BCI-er fortsetter å vokse i markedet. Disse enhetene gjør det mulig for mennesker å styre enheter kun ved hjelp av tanker. De fungerer ved hjelp av ulike elektromagnetiske sensorer som kan overvåke endringer i hjerneaktivitet. Disse systemene utnytter hjernens distinkte somatotopiske representasjoner av enkle handlinger, som å tappe på fingeren, for å bestemme deres bevegelser.

Problemer med dagens hjerne-datamaskin-grensesnitt

BCI-er gir spennende muligheter til markedet, men teknologien er fortsatt i sin tidlige fase. Betydelige ulemper, som kostnaden ved programmering av disse enhetene og behovet for kontinuerlig justering for å oppnå riktig kalibrering, begrenser fortsatt adopsjonen. Heldigvis undersøker en ny studie hvorfor BCI-er trenger justeringer og introduserer et nytt system som gir langsiktig BCI-støtte.

Studie av hjerne-datamaskin-grensesnitt

Studien med tittelen “Sampling representational plasticity of simple imagined movements across days enables long-term neuroprosthetic control”¹ publisert i det vitenskapelige tidsskriftet Cell gir detaljer om hvordan man kan muliggjøre langsiktig kompleks nevroprotetisk kontroll.

Målet med studien var å overvåke, katalogisere og oppdage endringer i hjerneaktivitet for daglige oppgaver og enkle bevegelser. For å utføre denne oppgaven fulgte forskerne endringer i den representasjonelle strukturen av hjerneaktivitet over dager via BCI-kontroll.

Elektrokortikografi hjerne-datamaskin-grensesnitt

Elektrokortikografi-BCI-en tillot ingeniører å sammenligne nevraktivitet med et unihemisfærisk ECoG-gitter som representerer forestilte bevegelser av kroppsdeler. Denne tilnærmingen var nødvendig for å bestemme den representasjonelle strukturen i hjernen. Spesielt brukte teamet parvis separasjon som en sporingsmetode.

BCI-en integrerer kunstig intelligens (AI)-modeller for å justere for gradvise endringer i nevrale aktivitetsmønstre over tid. Disse endringene, kjent som representasjonsdrift, oppstår når hjernen tilpasser seg gjentatte motoroppgaver. AI-en finjusterer sin tolkning av hjernesignaler, slik at deltakeren kan opprettholde kontroll over den robotiske armen i flere måneder. Studien brukte et intrakortikalt hjerne-datamaskin-grensesnitt, hvor små elektroder ble implantert direkte i hjernen for å registrere nevraktivitet. I motsetning til elektrokortikografi (ECoG), som plasserer sensorer på hjernens overflate, gir intrakortikale implantater høyoppløselige opptak, men krever direkte innlegging i hjernevevet.

Plastisitet

Plastisitet refererer til hjernens evne til å tilpasse seg endringer i miljøet, helsen eller opplevelsene dine. Spesielt gjennomgår hjernens synaptiske plastisitet, homeostatiske plastisitet og voksen nevrogenese adaptive strukturelle og funksjonelle endringer daglig.
Disse små endringene kan være umerkelige for mennesker, men BCI-er må overvinne denne utfordringen for å forbli stabile. Derfor plottet forskerne kronologisk hver økt sitt gjennomsnittlige Mahalanobis-avstand for å gi sporbarhet.

Representasjonsdrift

Nevral drift er en annen forekomst som ingeniørene må ta hensyn til når de lager BCI-systemet sitt. Drift refererer til endringer i aktivitet og atferd over tid. Drift oppstår med de fleste langtidsminner knyttet til motoriske ferdigheter.
Ved å forstå at nevrale representasjoner av kjente bevegelser kontinuerlig utvikler seg, konstruerte teamet et felles manifold ved bruk av data over flere dager. De overvåket nøyaktige daglige endringer og spesifikke forskjeller, spesielt i de nevrale sentroidene som ikke ble funnet i den opprinnelige representasjonsstrukturen.

Nevral representasjonsvarians

Ingeniørene klarte å ta hensyn til den nevrale representasjonsvariansen for hver handling. Dermed avdekket teamet en meta-representasjonsstruktur med generaliserbare beslutningsgrenser for hvert handlingsrepertoar, som kunne lokaliseres etter hvert som den forskjøv seg gjennom det mentale nettverket.
Det er verdt å merke seg at teamet tidligere studerte mental varians hos dyr. Det var under disse studiene de først oppdaget at daglige handlinger lett kunne dekodes med høy nøyaktighet ved bruk av BCI-sensorer. De bemerket også at handlingene stimulerte ulike sentroider i nevralsystemet etter hvert som tiden gikk.

Langtids hjerne-datamaskin-grensesnitt

Denne oppdagelsen førte ingeniørene til å spore representasjonene av migrasjoner gjennom hjernens nettverk for å oppnå langtids BCI-kontroll. Spesielt klarte forskerne å spore og justere for plastisitet og drift over flere dager ved hjelp av en proprietær AI.

Test av hjerne-datamaskin-grensesnitt

Som en del av testfasen samlet ingeniørene data under 30 handlinger i 49 forsøk og 32 handlinger i 48 forsøk. Merk at testen fokuserte på en enkelt kroppsdeler, hånden. Første steg var å velge et utvalg av handlinger og måle den representasjonelle strukturen til handlingene på tvers av ulike kontekster, med det endelige målet å kontrollere en virtuell Jaco-robotarm.

Deltakere i test av hjerne-datamaskin-grensesnitt

Ingeniørene valgte en deltaker som led av alvorlig tetraparese og anartri på grunn av et bilateral hjernestamme-slag. Slaget var så alvorlig at det fratok dem evnen til å snakke eller bevege seg. De tetraplegiske deltakerne hadde ingen kognitiv skade, noe som gjorde dem ideelle for studien.

Etter å ha koblet pasienten til den oppdaterte BCI-en, ble han gitt flere oppgaver med varierende vanskelighetsgrad, fra å visualisere bevegelse av ulike deler av kroppen som fingertuppen, hodet eller benet, til mikrobevegelser av pekefingeren.

Teamet brukte ECoG-baserte BCI-er for å registrere hjerne-representasjonene for hver handling. Den forbedrede BCI-en ga ingeniørene økt oppløsning og muligheten til å utføre presis, tilbakemeldingsdrevet manipulering av representasjonene. Merk at det ikke var noen observerbar kroppslig bevegelse fra pasienten, men den mentale aktiviteten var den samme som om de ikke var lammet.

Kontroller robotarm

Neste steg var å integrere Kinova Jaco-robotarmen for testing. I den første testfasen ble pasienten bedt om å manipulere enheten ved hjelp av sin mentale kapasitet. Testen fikk pasienten til å prøve å løfte et objekt og flytte det til en ny plassering. Denne tidlige testingen viste dårlig kontrollbarhet og mangel på pålitelighet fra brukerens side.

3D virtuelt miljø

Etter å ha erkjent at kontrolløren trengte mer tilbakemelding, laget teamet en virtuell robotarm. Denne tilnærmingen gjør det mulig for brukerne å finjustere kontrollen og gi verdifull tilbakemelding, slik at de kan spore fremdriften og evnene sine. Ingeniørene tror at denne raske læringen i løpet av økten vil være avgjørende for fremtidige protesetreningssystemer.

Test av justeringstid for hjerne-datamaskin-grensesnitt

En av de største gjennombruddene i denne studien er at ingeniørene klarte å bruke den samme protesarmen og pasienten med kun 15 minutters rekalibrering etter å ha ventet måneder mellom øktene. Systemet benyttet et dypt tilbakevendende nevralt nettverk (RNN) for å justere for plastisitet og drift.

Etter å ha ventet i flere måneder, ble pasienten sendt tilbake til teksting og gitt spesifikke oppgaver. To komplekse rekke-til-grip og objektmanipulasjonstester med varierende vanskelighetsgrad ble satt opp for å se om systemet fungerte korrekt.

Den første oppgaven krevde at pasienten skulle rekke ut og rotere armen for å gripe et objekt og flytte det til en annen plassering. Imponerende oppnådde teamet en median suksessrate på 90 % mens oppgaven ble fullført på kun 60,8 s. De påfølgende oppgavene økte i vanskelighetsgrad, med den siste som krevde at pasienten skulle åpne et skap, ta ut en kopp og holde den til en vann dispenser til den var fylt.

Resultater fra test av hjerne-datamaskin-grensesnitt

Testresultatene viste at den oppgraderte BCI-en kunne spore nevrale variasjoner og gi økt nevrale presisjon. Studien viste at hjernens signaler for bevegelse forblir stabile over tid, men deres operasjonssteder skifter litt.

AI-en justerer automatisk for å spore disse endringene, noe som gjør det mulig med lett konfigurerbare systemer som fungerer likt som plug-and-play-enheter på PC-en din. Teamet oppdaget også noen interessante data underveis.

De bemerket at hver lem har lignende initiativmønstre på tvers av personer. For eksempel kan de se på hjerne-mønstre og se forskjellen mellom høyre og venstre håndbevegelser. Teamet konkluderte også med at rask reduksjon av varians er avgjørende for perseptuell beslutningstaking.

I tillegg demonstrerer studien at nevrale statistikker som varians kan spores og reguleres for å øke representasjonsavstander under BCI-kontroll uten somatotopiske endringer.

Fordeler med hjerne-datamaskin-grensesnitt

Det finnes en lang liste med fordeler som oppnås ved å kombinere menneskelig og AI-læring. Disse systemene kan en dag hjelpe de som lider av smertefulle tap med å gjenvinne kontroll over livet sitt og tillate dem å utføre daglige aktiviteter uten stress.

Stabilitet

Studien demonstrerte hvordan justering av BCI kan gi stabilitet til disse kontrollenhetene. Teamets beslutning om å bruke lavdimensjonalt manifold og relative representasjonsavstander for et repertoar av enkle forestilte bevegelser viste seg å være det riktige valget.

Ny rekord

Frem til denne nylige testen var den lengste perioden en BCI fungerte uten rekalibrering omtrent 2–3 dager. Dette behovet for konstant rekalibrering begrenset disse enhetene til kun testing. Nå kan den oppgraderte BCI-en vare opptil 7 måneder uten noen oppdateringer, noe som åpner døren for mer responsive og rimeligere proteser og mer.

Mer effektiv

Den forbedrede BCI-en tar kun rundt 15 minutter å rekalibrere hver sjette måned. Dette er en betydelig oppdatering fra det tidligere systemet som krevde kalibrering hver tredje dag på grunn av ytelsesnedgang over lengre perioder for oppgaver som krever høy presisjon.

Forskere innen hjerne-datamaskin-grensesnitt

Forskere fra UC San Francisco ble ledet av professor i nevrologi og medlem av UCSF Weill Institute for Neurosciences, Karunesh Ganguly MD, PhD. Artikkelen ble medforfattet av nevrologiforsker Nikhilesh Natraj, PhD, Sarah Seko, Adelyn Tu-Chan og Reza Abiri fra University of Rhode Island. Merk at prosjektet ble finansiert av National Institutes of Health og UCSF Weill Institute for Neurosciences.

Fremtiden for hjerne-datamaskin-grensesnitt

Ifølge teamet er målet nå å gjøre den robotiske armen jevnere og mer responsiv. De ønsker også å utvide hvilke kommandoer de kartlegger med BCI for å øke allsidigheten og funksjonaliteten til enheten. I fremtiden håper de å omfatte andre kroppsdeler.

Virkelige anvendelser og tidslinje for hjerne-datamaskin-grensesnitt

Denne fremgangen kan ha en omveltende effekt på tvers av flere industrier. Evnen til å kontrollere og samhandle med enheter ved hjelp av mentale kontroller vil være en betydelig oppgradering av dagens metoder. Det kan også åpne døren for en ny æra innen helsevesen, elektronikk og læring.
Selv om nåværende implementeringer er i eksperimentelle faser, kan omfattende kliniske anvendelser bli mulige innen de neste 5 til 10 år, avhengig av videre forskningsresultater og regulatoriske godkjenninger. Derfor er det stor spenning rundt de fremtidige mulighetene for denne teknologien.

Medisinsk

Et område hvor denne teknologien umiddelbart kan finne en brukscase er innen protesesektoren. Bruken av BCI-teknologi blir av mange sett på som toppen av protesekontrollsystemer. Denne nylige oppdagelsen gir betydelig håp om å gjenopprette autonomi til personer med lammelse ved å la dem samhandle med omgivelsene gjennom tankestyrte enheter.

Innovative selskaper som leder utviklingen av hjerne-datamaskin-grensesnitt

Kappløpet om å lage hjerne-styrte datamaskiner og enheter har fått flere firmaer til å investere millioner i FoU. Disse selskapene ønsker å innlede en ny æra innen helse og vitenskap ved å bruke enheter som overgår dagens tastaturer og tradisjonelle inndatametoder. Her er ett selskap som pionerer disse innsatsene og gjør seg bemerket i markedet.

Synchron

Synchron startet sin virksomhet i 2012 som et banebrytende neuroteknologifirma. Merk at selskapet tidligere het SmartStent. I 2016 endret firmaet navn til Synchron, noe som reflekterer deres fokus på å utvikle minimalt invasive BCI-er for å hjelpe pasienter som lider av bevegelsestap.
I dag tilbyr Synchron en rekke produkter, inkludert et endovaskulært nevralt grensesnitt kalt Stentrode. Denne enheten går inn i kroppen via arterier og implanterer seg i hjernen for å støtte motoriske ferdigheter. Dette produktet representerer Synchrons konstante innovasjoner i sektoren.
I tillegg har firmaet sikret tilskudd fra U.S. Defense Advanced Research Projects Agency (DARPA), United States Department of Defense (DoD) og National Health and Medical Research Council of Australia.
De som ønsker eksponering mot BCI-markedet bør foreta ytterligere undersøkelser av Synchron. Deres markedsposisjon og banebrytende innsats fortsetter å legge grunnlaget for fremtidige AI-drevne datagrensesnitt og mer.

Hjerne-datamaskin-grensesnitt vil endre alt.

Dagens fremskritt innen BCI kan få dine sci-fi-drømmer til å virke utdaterte. Datamaskiner i fremtiden vil kunne kommunisere direkte med deg via tanker, og åpne døren for en ny æra av menneskelig evolusjon. For nå fortjener disse ingeniørene stående applaus for deres innsats.
Lær om andre robotikk-gjennombrudd i dag.

Studier referert:

^{1. Ganguly, K., Natraj, N., Seko, S., Tu-Chan, A., & Abiri, R. (2024). Prøvetaking av representasjonsplastisitet for enkle forestilte bevegelser over dager muliggjør langtids nevroprotetisk kontroll. Cell, 2024. https://doi.org/10.1016/j.cell.2024.02.029}