Управляемая разумом робототехника: успех интерфейса «мозг-компьютер» в Калифорнийском университете в Сан-Франциско

Группа исследователей из Калифорнийского университета в Сан-Франциско (UCSF) разработала уникальный интерфейс «мозг-компьютер» (ИМК), который приближает мир к роботам, управляемым силой мысли. Вот как новая система может изменить ваше взаимодействие с устройствами в долгосрочной перспективе и помочь людям, потерявшим конечности, обрести лучшее качество жизни.

Интерфейс мозг-компьютер (BCI)

Использование интерфейсов мозг-компьютер продолжает расширяться на рынке. Эти устройства позволяют людям управлять устройствами исключительно силой мысли. Они работают с использованием различных электромагнитных датчиков, отслеживающих изменения активности мозга. Эти системы используют индивидуальные соматотопические репрезентации простых действий, таких как постукивание пальцем, для определения их движения.

Проблемы современного интерфейса «мозг-компьютер»

BCI предоставляют рынку захватывающие возможности, но технология все еще находится в зачаточном состоянии. Значительные недостатки, такие как стоимость программирования этих устройств и необходимость постоянной перенастройки для достижения надлежащей калибровки, продолжают ограничивать принятие. К счастью, новое исследование углубляется в то, почему BCI нуждаются в перенастройке, и представляет новую систему, которая обеспечивает долгосрочную поддержку BCI.

Исследование интерфейса мозг-компьютер

Исследование под названием «Выборка репрезентативной пластичности простых воображаемых движений на протяжении дней позволяет осуществлять долгосрочный нейропротезный контроль ¹ В статье, опубликованной в научном журнале Cell, приводятся подробные сведения о том, как обеспечить долгосрочное сложное нейропротезное управление.

Управляемая разумом робототехника

Целью исследования было отслеживание, каталогизация и обнаружение изменений в активности мозга для повседневных задач и простых движений. Для выполнения этой задачи исследователи отслеживали изменения репрезентативной структуры активности мозга в течение дней с помощью управления BCI.

Электрокортикография Интерфейс мозг-компьютер

Электрокортикография BCI позволила инженерам сравнивать нейронную активность с однополушарной сеткой ECoG, которая представляет воображаемые движения частей тела. Этот подход был необходим для определения репрезентативной структуры в мозге. В частности, команда использовала попарное разделение в качестве метрики отслеживания.

BCI интегрирует модели искусственного интеллекта (ИИ) для адаптации к постепенным изменениям паттернов нейронной активности с течением времени. Эти изменения, известные как дрейф репрезентации, происходят по мере адаптации мозга к повторяющимся двигательным задачам. ИИ уточняет интерпретацию мозговых сигналов, позволяя участнику сохранять контроль над роботизированной рукой в ​​течение нескольких месяцев. В исследовании использовался интракортикальный интерфейс «мозг-компьютер», где крошечные электроды имплантировались непосредственно в мозг для регистрации нейронной активности. В отличие от электрокортикографии (ЭКоГ), при которой датчики размещаются на поверхности мозга, интракортикальные имплантаты обеспечивают запись с высоким разрешением, но требуют непосредственной имплантации в мозговую ткань.

пластичность

Пластичность — это способность мозга адаптироваться к изменениям окружающей среды, здоровья или опыта. В частности, синаптическая пластичность мозга, гомеостатическая пластичность и нейрогенез взрослого организма ежедневно претерпевают адаптивные структурные и функциональные изменения.

Эти крошечные изменения могут быть незаметны для людей, но BCI должны преодолеть эту проблему, чтобы оставаться стабильными. Таким образом, исследователи хронологически составили график среднего расстояния Махаланобиса для каждой сессии, чтобы обеспечить отслеживаемость.

Репрезентативный дрейф

Нейронный дрейф — еще одно явление, которое инженерам необходимо учитывать при создании своей системы BCI. Дрейф относится к изменениям в активности и поведении с течением времени. Дрейф происходит с большинством долгосрочных воспоминаний, связанных с двигательными навыками.

Понимая, что нейронные представления знакомых движений постоянно развиваются, команда построила общее многообразие, используя данные за разные дни. Они отслеживали точные ежедневные изменения и конкретные различия, особенно в нейронных центроидах, которые не были обнаружены в конструкции исходных представлений.

Нейронная репрезентативная дисперсия

Инженеры смогли учесть нейронную репрезентативную дисперсию каждого действия. Таким образом, команда обнаружила мета-репрезентативную структуру с обобщаемыми границами решений для каждого репертуара действий, которые можно было локализовать по мере их смещения по всей ментальной сети.

Примечательно, что ранее команда изучала ментальную дисперсию у животных. Именно в ходе этих исследований они впервые заметили, что повседневные действия легко декодируются с высокой точностью с помощью датчиков BCI. Они также отметили, что действия стимулируют различные центроиды в нервной системе с течением времени.

Долгосрочный интерфейс мозг-компьютер

Это открытие позволило инженерам отслеживать репрезентации миграции в нейронной сети мозга для достижения долгосрочного контроля с помощью BCI. В частности, исследователи смогли отслеживать и корректировать суточную пластичность и дрейф с помощью разработанного ими искусственного интеллекта.

Тест интерфейса мозг-компьютер

В рамках фазы тестирования инженеры собрали данные во время 30 действий в 49 испытаниях и 32 действий в 48 испытаниях. Примечательно, что тест был сосредоточен на одной части тела — руке. Первым шагом был выбор подмножества действий и измерение репрезентативной структуры действий в различных контекстах с конечной целью управления виртуальной роботизированной рукой Jaco.

Участники теста интерфейса «мозг-компьютер»

Инженеры выбрали участника, страдающего тяжелым тетрапарезом и анартрией из-за двустороннего инсульта ствола мозга. Инсульт был настолько серьезным, что лишил его возможности говорить или двигаться. Участники с тетраплегией не получили никаких когнитивных повреждений, что сделало их идеальными для исследования.

После подключения пациента к обновленному интерфейсу мозг-компьютер (BCI) ему было предложено несколько заданий различной сложности: от визуализации движений различных частей тела, таких как кончик пальца, голова или нога, до микродвижений указательного пальца.

Команда использовала BCI на основе ECoG для регистрации представлений мозга для каждого действия. Улучшенный BCI предоставил инженерам повышенное разрешение и возможность проводить точную манипуляцию представлениями с обратной связью. Примечательно, что не было никаких наблюдаемых движений тела пациента, но умственная активность была такой же, как если бы он не был парализован.

Управляющая рука робота

Следующим шагом стала интеграция роботизированной руки Kinova Jaco для тестирования. На первом этапе тестирования пациенту было предложено манипулировать устройством, используя свои умственные способности. В ходе теста пациент пытался поднять предмет и переместить его в новое место. Это раннее тестирование показало плохую управляемость и недостаточную надежность со стороны пользователя.

Виртуальная 3D-среда

Осознавая, что контроллеру необходимо больше обратной связи, команда создала виртуальную руку робота. Такой подход позволяет пользователям совершенствовать управление и предоставлять ценную обратную связь, позволяя им отслеживать свой прогресс и возможности. Инженеры считают, что это быстрое обучение в ходе сеанса будет иметь решающее значение для будущих систем обучения протезированию.

Тест на время настройки интерфейса «мозг-компьютер»

Одним из самых больших прорывов этого исследования является то, что инженеры смогли использовать ту же протезную руку и пациента всего с 15-минутной повторной калибровкой после нескольких месяцев ожидания между сеансами. Термин использовал глубокую рекуррентную нейронную сеть (RNN) для корректировки пластичности и дрейфа.

После нескольких месяцев ожидания пациенту снова дали текстовые сообщения и дали определенные задания. Были проведены два сложных теста на дотягивание и схватывание и манипуляцию объектами с различными уровнями сложности, чтобы проверить, правильно ли функционирует система.

Первое задание требовало от пациента дотянуться и повернуть руку, чтобы схватить объект и переместить его в другое место. Впечатляет, что команда достигла среднего показателя успеха в 90%, выполнив задание всего за 60.8 с. Последующие задания становились сложнее, и последнее требовало от пациента открыть шкафчик, достать чашку и поднести ее к диспенсеру для воды, пока она не наполнится.

Результаты теста интерфейса «мозг-компьютер»

Результаты испытаний показали, что обновлённый BCI способен отслеживать нейронную дисперсию и обеспечивать повышенную точность нейронных сигналов. Исследование показало, что сигналы мозга о движении остаются стабильными с течением времени, но места их действия немного меняются.

ИИ автоматически подстраивается под отслеживание этих изменений, что позволяет легко настраивать системы, которые работают аналогично устройствам plug-and-play на вашем ПК. Команда также обнаружила некоторые интересные данные во время своего путешествия.

Они отметили, что каждая конечность имеет схожие модели инициативы у людей. Например, они могут посмотреть на модели мозга и увидеть разницу между движениями правой и левой руки. Кроме того, команда пришла к выводу, что быстрое снижение дисперсии имеет жизненно важное значение для принятия перцептивных решений.

Кроме того, исследование демонстрирует, что нейронную статистику, такую ​​как дисперсия, можно отслеживать и регулировать для увеличения расстояния репрезентации во время управления BCI без соматотопических изменений.

Преимущества интерфейса «мозг-компьютер»

Сочетание человеческого и искусственного интеллекта даёт множество преимуществ. Эти системы могут однажды помочь людям, пережившим тяжёлые утраты, восстановить контроль над своей жизнью и заниматься повседневными делами без стресса.

Стабильность

Исследование продемонстрировало, как настройка BCI может обеспечить стабильность этих устройств управления. Решение группы использовать низкоразмерное многообразие и относительные репрезентативные расстояния для репертуара простых воображаемых движений оказалось верным.

Новая запись

До этого недавнего теста BCI работал без повторной калибровки дольше всего около 2-3 дней. Эта необходимость в постоянной повторной калибровке низвела эти устройства до уровня тестирования. Теперь обновленный BCI может работать до 7 месяцев без обновлений, открывая двери для более отзывчивых и дешевых протезов и многого другого.

Более эффективным

Улучшенный BCI требует всего лишь около 15 минут для повторной калибровки каждые 6 месяцев. Это крупное обновление предыдущей системы, которая требовала калибровки каждые 3 дня из-за ухудшения производительности в течение длительных периодов для задач, требующих высокой точности.

Исследователи интерфейса мозг-компьютер

Исследователи из Калифорнийского университета в Сан-Франциско работали под руководством профессора неврологии и члена Института нейронаук Вейля UCSF Карунеша Гангули, доктора медицины и доктора философии. Соавторами статьи стали исследователь неврологии Нихилеш Натрадж, доктор философии, Сара Секо, Аделин Ту-Чан и Реза Абири из Университета Род-Айленда. Примечательно, что проект финансировался Национальными институтами здравоохранения и Институтом нейронаук Вейля UCSF.

Будущее интерфейса «мозг-компьютер»

По словам команды, сейчас цель — сделать роботизированную руку более плавной и отзывчивой. Они также хотят расширить команды, которые они сопоставляют с BCI, чтобы увеличить универсальность и возможности устройства. В будущем они надеются охватить и другие части тела.

Реальные приложения и хронология развития интерфейсов «мозг-компьютер»

Это достижение может иметь переворачивающий эффект во многих отраслях. Возможность контролировать и взаимодействовать с устройствами с помощью ментального контроля станет серьезным обновлением текущих методов. Это также может открыть дверь для новой эры в здравоохранении, электронике и обучении.

Хотя текущие реализации находятся на экспериментальной стадии, широкое клиническое применение может стать возможным в течение следующих 5–10 лет, в зависимости от результатов дальнейших исследований и одобрений регулирующих органов. Таким образом, существует большой ажиотаж вокруг будущих возможностей этой технологии.

Мед

Одной из областей, где эта технология, как считается, находит немедленное применение, является сектор протезирования. Многие считают использование технологии BCI вершиной систем управления протезированием. Это недавнее открытие обещает значительные перспективы для восстановления автономии людей с параличом, позволяя им взаимодействовать с окружающей средой с помощью устройств, управляемых мыслью.

Инновационные компании, лидирующие в разработке интерфейсов мозг-компьютер

Гонка за создание компьютеров и устройств, управляемых мозгом, побудила несколько компаний вложить миллионы долларов в исследования и разработки. Эти компании стремятся открыть новую эру в здравоохранении и науке, используя устройства, превосходящие современные клавиатуры и традиционные методы ввода. Вот одна из компаний, которая стала пионером в этом направлении и заработала себе имя на рынке.

Синхрон

Synchron начала работу в 2012 году как передовая нейротехнологическая фирма. Примечательно, что компания была названа SmartStent. В 2016 году фирма провела ребрендинг в Synchron, что отражает ее фокус на разработке минимально инвазивных BCI для помощи пациентам, страдающим от потери подвижности.

Сегодня Synchron предлагает широкий ассортимент продукции, включая эндоваскулярный нейронный интерфейс Stentrode. Это устройство проникает в тело через артерии и имплантируется в мозг, обеспечивая поддержку двигательных навыков. Этот продукт представляет собой постоянные инновации Synchronous в секторе.

Кроме того, фирма получила гранты от Агентства перспективных исследовательских проектов Министерства обороны США (DARPA), Министерства обороны США (DoD) и Национального совета по здравоохранению и медицинским исследованиям Австралии.

Те, кто ищет выход на рынок BCI, должны провести дальнейшее исследование Synchron. Его рыночное позиционирование и новаторские усилия продолжают закладывать основу для будущих компьютерных интерфейсов на базе ИИ и многого другого.

Интерфейсы «мозг-компьютер» изменят все.

Сегодняшние достижения BCI могут заставить ваши научно-фантастические мечты показаться устаревшими. Компьютеры будущего смогут общаться с вами напрямую посредством мыслей, открывая путь к новой эре человеческой эволюции. А пока эти инженеры заслуживают бурных аплодисментов за свои усилия.

Узнайте о других прорывах в области робототехники Cегодня.

Ссылки на исследования:

^{1. Гангули К., Натрадж Н., Секо С., Ту-Чан А. и Абири Р. (2024). Отбор образцов пластичности простых воображаемых движений на протяжении дней позволяет осуществлять долгосрочный нейропротезный контроль. Сотовый, 2024. https://doi.org/10.1016/j.cell.2024.02.029}