Никаких кликов — только мышцы: Meta показала браслет, управляющий компьютером жестами
NewsMakerПодумал — сжал пальцы — написал слово в воздухе.
Учёные из Meta* представили прототип носимого устройства , способного улавливать электрическую активность мышц запястья и в реальном времени превращать её в компьютерные команды — без камер, электродов в мозге или иной инвазивной техники. Исследование опубликовано в журнале Nature и описывает разработку браслета, который отслеживает даже едва заметные сокращения мышц и позволяет управлять интерфейсом с помощью жестов, включая написание букв в воздухе и щипковые движения пальцами.
Устройство использует технологию поверхностной электромиографии (sEMG): крошечные электрические импульсы, возникающие при сокращении мышц, фиксируются электродами, встроенными в корпус браслета. Эти сигналы передаются по Bluetooth и мгновенно преобразуются в команды для компьютера. Благодаря высокой чувствительности сенсоров браслет способен реагировать на движения без необходимости калибровки под конкретного пользователя или установки имплантов.
Над проектом работала команда Reality Labs под руководством Патрика Кайфоша и Томаса Рирдона. В ходе экспериментов браслет демонстрировал распознавание жестов в реальном времени: пользователь мог двигать курсором, выбирать команды и даже вводить текст, «рисуя» слова в воздухе рукой. При этом система достигала скорости ввода около 20,9 слов в минуту — медленнее, чем на смартфонах (в среднем 36 слов в минуту), но для новой формы взаимодействия результат всё равно впечатляющий.
Главной особенностью стало то, что модель работает без индивидуального обучения: алгоритм способен обобщать сигналы разных людей и понимать команды «с ходу». Для этого исследователи собрали масштабную базу данных: более 100 часов sEMG-записей от 300 добровольцев, охватывающих три типа задач, описанных в статье. Эти данные легли в основу универсальной модели, способной распознавать сигналы от широкого круга пользователей.
По словам авторов, разработанный браслет — первая высокоскоростная нейромоторная система, демонстрирующая надёжную работу «из коробки» без адаптации под анатомические и физиологические особенности конкретного человека. Однако персонализированная настройка всё же способна повысить точность — примерно на 16%, что также было подтверждено в ходе тестов.
В долгосрочной перспективе система может оказаться особенно полезной для людей с ограниченной подвижностью. Несмотря на то, что тренировочные данные собирались преимущественно у здоровых участников, в работе отмечается, что первые эксперименты с представителями клинических групп дают обнадёживающие результаты. При этом, как подчёркивают разработчики, такие задачи требуют дальнейшего расширения набора данных и повышения чувствительности сенсоров, а также, возможно, комбинирования sEMG с другими биометрическими данными , считываемыми с запястья.
В рамках поддержки дальнейших исследований команда Meta выложила в открытый доступ массив данных, собранный в ходе проекта. Этот жест направлен на развитие направления пользовательских интерфейсов, основанных на мышечной активности, и может стать основой для новых форм взаимодействия с цифровыми устройствами.
* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.
Учёные из Meta* представили прототип носимого устройства , способного улавливать электрическую активность мышц запястья и в реальном времени превращать её в компьютерные команды — без камер, электродов в мозге или иной инвазивной техники. Исследование опубликовано в журнале Nature и описывает разработку браслета, который отслеживает даже едва заметные сокращения мышц и позволяет управлять интерфейсом с помощью жестов, включая написание букв в воздухе и щипковые движения пальцами.
Устройство использует технологию поверхностной электромиографии (sEMG): крошечные электрические импульсы, возникающие при сокращении мышц, фиксируются электродами, встроенными в корпус браслета. Эти сигналы передаются по Bluetooth и мгновенно преобразуются в команды для компьютера. Благодаря высокой чувствительности сенсоров браслет способен реагировать на движения без необходимости калибровки под конкретного пользователя или установки имплантов.
Над проектом работала команда Reality Labs под руководством Патрика Кайфоша и Томаса Рирдона. В ходе экспериментов браслет демонстрировал распознавание жестов в реальном времени: пользователь мог двигать курсором, выбирать команды и даже вводить текст, «рисуя» слова в воздухе рукой. При этом система достигала скорости ввода около 20,9 слов в минуту — медленнее, чем на смартфонах (в среднем 36 слов в минуту), но для новой формы взаимодействия результат всё равно впечатляющий.
Главной особенностью стало то, что модель работает без индивидуального обучения: алгоритм способен обобщать сигналы разных людей и понимать команды «с ходу». Для этого исследователи собрали масштабную базу данных: более 100 часов sEMG-записей от 300 добровольцев, охватывающих три типа задач, описанных в статье. Эти данные легли в основу универсальной модели, способной распознавать сигналы от широкого круга пользователей.
По словам авторов, разработанный браслет — первая высокоскоростная нейромоторная система, демонстрирующая надёжную работу «из коробки» без адаптации под анатомические и физиологические особенности конкретного человека. Однако персонализированная настройка всё же способна повысить точность — примерно на 16%, что также было подтверждено в ходе тестов.
В долгосрочной перспективе система может оказаться особенно полезной для людей с ограниченной подвижностью. Несмотря на то, что тренировочные данные собирались преимущественно у здоровых участников, в работе отмечается, что первые эксперименты с представителями клинических групп дают обнадёживающие результаты. При этом, как подчёркивают разработчики, такие задачи требуют дальнейшего расширения набора данных и повышения чувствительности сенсоров, а также, возможно, комбинирования sEMG с другими биометрическими данными , считываемыми с запястья.
В рамках поддержки дальнейших исследований команда Meta выложила в открытый доступ массив данных, собранный в ходе проекта. Этот жест направлен на развитие направления пользовательских интерфейсов, основанных на мышечной активности, и может стать основой для новых форм взаимодействия с цифровыми устройствами.
* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.