ИИ научился читать мысли людей: учёные воссоздали видео по сканам мозга
NewsMakerЭксперты сделали большое открытие, которое ускорит развитие медицины и нейронауки.
С помощью генеративного ИИ ученые смогли создать высококачественное видео на основе данных мозгового сканирования.
Ученые из Национального университета Сингапура и Китайского университета Гонконга применили функциональную магнитно-резонансную томографию (фМРТ) и модель ИИ Stable Diffusion для разработки модели под названием MinD-Video, которая производит видео на основе активности мозга.
На сайте проекта можно увидеть демонстрацию. Демонстрация показывает видео, которые просматривали испытуемые, и видео, сгенерированные ИИ по их мозговому сигналу. Два видео почти не отличаются друг от друга. Они содержат похожие сцены и цвета.
По словам исследователей, MinD-Video — это «двухэтапный процесс, способный преодолеть разницу между декодированием изображений и видео из мозга». Для обучения системы эксперты использовали открытый набор данных, включающий видеоклипы и данные фМРТ мозгов испытуемых, которые смотрели видео. «Двухэтапный процесс» состоял из обученного фМРТ-декодера и точно настроенной версии Stable Diffusion.
Декодирование видео из мозга и реконструкция видео
Авторы исследования полагают, что технология имеет большой потенциал для применения в разных областях, от неврологии до интерфейсов мозг-компьютер.
Учёные также отметили, что из результатов эксперимента можно сделать три основных вывода.
С помощью генеративного ИИ ученые смогли создать высококачественное видео на основе данных мозгового сканирования.
Ученые из Национального университета Сингапура и Китайского университета Гонконга применили функциональную магнитно-резонансную томографию (фМРТ) и модель ИИ Stable Diffusion для разработки модели под названием MinD-Video, которая производит видео на основе активности мозга.
На сайте проекта можно увидеть демонстрацию. Демонстрация показывает видео, которые просматривали испытуемые, и видео, сгенерированные ИИ по их мозговому сигналу. Два видео почти не отличаются друг от друга. Они содержат похожие сцены и цвета.
По словам исследователей, MinD-Video — это «двухэтапный процесс, способный преодолеть разницу между декодированием изображений и видео из мозга». Для обучения системы эксперты использовали открытый набор данных, включающий видеоклипы и данные фМРТ мозгов испытуемых, которые смотрели видео. «Двухэтапный процесс» состоял из обученного фМРТ-декодера и точно настроенной версии Stable Diffusion.
Декодирование видео из мозга и реконструкция видео
Авторы исследования полагают, что технология имеет большой потенциал для применения в разных областях, от неврологии до интерфейсов мозг-компьютер.
Учёные также отметили, что из результатов эксперимента можно сделать три основных вывода.
- Зрительная кора является ключевым элементом зрительного восприятия;
- фМРТ- декодер работает в иерархическом порядке, который начинается со структурной информации, а затем переходит к более абстрактным и визуальным характеристикам на более глубоких уровнях;
- фМРТ- декодер эволюционировал на каждом этапе обучения, показывая способность улавливать все более тонкую информацию по мере обучения.