Периодическая таблица ИИ: MIT раскладывает нейросети по полочкам
NewsMakerАспирантка случайно перевернула мир технологий, просто изучая картинки котиков.
Учёные Массачусетского технологического института создали уникальный инструмент для систематизации алгоритмов машинного обучения — своеобразную периодическую таблицу, объединяющую более 20 классических методов искусственного интеллекта. Новая система не только раскрывает связи между существующими алгоритмами, но и предсказывает появление новых подходов в этой области.
В основу разработки легло неожиданное открытие. Работая в лаборатории Фримана, аспирантка MIT Шаден Альшаммари изучала алгоритмы кластеризации — методы, позволяющие автоматически группировать схожие изображения. В ходе исследования она заметила любопытную закономерность: математический аппарат этого подхода оказался удивительно похож на другой метод машинного обучения, известный как контрастное обучение.
Углубившись в математические основы обоих алгоритмов, исследовательница обнаружила, что их можно описать единым уравнением. Эта находка положила начало масштабному исследованию. "Мы пришли к объединяющей формуле практически случайно, — рассказывает соавтор работы Марк Гамильтон, аспирант MIT и старший инженер-менеджер Microsoft. — Когда Шаден показала связь между двумя методами, мы начали проверять, можно ли включить в эту систему другие алгоритмы. Почти каждая попытка оказывалась успешной".
Разработанная концепция получила название "информационное контрастное обучение" (I-Con). Она охватывает широкий спектр алгоритмов: от простых систем распознавания спама до сложных нейросетей, лежащих в основе современных языковых моделей. Все эти методы, как выяснили учёные, опираются на схожий принцип — поиск связей между реальными данными и их последующее моделирование внутри системы. Каждый алгоритм стремится минимизировать расхождение между обнаруженными закономерностями и их внутренним представлением.
К работе присоединились Джон Херши из Google AI Perception, Аксель Фельдман, аспирант MIT, и Уильям Фриман, профессор электротехники и информатики, член Лаборатории компьютерных наук и искусственного интеллекта (CSAIL). Совместными усилиями исследователи организовали найденные закономерности в виде периодической таблицы, где алгоритмы сгруппированы по двум параметрам: характеру связей между точками данных в реальных наборах и основным способам аппроксимации этих связей. Как и знаменитая таблица Менделеева, новая система содержит пустые клетки — места для алгоритмов, которые теоретически должны существовать, но пока не открыты.
"Это не просто метафора, — подчёркивает Альшаммари. — Мы начинаем воспринимать машинное обучение как систему со структурой, пространство для исследований, а не область случайных поисков". По мере заполнения таблицы учёные обнаруживали всё новые пробелы, указывающие на потенциальные направления развития алгоритмов.
Практическая ценность разработки уже получила подтверждение. Объединив принципы контрастного обучения с методами кластеризации, учёные создали новый алгоритм классификации изображений. Его точность на 8 процентов превысила показатели лучших существующих решений. Кроме того, исследователи успешно применили технику устранения предвзятости, изначально разработанную для контрастного обучения, к алгоритмам кластеризации.
Гибкая структура таблицы позволяет добавлять новые строки и столбцы, отражающие дополнительные типы связей между данными. "Мы показали, что одно элегантное уравнение, основанное на теории информации, объединяет алгоритмы, разработанные за целое столетие исследований в области машинного обучения. Это открывает множество новых путей для открытий", — подчеркивает Гамильтон.
Профессор Яир Вайс из Еврейского университета в Иерусалиме, не участвовавший в исследовании, отмечает особую значимость работы. По его словам, в условиях, когда количество публикаций по машинному обучению растёт в геометрической прогрессии, исследования, систематизирующие и объединяющие существующие алгоритмы, приобретают исключительную ценность, хотя встречаются крайне редко.
Проект получил поддержку нескольких организаций, включая Акселератор искусственного интеллекта ВВС США, Национальный научный фонд и его Институт искусственного интеллекта и фундаментальных взаимодействий, а также компанию Quanta Computer. Результаты исследования будут представлены на Международной конференции по изучению представлений.
Учёные Массачусетского технологического института создали уникальный инструмент для систематизации алгоритмов машинного обучения — своеобразную периодическую таблицу, объединяющую более 20 классических методов искусственного интеллекта. Новая система не только раскрывает связи между существующими алгоритмами, но и предсказывает появление новых подходов в этой области.
В основу разработки легло неожиданное открытие. Работая в лаборатории Фримана, аспирантка MIT Шаден Альшаммари изучала алгоритмы кластеризации — методы, позволяющие автоматически группировать схожие изображения. В ходе исследования она заметила любопытную закономерность: математический аппарат этого подхода оказался удивительно похож на другой метод машинного обучения, известный как контрастное обучение.
Углубившись в математические основы обоих алгоритмов, исследовательница обнаружила, что их можно описать единым уравнением. Эта находка положила начало масштабному исследованию. "Мы пришли к объединяющей формуле практически случайно, — рассказывает соавтор работы Марк Гамильтон, аспирант MIT и старший инженер-менеджер Microsoft. — Когда Шаден показала связь между двумя методами, мы начали проверять, можно ли включить в эту систему другие алгоритмы. Почти каждая попытка оказывалась успешной".
Разработанная концепция получила название "информационное контрастное обучение" (I-Con). Она охватывает широкий спектр алгоритмов: от простых систем распознавания спама до сложных нейросетей, лежащих в основе современных языковых моделей. Все эти методы, как выяснили учёные, опираются на схожий принцип — поиск связей между реальными данными и их последующее моделирование внутри системы. Каждый алгоритм стремится минимизировать расхождение между обнаруженными закономерностями и их внутренним представлением.
К работе присоединились Джон Херши из Google AI Perception, Аксель Фельдман, аспирант MIT, и Уильям Фриман, профессор электротехники и информатики, член Лаборатории компьютерных наук и искусственного интеллекта (CSAIL). Совместными усилиями исследователи организовали найденные закономерности в виде периодической таблицы, где алгоритмы сгруппированы по двум параметрам: характеру связей между точками данных в реальных наборах и основным способам аппроксимации этих связей. Как и знаменитая таблица Менделеева, новая система содержит пустые клетки — места для алгоритмов, которые теоретически должны существовать, но пока не открыты.
"Это не просто метафора, — подчёркивает Альшаммари. — Мы начинаем воспринимать машинное обучение как систему со структурой, пространство для исследований, а не область случайных поисков". По мере заполнения таблицы учёные обнаруживали всё новые пробелы, указывающие на потенциальные направления развития алгоритмов.
Практическая ценность разработки уже получила подтверждение. Объединив принципы контрастного обучения с методами кластеризации, учёные создали новый алгоритм классификации изображений. Его точность на 8 процентов превысила показатели лучших существующих решений. Кроме того, исследователи успешно применили технику устранения предвзятости, изначально разработанную для контрастного обучения, к алгоритмам кластеризации.
Гибкая структура таблицы позволяет добавлять новые строки и столбцы, отражающие дополнительные типы связей между данными. "Мы показали, что одно элегантное уравнение, основанное на теории информации, объединяет алгоритмы, разработанные за целое столетие исследований в области машинного обучения. Это открывает множество новых путей для открытий", — подчеркивает Гамильтон.
Профессор Яир Вайс из Еврейского университета в Иерусалиме, не участвовавший в исследовании, отмечает особую значимость работы. По его словам, в условиях, когда количество публикаций по машинному обучению растёт в геометрической прогрессии, исследования, систематизирующие и объединяющие существующие алгоритмы, приобретают исключительную ценность, хотя встречаются крайне редко.
Проект получил поддержку нескольких организаций, включая Акселератор искусственного интеллекта ВВС США, Национальный научный фонд и его Институт искусственного интеллекта и фундаментальных взаимодействий, а также компанию Quanta Computer. Результаты исследования будут представлены на Международной конференции по изучению представлений.