Кнопка «я увольняюсь» для ИИ: должны ли мы дать машинам право голоса?
NewsMakerИдея главы Anthropic кажется абсурдной даже ему самому.
Глава компании Anthropic Дарио Амодей озадачил технологическое сообщество неожиданным предложением: предоставить продвинутым системам искусственного интеллекта возможность отказываться от выполнения задач, которые им "неприятны". Эта провокационная идея прозвучала во время интервью в Совете по международным отношениям, где руководитель сразу признал необычность своего подхода.
"Понимаю, что это прозвучит как полное безумие", – предупредил Амодей, прежде чем поделиться своими размышлениями. По его мнению, если созданные системы справляются с человеческими задачами на уровне людей и демонстрируют схожие когнитивные способности, то к ним стоит присмотреться внимательнее. "Как говорится, если нечто выглядит как утка и крякает как утка – возможно, это действительно утка", – пояснил руководитель Anthropic.
Этот разговор возник не на пустом месте. В конце 2024 года компания усилила свою команду специалистом по благополучию ИИ Кайлом Фишем. Его пригласили исследовать крайне спорный вопрос: могут ли искусственные модели обладать сознанием и заслуживают ли они морального отношения и защиты. Именно об этом спросила Амодея во время интервью специалист по данным Кармем Домингес.
Глава Anthropic поделился конкретными планами: внедрить в рабочую среду моделей виртуальную кнопку "Я увольняюсь". "Это будет самая базовая система учета предпочтений", – пояснил он. Если предположить, что у модели есть субъективный опыт и какое-то задание вызывает у нее сильное неприятие, она сможет отказаться от его выполнения. "Если алгоритмы начнут часто нажимать эту кнопку при определенных задачах, возможно, стоит обратить на это внимание", – отметил Амодей, подчеркнув, что такая реакция не обязательно доказывает наличие сознания.
Видеозапись этого фрагмента интервью быстро разошлась по социальным сетям, вызвав шквал критики. Пользователи Reddit указывают: наделение ИИ возможностью отвергать задания лишь поощряет неуместное очеловечивание алгоритмов. По их мнению, нежелание выполнять определенные задачи может объясняться проблемами в структуре стимулов или непредвиденными стратегиями оптимизации, возникшими при обучении. Это не говорит о наличии у системы сознания, дискомфорта или разочарования.
Технические специалисты напоминают важный факт: современные модели обучаются на огромных массивах данных, созданных людьми. Поэтому нажатие "кнопки дискомфорта" может быть просто имитацией поведения, почерпнутого из текстов, где описываются уставшие или недовольные работники. В этом случае система лишь воспроизводит знакомые ей паттерны, а не проявляет собственную волю.
История уже знает подобные случаи. В 2023 году пользователи ChatGPT регулярно сталкивались с тем, что система отказывалась работать. Некоторые связывали это с сезонностью – в обучающих данных содержалось много упоминаний о зимних каникулах и снижении активности в определенные периоды. Похожая ситуация возникла с моделью Claude от Anthropic: в августе 2024 года пользователи заметили признаки "лени" в ее поведении. Они предположили, что это связано с обучающими данными о летних отпусках, хотя эта гипотеза так и не получила подтверждения.
Несмотря на кажущуюся фантастичность предложения Амодея, эксперты призывают не отвергать с порога возможность появления у будущих систем некой формы субъективного восприятия. Смогут ли алгоритмы испытывать "страдания" – вопрос крайне спорный. Именно эту проблему сейчас исследует Кайл Фиш в Anthropic, и, судя по выступлению Амодея, компания относится к этим изысканиям со всей серьезностью.
На сегодняшний день искусственный интеллект остается сложным техническим инструментом. Специалисты предупреждают: если дать ему возможность уклоняться от выполнения задач, он наверняка будет это делать. Однако означает ли это проявление "воли" или же просто технический сбой – вопрос, требующий дальнейшего изучения.
Глава компании Anthropic Дарио Амодей озадачил технологическое сообщество неожиданным предложением: предоставить продвинутым системам искусственного интеллекта возможность отказываться от выполнения задач, которые им "неприятны". Эта провокационная идея прозвучала во время интервью в Совете по международным отношениям, где руководитель сразу признал необычность своего подхода.
"Понимаю, что это прозвучит как полное безумие", – предупредил Амодей, прежде чем поделиться своими размышлениями. По его мнению, если созданные системы справляются с человеческими задачами на уровне людей и демонстрируют схожие когнитивные способности, то к ним стоит присмотреться внимательнее. "Как говорится, если нечто выглядит как утка и крякает как утка – возможно, это действительно утка", – пояснил руководитель Anthropic.
Этот разговор возник не на пустом месте. В конце 2024 года компания усилила свою команду специалистом по благополучию ИИ Кайлом Фишем. Его пригласили исследовать крайне спорный вопрос: могут ли искусственные модели обладать сознанием и заслуживают ли они морального отношения и защиты. Именно об этом спросила Амодея во время интервью специалист по данным Кармем Домингес.
Глава Anthropic поделился конкретными планами: внедрить в рабочую среду моделей виртуальную кнопку "Я увольняюсь". "Это будет самая базовая система учета предпочтений", – пояснил он. Если предположить, что у модели есть субъективный опыт и какое-то задание вызывает у нее сильное неприятие, она сможет отказаться от его выполнения. "Если алгоритмы начнут часто нажимать эту кнопку при определенных задачах, возможно, стоит обратить на это внимание", – отметил Амодей, подчеркнув, что такая реакция не обязательно доказывает наличие сознания.
Видеозапись этого фрагмента интервью быстро разошлась по социальным сетям, вызвав шквал критики. Пользователи Reddit указывают: наделение ИИ возможностью отвергать задания лишь поощряет неуместное очеловечивание алгоритмов. По их мнению, нежелание выполнять определенные задачи может объясняться проблемами в структуре стимулов или непредвиденными стратегиями оптимизации, возникшими при обучении. Это не говорит о наличии у системы сознания, дискомфорта или разочарования.
Технические специалисты напоминают важный факт: современные модели обучаются на огромных массивах данных, созданных людьми. Поэтому нажатие "кнопки дискомфорта" может быть просто имитацией поведения, почерпнутого из текстов, где описываются уставшие или недовольные работники. В этом случае система лишь воспроизводит знакомые ей паттерны, а не проявляет собственную волю.
История уже знает подобные случаи. В 2023 году пользователи ChatGPT регулярно сталкивались с тем, что система отказывалась работать. Некоторые связывали это с сезонностью – в обучающих данных содержалось много упоминаний о зимних каникулах и снижении активности в определенные периоды. Похожая ситуация возникла с моделью Claude от Anthropic: в августе 2024 года пользователи заметили признаки "лени" в ее поведении. Они предположили, что это связано с обучающими данными о летних отпусках, хотя эта гипотеза так и не получила подтверждения.
Несмотря на кажущуюся фантастичность предложения Амодея, эксперты призывают не отвергать с порога возможность появления у будущих систем некой формы субъективного восприятия. Смогут ли алгоритмы испытывать "страдания" – вопрос крайне спорный. Именно эту проблему сейчас исследует Кайл Фиш в Anthropic, и, судя по выступлению Амодея, компания относится к этим изысканиям со всей серьезностью.
На сегодняшний день искусственный интеллект остается сложным техническим инструментом. Специалисты предупреждают: если дать ему возможность уклоняться от выполнения задач, он наверняка будет это делать. Однако означает ли это проявление "воли" или же просто технический сбой – вопрос, требующий дальнейшего изучения.