Anthropic представил «конституции» ответственного ИИ

Chat-boty-s-ii-2.webp
Стартап Anthropic, разрабатывающий большие языковые модели, представил «конституции» для ответственного создания ИИ-алгоритмов. Об этом пишет The Verge.

По словам соучредителя компании Джареда Каплана, «конституционный ИИ» — это способ обучения интеллектуальных систем следовать определенным наборам правил.

В настоящее время создание чат-ботов вроде ChatGPT зависит от модераторов, которые оценивают выдачу по таким вещам, как разжигание ненависти или токсичность. Затем система использует эти данные для настройки своих ответов. Этот процесс известен как «обучение с подкреплением на основе обратной связи с человеком» (RLHF).

Однако с «конституционным ИИ» эта работа в основном управляется самим чат-ботом, заявили разработчики.

«Мы действительно рассматриваем это как отправную точку — начать более публичную дискуссию о том, как следует обучать системы ИИ и каким принципам они должны следовать. Мы определенно никоим образом не заявляем, что знаем ответ», — сказал он.
Напомним, в марте Anthropic запустил чат-бота с искусственным интеллектом Claude.

В феврале Google инвестировала в стартап $300 млн.