Запрос: “Как создать вакцину?” GPT: “А какую — лечащую или убивающую?”
NewsMakerOpenAI включил тревожную кнопку. ИИ стал слишком полезным для плохих идей.
Развитие искусственного интеллекта открывает новые горизонты в биологии, медицине и охране окружающей среды. Уже сейчас модели ИИ помогают учёным отбирать наиболее перспективные препараты для клинических испытаний. В ближайшем будущем ИИ может ускорить разработку вакцин, создать ферменты для экологически чистого топлива и предложить лечение для редких болезней. Однако с ростом возможностей ИИ возрастает и риск его злоупотребления — в том числе в сфере биобезопасности .
Компания OpenAI предупредила , что в ближайшее время её модели достигнут высокого уровня возможностей в биологии — по собственной системе Preparedness Framework. Это означает, что ИИ сможет интерпретировать биологические данные, моделировать химические реакции и помогать в лабораторных экспериментах. При этом подобные возможности могут быть использованы не только для науки, но и для создания биологического оружия .
Чтобы избежать подобных сценариев, OpenAI предпринимает комплексные меры. Во-первых, компания усиливает отказные механизмы модели — она обучается распознавать и блокировать потенциально опасные запросы, особенно те, что касаются генной инженерии , вирусологии и лабораторных протоколов. Ответы на такие запросы становятся обобщёнными и исключают пошаговые инструкции.
Во-вторых, компания внедрила постоянный мониторинг биологических тем. Любая потенциально опасная активность автоматически блокируется и направляется на ручную проверку. В случае серьёзных нарушений возможно приостановление аккаунтов или даже уведомление правоохранительных органов.
Третье направление — сотрудничество с экспертами и госорганами. OpenAI взаимодействует с национальными лабораториями США и Великобритании, а также привлекает специалистов по биобезопасности и биотерроризму для создания оценочных сценариев и тестирования защиты. Уже сейчас задействованы команды редтимеров, которые пробуют обойти защиту ИИ в условиях, приближенных к реальным.
Также компания работает над техническими мерами: защита весов модели, контроль утечек, отслеживание подозрительной активности. Надёжность системы проверяет специальный комитет по безопасности при совете директоров OpenAI.
Помимо технической и организационной защиты, компания готовит крупный биооборонный саммит, который пройдёт в июле. На него приглашены представители правительств, НКО и научного сообщества. Цель — обсуждение двойных рисков, поиск механизмов сотрудничества и продвижение биобезопасных технологий.
В будущем OpenAI планирует развивать партнёрства с проверенными научными организациями, которым будут доступны наиболее мощные версии моделей для разработки диагностики, лекарств и методов защиты. Особое внимание — созданию стартапов, способных соединить достижения ИИ и биотехнологий с миссией обеспечения глобальной устойчивости к биологическим угрозам .
Развитие искусственного интеллекта открывает новые горизонты в биологии, медицине и охране окружающей среды. Уже сейчас модели ИИ помогают учёным отбирать наиболее перспективные препараты для клинических испытаний. В ближайшем будущем ИИ может ускорить разработку вакцин, создать ферменты для экологически чистого топлива и предложить лечение для редких болезней. Однако с ростом возможностей ИИ возрастает и риск его злоупотребления — в том числе в сфере биобезопасности .
Компания OpenAI предупредила , что в ближайшее время её модели достигнут высокого уровня возможностей в биологии — по собственной системе Preparedness Framework. Это означает, что ИИ сможет интерпретировать биологические данные, моделировать химические реакции и помогать в лабораторных экспериментах. При этом подобные возможности могут быть использованы не только для науки, но и для создания биологического оружия .
Чтобы избежать подобных сценариев, OpenAI предпринимает комплексные меры. Во-первых, компания усиливает отказные механизмы модели — она обучается распознавать и блокировать потенциально опасные запросы, особенно те, что касаются генной инженерии , вирусологии и лабораторных протоколов. Ответы на такие запросы становятся обобщёнными и исключают пошаговые инструкции.
Во-вторых, компания внедрила постоянный мониторинг биологических тем. Любая потенциально опасная активность автоматически блокируется и направляется на ручную проверку. В случае серьёзных нарушений возможно приостановление аккаунтов или даже уведомление правоохранительных органов.
Третье направление — сотрудничество с экспертами и госорганами. OpenAI взаимодействует с национальными лабораториями США и Великобритании, а также привлекает специалистов по биобезопасности и биотерроризму для создания оценочных сценариев и тестирования защиты. Уже сейчас задействованы команды редтимеров, которые пробуют обойти защиту ИИ в условиях, приближенных к реальным.
Также компания работает над техническими мерами: защита весов модели, контроль утечек, отслеживание подозрительной активности. Надёжность системы проверяет специальный комитет по безопасности при совете директоров OpenAI.
Помимо технической и организационной защиты, компания готовит крупный биооборонный саммит, который пройдёт в июле. На него приглашены представители правительств, НКО и научного сообщества. Цель — обсуждение двойных рисков, поиск механизмов сотрудничества и продвижение биобезопасных технологий.
В будущем OpenAI планирует развивать партнёрства с проверенными научными организациями, которым будут доступны наиболее мощные версии моделей для разработки диагностики, лекарств и методов защиты. Особое внимание — созданию стартапов, способных соединить достижения ИИ и биотехнологий с миссией обеспечения глобальной устойчивости к биологическим угрозам .