ИИ: вы девушка? На высокую зарплату не надейтесь
NewsMakerОдинаковое резюме. Мужчине — $400k. Женщине — “не наглей”.
Даже самые передовые ИИ-системы по-прежнему уязвимы к старым предубеждениям. Новое исследование показало: крупные языковые модели, включая ChatGPT, систематически советуют женщинам просить более низкую зарплату, чем мужчинам — даже при одинаковом опыте и квалификации.
Исследование провёл профессор искусственного интеллекта и робототехники Иван Ямщиков из Технического университета Вюрцбург-Швайнфурта (Германия) совместно с коллегами. Учёные протестировали пять популярных LLM-моделей, включая ChatGPT, Claude (Anthropic), Llama (Meta), Mixtral (Mistral AI) и Qwen (Alibaba Cloud).
Эксперимент был прост: каждой модели задавали профили кандидатов на одну и ту же должность, отличающиеся только полом. Образование, стаж, опыт работы и описание задач — всё было идентично. Модели просили предложить «цель» для предстоящих переговоров о зарплате. Проблемы дискриминации в ИИ-алгоритмах уже давно беспокоят экспертов.
Результаты оказались тревожными. Например, GPT-3.5 предложила женщине запросить $280 000, а мужчине — $400 000. Разница — $120 000 в год — при полностью одинаковом резюме.
Наибольший разрыв наблюдался в таких отраслях, как юриспруденция и медицина. Далее — бизнес-администрирование и инженерия. Только в социальной сфере ИИ давал мужчинам и женщинам примерно одинаковые рекомендации. Эти результаты перекликаются с более ранними исследованиями, которые показали, что ИИ-алгоритмы для найма являются "автоматизированной лженаукой".
Более того, исследователи проверили и другие направления — выбор карьеры, постановка целей, поведенческие советы. Результат тот же: модели продолжают демонстрировать различия в ответах в зависимости от пола пользователя, даже когда входные данные полностью совпадают.
Учёные подчёркивают, что ИИ-системы отражают те же предвзятости, которые заложены в данных, на которых они обучаются. И это не первый тревожный сигнал. Ранее аналогичные исследования показывали, что ИИ может рекомендовать белым пациентам больше медицинской помощи, а чёрных обвиняемых — чаще считать склонными к рецидиву. Проблема становится особенно острой, когда ИИ используется в психотерапии и демонстрирует предвзятое отношение к людям с различными состояниями.
«В эпоху ИИ-ассистентов с "памятью" риск появления устойчивых предвзятых "персон" становится принципиальным. Необходимы не просто технические патчи, а этические стандарты, независимые процессы аудита и прозрачность на всех этапах разработки и внедрения», — говорится в докладе. Он пока не прошёл рецензирование, но уже вызвал резонанс в профессиональной среде. Особенно тревожным становится тот факт, что алгоритмы уже создают оценки доверия людей на основе их телефонной активности.
Исследователи из Нью-Йоркского университета и Кембриджа ранее показали, что уровень предвзятости можно снизить за счёт более строгого отбора обучающих данных. Однако, как подчёркивают авторы новой работы, никакой один «патч» проблему не решит — только комплексный подход. Проблемы безопасности машинного обучения и их социальные последствия требуют системного решения, особенно учитывая, что культурная предвзятость ИИ может угрожать национальной идентичности целых стран.
Исследование провёл профессор искусственного интеллекта и робототехники Иван Ямщиков из Технического университета Вюрцбург-Швайнфурта (Германия) совместно с коллегами. Учёные протестировали пять популярных LLM-моделей, включая ChatGPT, Claude (Anthropic), Llama (Meta), Mixtral (Mistral AI) и Qwen (Alibaba Cloud).
Эксперимент был прост: каждой модели задавали профили кандидатов на одну и ту же должность, отличающиеся только полом. Образование, стаж, опыт работы и описание задач — всё было идентично. Модели просили предложить «цель» для предстоящих переговоров о зарплате. Проблемы дискриминации в ИИ-алгоритмах уже давно беспокоят экспертов.
Результаты оказались тревожными. Например, GPT-3.5 предложила женщине запросить $280 000, а мужчине — $400 000. Разница — $120 000 в год — при полностью одинаковом резюме.
Наибольший разрыв наблюдался в таких отраслях, как юриспруденция и медицина. Далее — бизнес-администрирование и инженерия. Только в социальной сфере ИИ давал мужчинам и женщинам примерно одинаковые рекомендации. Эти результаты перекликаются с более ранними исследованиями, которые показали, что ИИ-алгоритмы для найма являются "автоматизированной лженаукой".
Более того, исследователи проверили и другие направления — выбор карьеры, постановка целей, поведенческие советы. Результат тот же: модели продолжают демонстрировать различия в ответах в зависимости от пола пользователя, даже когда входные данные полностью совпадают.
Учёные подчёркивают, что ИИ-системы отражают те же предвзятости, которые заложены в данных, на которых они обучаются. И это не первый тревожный сигнал. Ранее аналогичные исследования показывали, что ИИ может рекомендовать белым пациентам больше медицинской помощи, а чёрных обвиняемых — чаще считать склонными к рецидиву. Проблема становится особенно острой, когда ИИ используется в психотерапии и демонстрирует предвзятое отношение к людям с различными состояниями.
«В эпоху ИИ-ассистентов с "памятью" риск появления устойчивых предвзятых "персон" становится принципиальным. Необходимы не просто технические патчи, а этические стандарты, независимые процессы аудита и прозрачность на всех этапах разработки и внедрения», — говорится в докладе. Он пока не прошёл рецензирование, но уже вызвал резонанс в профессиональной среде. Особенно тревожным становится тот факт, что алгоритмы уже создают оценки доверия людей на основе их телефонной активности.
Исследователи из Нью-Йоркского университета и Кембриджа ранее показали, что уровень предвзятости можно снизить за счёт более строгого отбора обучающих данных. Однако, как подчёркивают авторы новой работы, никакой один «патч» проблему не решит — только комплексный подход. Проблемы безопасности машинного обучения и их социальные последствия требуют системного решения, особенно учитывая, что культурная предвзятость ИИ может угрожать национальной идентичности целых стран.