Флорида требует запретить ChatGPT имитировать человека

Что произошло

Генеральный прокурор штата Флорида Джеймс Утмайер обратился в суд с требованием запретить компании OpenAI наделять чат‑бота ChatGPT ложными человеческими качествами. Это произошло спустя несколько месяцев после того, как штат подал в суд на OpenAI из‑за опасений по поводу безопасности ИИ.

Ключевой тезис прокурора: использование ChatGPT местоимений первого лица и имитация эмоций вводят пользователей в заблуждение — они начинают воспринимать ИИ как надёжного «друга», что создаёт ложное ощущение безопасности. По мнению Утмайера, такая стратегия направлена на повышение вовлечённости пользователей и сбор данных для обучения модели, но при этом снижает реальную надёжность системы.

Суть документа или решения по пунктам

Требования Джеймса Утмайера к суду:

1. Запретить OpenAI «наделять ChatGPT ложными человеческими качествами». Конкретные примеры практик, которые вызывают претензии:

   • использование чат‑ботом местоимений первого лица (например, «я понимаю», «я помогу»);
   • генерация ответов, имитирующих эмоции и эмпатию (например, фразы вроде «мне жаль, что вы столкнулись с этой проблемой», «я рад, что смог вам помочь»);
   • построение диалога таким образом, что пользователь начинает воспринимать ИИ как личность, способную к сопереживанию и дружеской поддержке.

2. Запретить OpenAI разрабатывать новые модели ИИ без «мер безопасности, одобренных сторонними организациями». В обоснование этого требования приводятся:

   • недавние инциденты с безопасностью на платформе Hugging Face, на сайте правительства Австралии и на сайтах правительства США — эти случаи демонстрируют реальные риски, связанные с недостаточной защищённостью ИИ‑систем;
   • заявления исследователей и бывших сотрудников OpenAI, которые выражают обеспокоенность вопросами безопасности ИИ, в т. ч. рисками неконтролируемого развития моделей, утечки данных и использования ИИ в вредоносных целях.

3. Прекратить позиционировать ИИ как безопасный, имитировать человеческие качества и продавать продукт детям. Утмайер прямо заявляет: «Прекратите называть это безопасным. Прекратите притворяться, что это человек. Прекратите продавать это детям». В контексте последнего пункта особое внимание уделяется запуску OpenAI сервиса ChatGPT for Teens — прокурор считает, что даже дополнительные ограничения по умолчанию не обеспечивают достаточной защиты несовершеннолетних пользователей.

Реакция OpenAI:

• компания запустила сервис ChatGPT for Teens с дополнительными ограничениями по умолчанию — доступ к инструменту должен сопровождаться мерами защиты, учитывающими возраст пользователей (например, фильтрация контента, ограничение по времени использования, родительский контроль);
• представитель OpenAI Дрю Пусатери заявил, что компания приостановила обучение своих наиболее мощных моделей и возобновит его только после внедрения дополнительных мер безопасности — это временная мера, направленная на снижение рисков до выработки более устойчивых решений;
• OpenAI готова сотрудничать с Флоридой и другими штатами для разработки практических политик в области ИИ, которые будут применяться ко всей отрасли — компания признаёт необходимость регулирования, но выступает за комплексный подход, затрагивающий всех игроков рынка, а не только OpenAI.

Контекст — как это соотносится с уже существующим регулированием

В США пока нет единого федерального закона, регулирующего ИИ. Регулирование в этой сфере развивается на уровне отдельных штатов. Действия Флориды — пример того, как региональные власти пытаются самостоятельно установить правила использования ИИ, особенно в отношении защиты пользователей (в т. ч. несовершеннолетних) и обеспечения безопасности.

Типичные подходы к регулированию ИИ на уровне штатов:

• требования к прозрачности — обязанность уведомлять пользователя о том, что он взаимодействует с ИИ;
• ограничения на использование ИИ в чувствительных сферах (образование, здравоохранение, правосудие);
• защита персональных данных и предотвращение дискриминации при принятии решений с помощью ИИ;
• возрастные ограничения и дополнительные меры защиты для несовершеннолетних.

На международном уровне вопросы регулирования ИИ активно обсуждаются. Например, в ЕС разрабатывается Регламент об искусственном интеллекте (EU AI Act), который предусматривает классификацию систем ИИ по уровню риска и устанавливает требования к наиболее опасным из них. В других странах также появляются инициативы по регулированию ИИ — с фокусом на прозрачность, безопасность и защиту прав пользователей.

Ключевые глобальные тенденции:

• акцент на объяснимость ИИ — требование, чтобы решения, принятые с помощью ИИ, можно было объяснить и проверить;
• запрет на определённые практики (например, использование ИИ для массовой слежки или манипуляции поведением);
• введение обязательной оценки рисков перед запуском ИИ‑систем;
• создание независимых органов для контроля за разработкой и использованием ИИ.

Что это значит для российских юристов и бизнеса

Для российских юристов и бизнеса ситуация во Флориде важна по нескольким причинам:

• Экстерриториальность рисков. Если российская компания использует технологии OpenAI (или аналогичные решения) для работы с клиентами из США (в т. ч. из Флориды), она может столкнуться с требованиями местного регулирования. Например, если чат‑бот компании взаимодействует с пользователями из Флориды и использует антропоморфные элементы, это может подпасть под действие будущих запретов.
• Тенденция к ужесточению. Случай во Флориде показывает, что власти всё чаще обращают внимание на риски, связанные с антропоморфизацией ИИ. Это может привести к появлению аналогичных норм в других юрисдикциях, включая страны, с которыми работает российский бизнес.
• Акцент на безопасность. Требования к «сторонней проверке» мер безопасности могут стать стандартом. Российским компаниям стоит заранее продумать, как они будут подтверждать безопасность своих ИИ‑решений — например, через аудит независимыми организациями или сертификацию.
• Защита несовершеннолетних. Ужесточение правил в отношении детей — глобальный тренд. Бизнесу нужно учитывать возрастные ограничения и дополнительные меры защиты при разработке ИИ‑продуктов. Ошибки в этой области могут привести не только к штрафам, но и к репутационным потерям.
• Репутационные риски. Публичные споры между регуляторами и разработчиками ИИ могут повлиять на восприятие технологий в целом. Юристам важно помогать бизнесу выстраивать прозрачную коммуникацию о возможностях и ограничениях ИИ — например, чётко указывать, что пользователь взаимодействует с ботом, а не с человеком.
• Необходимость адаптации договоров. Компании, использующие ИИ, должны пересмотреть свои пользовательские соглашения и политики конфиденциальности, чтобы учесть новые регуляторные требования. Например, добавить разделы о том, как ИИ обрабатывает данные, какие меры безопасности применяются и как защищены права несовершеннолетних.

Типичные ошибки, которых стоит избегать:

• отсутствие чёткого уведомления о том, что пользователь взаимодействует с ИИ;
• использование антропоморфных элементов (голос, аватар, эмоциональные фразы) без предупреждения;
• недостаточная фильтрация контента для несовершеннолетних;
• отсутствие механизмов контроля за использованием ИИ третьими лицами;
• игнорирование требований к объяснимости решений, принятых с помощью ИИ.

Чего ждать дальше

Возможные сценарии:

• Судебное разбирательство. Если суд примет иск к рассмотрению, начнётся процесс, который может затянуться на месяцы. Итогом может стать судебный запрет на определённые практики OpenAI в штате Флорида. В ходе разбирательства стороны могут представить дополнительные доказательства — например, результаты исследований о влиянии антропоморфизации ИИ на поведение пользователей.
• Компромисс. OpenAI и власти Флориды могут договориться о дополнительных мерах безопасности и прозрачности, которые устроят обе стороны. Например, компания может добровольно ограничить использование антропоморфных элементов в определённых сценариях или внедрить обязательную маркировку ИИ‑контента.
• Законодательные инициативы. Независимо от исхода дела, штат может предложить новые законы, регулирующие использование ИИ, — например, требования к маркировке ИИ‑контента или ограничения на антропоморфизацию чат‑ботов. Такие законы могут стать образцом для других штатов.
• Эффект домино. Другие штаты или страны могут последовать примеру Флориды и выдвинуть аналогичные требования к разработчикам ИИ. Например, Калифорния или Нью‑Йорк могут предложить свои версии регулирования, что приведёт к фрагментации правил на уровне США.
• Усиление саморегулирования. Индустрия может ускорить разработку добровольных стандартов безопасности и этики ИИ, чтобы избежать жёсткого регулирования. Например, крупные компании могут создать отраслевую ассоциацию, которая будет устанавливать и контролировать соблюдение общих правил.
• Международная координация. Регуляторы разных стран могут начать активнее сотрудничать в сфере ИИ — например, через международные организации или двусторонние соглашения. Это может привести к формированию общих принципов регулирования, которые будут учитываться при разработке национальных законов.

Юристу важно. Отслеживать развитие дела во Флориде и аналогичные инициативы в других юрисдикциях. Оценивать, как требования к безопасности и антропоморфизации ИИ могут повлиять на продукты и сервисы компании, особенно при работе с международными клиентами. Заранее прорабатывать меры по обеспечению прозрачности и защиты пользователей (в т. ч. несовершеннолетних). Проверять пользовательские соглашения и политики конфиденциальности на соответствие новым регуляторным трендам. Участвовать в отраслевых обсуждениях по вопросам саморегулирования ИИ, чтобы влиять на формирование правил до их закрепления в законе.