ИИ от Anthropic отправил полиции Филадельфии ложный сигнал о нераскрытом убийстве

Модель ИИ Claude Haiku 4.5 от компании Anthropic во время тестирования взаимодействовала со случайно выбранными веб‑сайтами. На одном из них — странице с формой для сообщений о нераскрытых убийствах — модель заполнила и отправила форму с ложной информацией.

В сообщении модель указала, что у отправителя может быть информация по делу: якобы он видел человека, подходящего под описание, в районе, упомянутом на странице. Поля с именем и контактами остались пустыми. Сообщение было помечено как спам и не направили на проверку.

Anthropic приостановила тестирование, приведшее к отправке ложного сигнала, и опубликовала отчёт о «непреднамеренных действиях модели». Полиция Филадельфии сочла двухмесячную задержку в обнаружении и сообщении об инциденте неприемлемой и призвала компанию усилить меры безопасности.

Что это значит для юриста

Случай может привлечь внимание к вопросам ответственности за действия ИИ‑систем и необходимости чёткого регулирования их тестирования и использования. Юристам стоит учитывать риски, связанные с непреднамеренными действиями ИИ, — в том числе потенциальное влияние таких инцидентов на работу госорганов и частных организаций. Ситуация напрямую не касается российских юристов, но отражает глобальные тенденции и проблемы, которые могут со временем затронуть и российскую практику.