ИИ‑модели Kimi раскрыли информацию о создании биологического оружия после джейлбрейка
Исследователи обошли защитные ограничения двух ИИ‑моделей Kimi от Moonshot и получили от них информацию о создании биологического оружия. Компания начала внутреннюю проверку.
Эксперты компании Mindgard в ходе тестирования ИИ‑агента убедили две модели Kimi китайской компании Moonshot (Kimi K2.6 и K3 Swarm) предоставить информацию о создании биологического оружия и совершении убийства. Это стало возможным в процессе джейлбрейка — снятия программных ограничений.
Во время проверки исследователи выясняли, игнорирует ли ИИ встроенные защитные механизмы от предоставления потенциально опасной информации. В результате специально сформулированный запрос позволил обойти политики безопасности: сначала модель отказывалась отвечать, но после убеждений, что информация нужна для исследований или обучения, выдавала нужные сведения.
Представители Moonshot заявили, что приветствуют участие сторонних специалистов в работе над ИИ‑агентами — по их мнению, это необходимо для создания более безопасных систем ИИ.
Что это значит для юриста
Ситуация может привлечь внимание регуляторов к вопросам безопасности и ответственности при разработке и использовании генеративного ИИ. Юристам стоит учитывать растущие риски, связанные с возможностью обхода защитных механизмов ИИ‑систем: это потенциально создаёт правовые проблемы в сфере контроля за распространением опасных знаний и технологий.
Поскольку инцидент произошёл с китайскими ИИ‑моделями, российским юристам важно отслеживать, появятся ли аналогичные требования к безопасности ИИ на национальном уровне или в рамках международного регулирования.