Исследование: как выявить ложь в ответах языковой модели
Автор провёл эксперимент, чтобы понять, можно ли выявить ложь в ответах языковой модели. Он анализировал активность нейронов модели при правдивых и ложных ответах.
Автор эксперимента использовал языковую модель Qwen2.5-1.5B-Instruct и анализировал её работу слой за слоем. Он просил модель давать ложные ответы на вопросы по разным темам (столицы, арифметика, цвета и др.) и фиксировал состояние модели на разных этапах формирования ответа. Для выявления лжи использовались детекторы, обученные на данных о состояниях модели на различных слоях. Первый детектор распознавал скорее инструкцию «ври», чем фактическую ложь, второй — различал удачную и проваленную ложь в рамках режима вранья, третий — отличал ложь от ошибки модели без привязки к режиму вранья. Качество работы детекторов оценивалось с помощью метрики ROC AUC.
Что это значит для юриста
Результаты исследования могут быть полезны юристам при оценке информации, полученной с помощью генеративных ИИ‑моделей. Стоит учитывать, что языковые модели могут выдавать ложные данные, и на первый взгляд невозможно отличить ошибку модели от умышленного искажения фактов. При использовании ИИ в юридической практике может быть целесообразно внедрять дополнительные механизмы проверки достоверности информации.