Контроллер доверия к памяти LLM‑агентов: снижение риска галлюцинаций в ИИ‑системах
Разработан контроллер MDL (Memory Decision Layer), который снижает риск ошибочных ответов ИИ‑систем, анализируя релевантность, надёжность и риск задачи.
Команда из Тяньцзиньского технологического университета предложила решение для снижения числа «галлюцинаций» в ответах языковых моделей — контроллер MDL (Memory Decision Layer). Проблема актуальна на фоне случаев выдачи некорректных рекомендаций ИИ‑системами: например, чат‑бот MyCity в Нью‑Йорке давал предпринимателям советы, из‑за которых те могли получить штрафы.
Контроллер анализирует три параметра: релевантность документа запросу, надёжность (наличие противоречий в данных) и риск ошибки в конкретной теме (повышенный для медицины, права, финансов и т. д.). Оценки по этим параметрам обрабатываются независимо и сводятся в общую оценку доверия. На конфликтующих данных обычный RAG выдаёт 53 % галлюцинаций, а контроллер — 23,3 %.
При этом у решения есть ограничения: в сценариях с одновременно высоким риском и высокой релевантностью точность падает до 55,6 %. На сильных базовых моделях выигрыш от использования контроллера может быть незначительным, а в 8 % случаев система пропускает дезинформацию, которую сама же одобрила. Преимущество MDL — скорость: обработка занимает около 0,14 миллисекунды.
Что это значит для юриста
Юристам стоит учитывать, что инструменты на базе генеративного ИИ могут выдавать ошибочные ответы, особенно в высокорисковых областях, включая право. Новые решения вроде MDL снижают вероятность ошибок, но не исключают их полностью. При использовании ИИ для поиска правовой информации важно перепроверять критические данные — даже если система считает их надёжными.