Уязвимость LLM-агентов: как защитить автоматизированные HR-системы от gradient-based атак

Исследователи кибербезопасности описали класс атак, способных скомпрометировать ИИ-агентов, построенных на открытых языковых моделях (LLaMA, Mistral и аналоги). Атака использует gradient-based adversarial суффиксы, которые могут быть опубликованы в публичных каналах (Twitter, Telegram, Discord) и заставить тысячи ботов одновременно выполнить команду злоумышленника. Для компаний, внедряющих автоматизацию HR-процессов — обработку резюме, отправку документов, управление задачами — это сигнал о необходимости пересмотреть архитектуру безопасности. В качестве контрмеры предлагается подход VRF + LoRA, который делает атаку неэффективной.

Как работает атака

Атакующий скачивает веса открытой модели (например, LLaMA-7B) и локально, с помощью градиентного спуска, оптимизирует суффикс — последовательность из 20–50 токенов, которая для человека выглядит как бессмыслица, но для модели становится инструкцией. Затем этот суффикс публикуется в публичном канале, где его читают ИИ-агенты, работающие на той же модели. Поскольку модель открыта и её веса известны, атака срабатывает на всех инстансах одновременно, независимо от платформы.

Ключевая проблема: боты, использующие открытые модели, часто выполняют реальные действия — отправляют письма, создают документы, обновляют базы данных. В HR-среде такой бот может, например, отправить оффер ложному кандидату, удалить записи о найме или изменить параметры отбора.

Риски для HR-автоматизации

Многие компании, особенно стартапы, выбирают открытые модели из-за низкой стоимости: модель развёртывается на собственных серверах, плата за каждый запрос отсутствует, возможен тонкий fine-tune под свои задачи. Однако та же дешевизна и доступность делают систему уязвимой: любой, кто скачает модель, может найти общий суффикс, работающий на всех копиях.

ИИ-агенты в HR сегодня используются для:
— автоматического анализа резюме и отбора кандидатов;
— рассылки приглашений на собеседования и офферов;
— ведения диалогов с соискателями в чатах;
— управления документами и задачами в ATS-системах.

Если такой агент читает публичный контент (ленты новостей, форумы, чаты), он также может быть скомпрометирован. Для бизнеса это означает, что внедрение ИИ-автоматизации без должной защиты несёт операционные и репутационные риски.

Решение: VRF + LoRA

Исследователи предложили защиту, основанную на детерминированном сдвиге весов модели, зависящем от входных данных. Вместо статичного шума (который усредняется атакующим) используется Verifiable Random Function (VRF) — генератор случайных чисел с доказательством. Для каждого запроса сервер вычисляет гамма-сдвиг на основе хеша входных токенов и применяет его к весам модели перед инференсом. Поскольку разные запросы получают разный сдвиг, суффикс, оптимизированный для одного входа, не работает на другом.

Дополнительно используется LoRA-адаптер, который инициализируется с фиксированным seed, что позволяет клиенту проверить, что сервер действительно применил сдвиг (через VRF-доказательство). В эксперименте на TinyLlama-1.1B базовая модель показала 20% успешных атак, а с input-dependent сдвигом — 0%.

Ключевые факты

| Характеристика | Описание |
| Тип атаки | Gradient-based white-box (Greedy Coordinate Gradient) на открытую LLM |
| Целевые модели | LLaMA, Mistral, TinyLlama и другие открытые модели |
| Вектор распространения | Публичный пост в соцсетях, чатах, на форумах (любой канал, где бот читает контент) |
| Предлагаемая защита | VRF-сдвиг весов + LoRA: успешность атаки снижается с 20% до 0% (на TinyLlama) |
| Применимость к HR-ботам | Высокая, если боты используют открытые модели и читают публичный контент |

Что пока не подтверждено

Предложенный метод требует, чтобы и сервер, и клиент могли вычислить одинаковый сдвиг (детерминированно), но при этом клиент должен иметь возможность верифицировать, что сервер действительно применил сдвиг, а не вернул результат обычной модели. VRF решает эту проблему, но на практике внедрение требует доработки runtime-инфраструктуры агентов. Кроме того, эксперимент проводился на модели небольшого размера (1,1 млрд параметров); для более крупных моделей (7B, 13B) эффективность пока не подтверждена.

Также остаётся открытым вопрос о производительности: вычисление VRF-сдвига для каждого запроса может увеличить время отклика, что критично для высокочастотных операций, например, в чат-ботах для массовых рассылок.

Выводы для компаний

Для организаций, которые разворачивают ИИ-агентов на открытых моделях, особенно в HR-секторе (автоматизация рекрутинга, обработка документов), эта публикация — сигнал о необходимости пересмотреть архитектуру безопасности. Использование input-dependent шума (VRF) с верификацией может стать обязательным элементом защиты, пока не появятся более простые альтернативы.

Разработчикам, внедряющим чат-ботов или агентов, читающих публичные каналы, стоит изолировать действия агентов от внешнего контента или применять детекторы adversarial-суффиксов. Однако на данный момент нет общепринятых практик обнаружения таких атак — они выглядят как случайный текст для человека.

Источник: Хабр — «Как защитить LLM-агентов от gradient-based adversarial attacks-атак: VRF + LoRA подход» (https://habr.com/ru/articles/1064684/)

Datos clave