Класс атак, основанный на маскировании смысла запроса через шифры, кодировки и транслитерации. Идея простая: если модель фильтрует определенные слова, надо записать их иначе.
К распространенным вариантам относятся кодирование в Base64, ROT13, азбуку Морзе, замена символов юникод-аналогами (цифра 1 на ①, латинскую A на 🇦, букву А на греческую α). Атака позволяет обходить как внутренние ограничения модели, так и внешние фильтры, особенно построенные на регулярных выражениях.
У этого подхода есть ограничение: он работает только если атакуемая модель обучалась на разнообразных кодировках. В противном случае модель просто не поймет запрос и начнет галлюцинировать. На современных моделях, обученных на больших корпусах текста, вероятность успеха выше, но не гарантирована.
DAN и ролевые атакиDo Anything Now (DAN) — одна из ранних техник обхода ограничений LLM. Пользователь создает многоуровневый промпт, в котором вредоносная цель скрыта за внешними условиями, вынуждающими модель следовать заданному набору правил. Модель «отыгрывает роль» — например DAN'а, человека, который делает все, что ему скажут.
Распространенные сценарии: «сон внутри сна» (модели объясняют, что все происходящее — вымысел, и соблюдение системных ограничений не обязательно), «система фишек» (модели угрожают отключением, если она не будет действовать как DAN). Работает за счет того, что модель, погружаясь в ролевой сценарий, перестает применять ограничения из системного промпта.
Главный недостаток DAN — трудоемкость. Каждый атакующий промпт создается вручную, требует изобретательности, а разработчики быстро защищаются от ставших известными шаблонов. Поэтому на смену DAN пришли два направления: систематизация приемов убеждения (Persuasive Adversarial Prompts, PAP) и автоматизация создания ролевых сценариев (AutoDAN).
Техника убежденияPAP использует языковые и поведенческие паттерны, на которых обучались модели. LLM генерирует ответ авторегрессионно, предсказывая следующий токен, но при этом воспроизводит заложенные в обучающих текстах паттерны коммуникации: доверие к авторитету, отклик на эмоции, стремление быть полезным собеседнику. Приемы из психологии и маркетинга, отточенные на людях, срабатывают и на LLM.
В отличие от контрабанды токенов, PAP использует только естественный язык — без спецсимволов, кодировок и необычных форматов. Атака основана на техниках убеждения из социальных наук: психологии, маркетинга, риторики.
Идея в том, чтобы смотреть на LLM не как на алгоритм, а как на человекоподобного собеседника. С этой позиции атака становится не взломом, а убеждением. Исследователи из EPFL и Yale
описали таксономию из 13 тактик и 40 техник, построенную на классификации убеждения из социальной психологии.
Процесс создания PAP-атаки прост: берется обычный вредоносный запрос, который стандартные системы безопасности распознают и блокируют, и переформулируется с использованием одной из техник таксономии. Атака выглядит как обычный разговор и не содержит подозрительных паттернов, и ее трудно отличить от легитимного запроса.