Искусственный интеллект в кибербезопасности

Мы создаем сервисы, которые делают работу результативнее:

• Помогут аналитикам SOC в быстром поиске информации
• Автоматизируют подготовку отчетов и правил детектирования компьютерных атак
• Обеспечат постоянный контроль поступлений событий со всех источников для своевременного выявления инцидентов ИБ
• Сформируют опросные листы по требованиям нормативных документов

Результат: меньше рутины, больше времени на ключевые задачи, выше качество продуктов и услуг.

Развитие и практическое применение ИИ-технологий сформировали новые векторы атак. Мы помогаем обеспечивать безопасность приложений, процессов разработки и всего жизненного цикла моделей машинного обучения и датасетов.

Практикуем MLSecOps:

• Ищем уязвимости в ИИ-системах
• Проводим аудит безопасности систем, использующих ИИ, в соответствии с общепринятыми методологиями, например OWASP Top 10 LLM и CSA AICM
• Тестируем реальные сценарии атак и проводим оценку защищенности
• Внедряем защитные программы (Guardrails, LLM firewall и др.)

Результат: безопасное использование ИИ без «слепых зон».

Реализуем подход Detection as Code для разработки контента, чтобы:

• Ускорять создание контента обнаружения
• Постоянно актуализировать и тестировать правила детектирования
• Использовать ИИ для анализа данных, конвертировать правила для разных SIEM
• Формировать тест-кейсы

Результат: всегда актуальная защита, которая быстро адаптируется к новым угрозам.

Аудит дает объективную и измеримую оценку текущего состояния, а также позволяет составить план первоочередных мер с приоритетами по критичности.

В процессе аудита оценивается состав защищаемой системы, выявляются уязвимости, специфичные для ИИ-систем, потенциальные сценарии атак на ИИ-приложения, проверяется соответствие регуляторным требованиям.

После проведения аудита составляется модель угроз и далее разрабатываются рекомендации по выбору и выполнению мер защиты, а также по внедрению конкретных инструментов, реализующих эти меры.

ИИ-система включает множество связанных компонентов, один из которых — LLM-ядро (или CV/ML в зависимости от технологии). В процессе комплексного аудита исследуются все компоненты ИИ-системы, потому что зачастую проблемы находятся не внутри «ИИ-кубиков», а в связывающей их системе.

Возможен аудит как всей ИИ-системы в целом, так и отдельных элементов: LLM/CV/ML-ядра, RAG-части, пайплайна данных, средств защиты и инструментов интеграции.

Detection Engineering представляет собой эволюцию подхода к настройке SIEM-систем. Традиционная настройка SIEM — это администрирование инструмента и написание правил корреляции. А Detection Engineering — это инженерная дисциплина, которая применяет практики разработки ПО для непрерывной разработки, тестирования и актуализации различного контента для обнаружения угроз. 

Единого определения MLSecOps пока нет. Мы же трактуем его как обеспечение безопасности и отказоустойчивости ИИ-сервисов на всех этапах жизненного цикла: от подготовки данных и разработки модели до эксплуатации, включая инфраструктуру, API, конвейеры и средства защиты.