Искусственный интеллект в киберзащите

За последние несколько лет статус технологий искусственного интеллекта меняется от технологической новинки, которой предсказывают покорение и изменение мира, до инструмента обработки данных, повсеместно внедряемого для решения рутинных задач в различных отраслях. В информационной безопасности технологии искусственного интеллекта пока проходят первые шаги внедрения и эксплуатации. Мы можем уверенно говорить о преимуществах внедрения ИИ в инструменты защиты: снижение нагрузки на специалистов, ускорение реагирования на инцидент за счет автоматизации рутинных процессов, поведенческий анализ пользователей и систем, обнаружение неизвестных раннее угроз. Уже сегодня ИИ выполняет роль второго пилота рядом со специалистом по кибербезопасности, дополняет и расширяет возможности классических решений для защиты. Когда технология сможет зарекомендовать себя как надежный и точный инструмент и будут решены существенные проблемы с данными, вычислительными мощностями, обучением и разработкой ИИ, мы увидим постепенный переход к полному ИИ-автопилоту для обеспечения безопасности.

В исследовании мы рассмотрели основные области применения ИИ в кибербезопасности и составили тепловую карту тактик и техник защиты по матрице MITRE D3FEND, в которых используется искусственный интеллект.

С помощью ИИ-технологий в решениях для защиты можно автоматизировать рутинные процессы первичной обработки событий безопасности и другой информации, которую сейчас вынуждены анализировать специалисты. Кроме того, чат-боты на основе LLM могут оказывать оперативную поддержку специалистам в процессе принятия решений по противодействию киберугрозам.

В информационной безопасности необходимо обрабатывать множество различных потоков и массивов данных, в которых решения с ИИ, хорошо справляющиеся с обработкой больших объемов информации, могут искать аномалии — признаки кибератаки. Такими аномалиями могут быть отклонения в поведении пользователя или системы, нетипичные явления в сетевом трафике и другие подозрительные события, которые могут свидетельствовать, например, об активности ранее неизвестного ВПО.

Решения на базе ИИ-технологий могут автоматизировать процессы не только обнаружения атак, но и принятия решения, реагирования и предотвращения инцидента. Степень автоматизации может различаться: от предложения специалисту по безопасности готового сценария реагирования на инцидент до роли полноценного автопилота.

Одно из главных требований в сфере обеспечения информационной безопасности компании — понимание собственной инфраструктуры и актуальных для нее киберугроз. Помочь автоматизировать анализ защищенности компании могут решения с искусственным интеллектом. Генеративные ИИ-ассистенты позволяют специалистам по безопасности, задавая вопросы на естественном языке, анализировать угрозы и риски для организации. Например, модуль Charlotte AI, разработанный CrowdStrike, отвечает на вопросы, в том числе про наличие в инфраструктуре уязвимостей, их уровень риска, оптимальные действия для улучшения защиты организации и потенциально нацеленных на компанию киберпреступников.

Технологии ИИ уже сегодня применяются для автоматизации отдельных шагов в тестах на проникновение в первую очередь для поиска и эксплуатации уязвимостей. В исследовании про применение ИИ в кибератаках мы уже рассказывали, что ИИ способен оказывать существенную помощь пентестеру в поиске и эксплуатации уязвимостей. Этот тезис подтверждается как научными исследованиями различных университетов, так и результатами экспериментов, например специалисту Positive Technologies с помощью ChatGPT удалось обнаружить XXE-уязвимость в браузере, а Project Zero в ноябре 2024 года нашли уязвимость нулевого дня в SQLite, используя ИИ-решение.

Помимо исследований разрабатываются или уже находятся в открытом доступе инструменты с технологиями искусственного интеллекта для автоматизации пентестов. Среди них есть как расширения для популярного инструмента BurpSuit, так и отдельные программы, например в 2024 году появился стартап XBOW. Его разработчики уже сообщали о том, что результативность их инструмента для тестирования на проникновение сравнима со специалистом-пентестером, а на этапе тестирования XBOW успел обнаружить несколько критически опасных CVE-уязвимостей в реальных приложениях. В начале 2025 года появился разрабатываемый сотрудниками Positive Technologies инструмент для полностью автономного тестирования на проникновение — PentAGI. Постепенно таких решений будет становится все больше, что ускорит проведение пентестов, позволяя опытным специалистам автоматизировать рутинные действия и вручную заниматься более сложными задачами. Важно отметить, что инструменты автоматического тестирования будут не только помогать белым хакерам, но и могут позволить киберпреступникам ускорять проведение простых атак, про это мы писали в отчете об актуальных киберугрозах III квартала 2024 года. Необходимо уже сегодня, не дожидаясь развития инструментария злоумышленников, превентивно заниматься защитой от атак, которые могут быть автоматизированы в ближайшем будущем. Рекомендуем обратить особое внимание на процесс управления уязвимостями (vulnerability management), рассмотреть участие в программах багбаунти.

Другой вариант тестирования защищенности компаний — применение решений типа BAS (breach and attack simulation, симуляция взлома и атаки). Инструменты BAS и автопентесты имитируют атаки и могут потенциально применять технологии ИИ для множества различных подзадач. Например, в PT Dephaze генеративный ИИ может применяться для создания подборок наиболее вероятных паролей для конкретной цели, анализа текстовых файлов тестируемой системы, формирования понятного отчета по результатам симуляции атак.

В будущем технологии искусственного интеллекта позволят решать и более глобальные задачи, связанные со сбором информации и предиктивным определением угроз. Собирая данные из различных открытых источников, можно сформировать потенциальный профиль угроз компании, учитывающий ее инфраструктуру и поставщиков, актуальные мотивы и возможности киберпреступных группировок, потенциально нацеленных на организацию. Автоматизированный предиктивный анализ не просто быстрее ручного сбора и обработки информации — он может осуществляться в постоянном режиме, а значит оперативно предоставлять службе безопасности компании данные об актуальных киберугрозах для выстраивания эффективного плана, приоритезации действий и заблаговременной реализации шагов по обеспечению результативной кибербезопасности.

ИИ-технологии позволяют ускорить проверку кода, поиск уязвимостей, обнаружение потенциально вредоносных фрагментов и генерацию проверочных тестов. Кроме того, ИИ может использоваться для реверс-инжиниринга кода, поиска скрытых вредоносных возможностей, например, в подключаемых к проекту репозиториях. ИИ может внедряться как в статический, так и в динамический методы анализа кода.

Статический анализ направлен на поиск потенциальных проблем в программном коде без его исполнения, в процессе разработки. С помощью статического анализа можно на раннем этапе выявить уязвимости и баги, а значит проще и дешевле исправлять их. Инструменты для статического анализа с ИИ-технологиями, например Snyk, обучаются на больших объемах программного кода и позволяют обнаруживать такие потенциальные проблемы, как возможность внедрения SQL-кода, XSS-уязвимости или забытые в коде ключи и пароли. Существенный плюс применения ИИ — модели не только обнаруживают уязвимости, но и сразу предлагают разработчику варианты решения проблемы, выступая в роли второго пилота.

Динамический анализ, в отличие от статического, проверяет код во время выполнения и применяется для обнаружения уязвимостей, которые можно выявить только после запуска программы. Наиболее яркий пример внедрения ИИ-технологий в динамический анализ — фаззинг-тестирование, при котором программе на вход подаются случайные или некорректные данные для проверки того, не нарушится ли работа приложения в таких условиях. С помощью ИИ-технологий можно не только генерировать входные данные, но и расширять покрытие кода тестами. Например, исследователи из Google сообщили, что встроенные в фаззинг LLM уже позволили им обнаружить новые уязвимости.

Потенциально ИИ-технологии позволят автоматизировать все больше процессов в тестировании кода, а значит быстрее находить и закрывать уязвимости еще до того, как ими успеют воспользоваться киберпреступники. При этом важно учитывать и возможные негативные последствия, если разработчики начнут полностью полагаться на ИИ-проверку кода. Постепенно квалификация специалистов в области безопасной разработки и проверки кода будет снижаться, что может привести к проблемам в будущем: например, пропуск уязвимости вторым пилотом приведет к выпуску уязвимого приложения. Для наибольшей эффективности необходим тандем из ИИ-помощника и специалиста, такая схема позволит совместить преимущества автоматизации проверки кода и экспертный анализ.

Возможность искусственного интеллекта анализировать большие объемы данных помогает при обработке не только технической информации, но и документации компании. В документах могут содержаться различные типы конфиденциальных данных, в том числе распределенные по разным неструктурированным полям. Отслеживать такие вкрапления чувствительной информации обычными средствами без ИИ очень сложно и долго, особенно учитывая объемы документации. ИИ может эффективно решат эту проблему: распознавать конфиденциальные данные в документах независимо от их поля, а также гибко корректировать документ в зависимости от уровня допуска открывающего его сотрудника и задачи. Например, заретушировать часть персональных данных работника компании, когда документ открывает бухгалтер, или заменить на обезличенную информацию, сохраняющую все свойства оригинальной, если документ нужно обработать внешним сервисом или использовать для обучения другой модели. Фильтрация и модификация выдаваемой информации потенциально поможет защитить от утечки конфиденциальных данных, наиболее частого (54%) последствия кибератак на организации в 2024 году.

Важно учитывать, если документы единообразны, а конфиденциальные данные в них всегда содержатся в одном конкретном поле, искусственный интеллект только замедлит и усложнит процесс, который можно организовать намного проще. Но такая идеальная картина встречается далеко не всегда, поэтому наилучших результатов можно добиться лишь комбинируя классические подходы к обработке данных (для решения стандартных ситуаций) с ИИ-решением (для нешаблонных случаев).

По данным Microsoft, команды SOC в среднем получают 4484 срабатывания тревоги в день и тратят около 3 часов на отделение вручную реальных угроз от шума. При этом, по данным Positive Technologies, на обработку и анализ каждого события у сотрудника SOC уходит около 10 минут. В таких условиях ощутимой проблемой становятся ложноположительные срабатывания, которые неэффективно расходуют силы и время специалистов, в результате чего они могут пропустить реальную атаку. Ложноположительные срабатывания возникают из-за того, что некоторые действия злоумышленников могут маскироваться под легитимную активность пользователя, особенно когда киберпреступники применяют принцип living off the land, то есть используют только легальные инструменты, уже установленные на устройстве жертвы. Из-за этого обычные действия пользователя могут определяться правилами корреляции SIEM-системы как потенциально опасные, а значит приводить к генерации ложноположительного срабатывания. Согласно отчету SANS Survey 2024 Incident Response, 64% опрошенных компаний назвали именно ложноположительные срабатывания главной проблемой SOC.

Потенциально решить проблему перегрузки SOC может применение искусственного интеллекта. ИИ-решение будет проводить первичную сортировку событий безопасности, убирать вероятно ложноположительные срабатывания и выделять для специалиста действительно требующие внимания инциденты. Например, одна из функций ML-модуля BAD (behavioral anomaly detection) в MaxPatrol SIEM — проведение оценки риска каждого события безопасности по 100-балльной шкале и обогащение алертов дополнительным контекстом, который позволяет ускорить реагирование. Специалист может отсортировать алерты по убыванию оценки риска и сразу же заняться обработкой самых опасных событий, требующих скорейшего внимания. Применение технологий ИИ позволит значительно, по оценке IBM в два раза, ускорить сортировку и обработку событий безопасности, а значит повысить общую эффективность работы SOC. Мы подробно разобрали перспективы мониторинга ИБ и реагирования на инциденты в исследовании, посвященном автономным SOC.

С помощью технологий машинного обучения можно создать профиль нормальной работы объекта, например пользователя, системы или сети. При этом могут приниматься во внимание самые разные параметры в зависимости от поставленной задачи: генерируемый узлом трафик, стандартный набор приложений сотрудников на одной должности, энергопотребление системы. Применяя ML-модели, можно вести постоянный анализ поведения, сравнивая его с нормальным режимом работы, отклонение от которого (аномалия), может свидетельствовать о действиях киберпреступника.

Основные этапы работы системы поведенческого анализа:

1.     Сбор информации о нормальном поведении объекта наблюдения, включая пользователей, сетевой трафик, сведения о работе системы. Чем более широкий и подробный датасет собран, тем точнее будут вердикты модуля поведенческого анализа. Например, модуль BAD в MaxPatrol SIEM уже после недели работы создает примерный профиль инфраструктуры, в этот период становятся понятны типичные взаимодействия, задачи и процессы, а на рубеже месяца работы точность продолжает расти, так как в инфраструктуре успевают произойти все штатные задачи по расписанию (например, на рабочие места вернулись сотрудники из отпусков). Наибольшей точности модуль BAD достигает на горизонте работы в течение трех месяцев — когда собран исчерпывающий набор данных для формирования поведенческого профиля. При фиксированном времени сбора обучающего датасета также необходимо включить различные легитимные режимы работы (удаленный формат, работу в офисе, выходные, отпуска) и все выполняемые сотрудником типы задач.

2.     Обучение модели на основе собранных данных, если модель не была предобучена

3.     Определение порогов чувствительности к отклонению от нормальных значений при обнаружении аномалий. При низком пороге чувствительности модель будет реагировать только на серьезные отклонения от нормального поведения, а высокая чувствительность будет детектировать как потенциально опасное аномальное поведение любое незначительное отклонение. Низкая чувствительность сократит количество инцидентов для анализа, но при этом может пропустить осторожного злоумышленника, а при малом допустимом пороге отклонения система будет генерировать значительное количество ложноположительных срабатываний. Определение оптимального уровня чувствительности — одна из важнейших задач в прикладной настройке ML-решения.

4.     Распознавание поведения и обнаружение аномалий. Обученная модель наблюдает за работой системы, идентифицируя поведенческие паттерны и сравнивая их с нормальными. При этом могут применятся различные подходы и модели. Например:

• Статистический подход для обнаружения подозрительной активности на узле. Если на рабочей станции всегда работал только один пользователь, а сейчас появился второй — это аномалия. А если к узлу с тысячами ежедневных связей обратилось на одного-двух пользователей больше, чем обычно, — это лишь незначительное отклонение, которое не является признаком инцидента безопасности.

• Рекомендательный подход для определения нетипичных процессов, запускаемых пользователем. Изначально рекомендательные системы создавались как класс алгоритмов машинного обучения, призванных рекомендовать пользователям товары или контент. Такие системы должны на основе предпочтений группы схожих клиентов рекомендовать товары или услуги, которые вероятно понравятся конкретному представителю группы. В модуле BAD подход удалось адаптировать под задачи информационной безопасности, на место клиентов встали пользователи, а на место товаров — процессы. Работающие на схожих должностях пользователи запускают примерно схожие процессы, поэтому, если один из программистов захочет установить новую IDE (integrated development environment, интегрированная среда разработки), которой раньше не пользовался, рекомендательная модель определит, что запуск процесса соответствует профилю пользователя, потому что другие программисты уже запускали такие редакторы кода, а значит аномалии нет. Совсем другая ситуация, если бухгалтер запустит на своем компьютере утилиты для разведки. Рекомендательная система определит, что этот процесс не соответствует пользовательскому профилю, а значит можно детектировать аномальное поведения.

• Анализ журналов для выявления вредоносных программ при динамическом анализе файлов. Как и при динамическом анализе кода, о котором мы писали в предыдущем разделе, при динамическом анализе файла проверяемый объект запускается в изолированной виртуальной среде, журналы его поведения записываются и проверяются. Применение ИИ позволяет расширить возможности обычной проверки, основанной на наборах правил. Так, благодаря модели поведенческого анализа трасс в PT Sandbox удается обнаруживать нетипичное ВПО.

• Фильтрация сетевого трафика по различным признакам и метрикам, например по объему передаваемых данных между определенными узлами сети в установленные временные интервалы или объему трафика. Например, при помощи пользовательского правила профилирования PT NAD в реальном трафике обнаружил передачу большого объема данных во внешнее облачное хранилище вечером в выходной, активность оказалась легитимной, но могла свидетельствовать об эксфильтрации данных злоумышленником.

• Анализ параметров запроса для обнаружения DDoS-атаки. Обученная на нормальном режиме работы веб-приложения модель может анализировать ряд параметров входящих запросов, например сигнатуры заголовка, географию и интенсивность работы источника запроса. Анти-DDoS-система, дополненная модулем поведенческого анализа , может сразу отфильтровывать и блокировать потенциально опасные запросы с аномальными значениями параметров.

5.     Проверка человеком. Специалист по информационной безопасности проверяет, корректно ли отработала модель, действительно ли аномалия относится к инциденту безопасности.

В будущем технологии поведенческого анализа могут быть расширены в различных решениях не только на действия пользователя, но и на полное формирование его биометрического профиля. Такой профиль может включать различные параметры работы пользователя, например типичные движения мыши или темп нажатия клавиш клавиатуры при работе в определенных приложениях. Отслеживая поведение пользователя и сверяя его с составленным профилем, система безопасности может удостовериться, что за компьютером работает именно сотрудник.

С помощью искусственного интеллекта сетевой трафик можно анализировать не только для обнаружения поведенческих аномалий, но и детектировать в нем работу ВПО и вредоносную активность в HTTP-сессиях.

На примере HTTP-трафика модель машинного обучения можно обучить на ряде признаков, характерных для различного опасного содержимого этого трафика. Обученная модель будет анализировать эти признаки HTTP-сессий и искать в них подозрительные значения, которые могут говорить о потенциальной угрозе. Такое ML-решение позволяет обнаруживать новое ВПО, не определяемое с помощью экспертных правил. Например, модель, которая появится в одном из ближайших релизов PT Sandbox, еще на этапе тестирования обнаружила несколько неизвестных угроз. При этом важно отметить, что ML-решения в обозримом будущем не будут заменять экспертные правила, модели дополнят и усилят сетевые правила, позволяя эффективнее обнаруживать даже новые потенциальные угрозы.

Другой частный пример обнаружения угроз в HTTP-трафике — детектирование веб-шеллов. Веб-шеллы — это вредоносные командные оболочки для удаленного управления веб-сервером, которые нужно отделять от легитимного трафика, причем для полноты обнаружения задачу нужно решать как при запросе, так и при ответе. В первом случае можно предотвратить загрузку веб-шелла, а во втором — обнаружить его активность. В PT Application Firewall ML-модели, обнаруживающие веб-шеллы, обучены на данных из открытых источников и на примерах, встречающихся на кибербитвах Standoff, что позволяет не только увеличить полноту обнаружения (по нашим данным, на 30% относительно rule-based-подхода), но и обнаружить новые веб-шеллы.

С помощью методов машинного обучения можно детектировать в сетевом трафике шифрованные коммуникации вредоносного программного обеспечения с C&C-сервером. ВПО может шифровать свои сессии связи для сокрытия от средств защиты, схожим принципом могут пользоваться и некоторые легальные приложения для обхода блокировок, в том числе мессенджер Telegram. Научившись классифицировать сессии в трафике по косвенному признаку, например статистике длин TCP-пакетов в сессии, можно точно разделять трафик на зловредный и легитимный. Этот метод может быть особенно эффективным, поскольку злоумышленнику сложно поменять принципы и механизмы сокрытия ВПО. Следовательно, киберпреступнику придется потратить много времени и сил на изменение атакующего инструмента перед следующей попыткой взлома.

Одно из главных преимуществ искусственного интеллекта в кибербезопасности — возможность обнаруживать ранее неизвестные угрозы. Так, модуль BAD в MaxPatrol SIEM может определять атаки, которые не покрыты имеющимися правилами корреляции. С помощью ИИ-технологий можно обнаруживать эксплуатацию уязвимостей нулевого дня и работу неизвестного ВПО, анализируя появление аномалий и потенциально опасных паттернов действий.

Например, поведенческий ML-модуль в PT Sandbox уже несколько раз демонстрировал способность обнаруживать неизвестные угрозы, в одной из кибербитв Standoff атакующие запустили вредонос, который перед началом своей активности создал цепочку подпроцессов в количестве 100 штук. ML-модель заметила эту аномалию, в то время как классической сигнатуры для ее обнаружения в продукте не было. Новые вредоносные программы, которые еще неизвестны системам безопасности, практически невозможно обнаружить статическими методами анализа, тем более киберпреступники все время изменяют и маскируют атаки с помощью, например, обфускации вредоносных файлов или отправки ВПО с взломанных доверенных адресов электронной почты. Решение с поведенческим анализом все равно распознает угрозу, несмотря на новизну или маскировку, и позволит обеспечить защиту компании.

Социальная инженерия в 2024 году остается одним из основных методов киберпреступников, она применялась в каждой второй атаке на организации. Более того, в 42% атак с использованием ВПО каналом доставки были фишинговые письма. Киберпреступники мастерски манипулируют эмоциями жертв для достижения цели, поэтому в защите от фишинга недостаточно только обучения сотрудников: любой человек может совершить ошибку и не проверить вредоносное письмо.

Один из потенциальных программных методов защиты от фишинга — использование ИИ-технологий, его возможную эффективность уже демонстрировали исследователи. С помощью ИИ можно анализировать не только содержание, но и ряд контекстных признаков письма, например длину или свойства вложений. Потенциально такая система сможет обнаруживать подозрительные письма и на ранних этапах внедрения предупреждать пользователя, а при достижении необходимого для компании порога точности сразу блокировать опасные сообщения.

Искусственный интеллект появляется не только у стороны защиты, киберпреступники также стремятся использовать новые технологии в атаках. В нашем исследовании, мы уже рассказывали, что наибольших успехов во внедрении ИИ злоумышленники добились в социальной инженерии. С помощью генеративного ИИ киберпреступники автоматизируют создание фишинга, контента для ботов, а также активно дополняют классические атаки социальной инженерии дипфейками. Сгенерированный контент все время эволюционирует, и распознавать его невооруженным взглядом становится все сложнее. Помочь может ИИ-распознавание сгенерированного контента, исследователи уже показывали потенциальную эффективность этих технологий, и на рынке начинают появляться такие решения. Облегчить распознавание сгенерированного контента потенциально может согласие легальных и ответственных разработчиков генеративных моделей внедрять в создаваемый графический и аудиоконтент водяных знаков (вотермарок), но проблемой все равно остается текст, который пока не удается надежно маркировать, и это без учета потенциальной возможности киберпреступников самостоятельно создать нацеленные на мошенничество генеративные инструменты без каких-либо рамок и ограничений.

Другая потенциальная область применения ИИ в распознавании контента — обнаружение опасных сайтов. С помощью технологий ИИ можно оперативно анализировать содержимое страницы сайта в тот момент, когда пользователь решает ее посетить. При обнаружении нежелательного содержимого доступ к сайту блокируется еще до того, как пользователь оказывается на странице. На основе такой системы можно выстроить защиту от фишинговых, потенциально опасных или нежелательных для посещения с корпоративного устройства сайтов.

ИИ-решения могут значительно ускорить реагирование, предоставляя контекст обнаруженной атаки, объясняя срабатывания систем безопасности и давая советы по приоритетным действиям. Такая поддержка позволяет специалистам намного быстрее получить необходимые данные об инциденте безопасности, а значит оперативнее принять решение. Выполняющие такую функцию второго пилота решения разрабатываются как крупными компаниями, такими как Microsoft, так и отдельными разработчиками.

Сегодня можно выделить и другой перспективный путь развития — обучение компаниями собственных LLM-ассистентов кибербезопасности. Конечно, разработка LLM с нуля — очень дорогой процесс, требующий труда высококвалифицированных специалистов в области ИИ. Вместо этого организации могут брать готовые открытые LLM и проводить fine-tuning (дообучение) на своих данных. Дополнительный существенный плюс такого решения — все чувствительные данные остаются внутри компании и не отправляются на обработку разработчику LLM.

В случае если киберпреступники смогли достичь целей кибератаки, ассистенты потенциально смогут помочь справиться с последствиями инцидента и подсказать оптимальные действия по ликвидации нанесенного ущерба.

С помощью технологий ИИ можно выстроить процесс автоматического реагирования на инциденты. При этом степень автоматизации может быть разной. Автоматическое реагирование может быть обучено на конкретных действиях команды защиты при определенных типах инцидентов и после этого повторять действия только в аналогичной, типовой ситуации. Для более сложных инцидентов система с ИИ может генерировать рекомендуемый плейбук действий, зависящий от контекста действий киберпреступника, атакуемых и уже захваченных ресурсов. Так действует, например, MaxPatrol O2. Сгенерированный плейбук либо будет корректироваться, верифицироваться и запускаться специалистом, либо при максимальном уровне автоматизации и доверия к системе выполняться без согласования с человеком.

Чтобы оценить, в каких тактиках и техниках защиты от атак используются ИИ-технологии, мы проанализировали матрицу MITRE D3FEND.

Мы составили тепловую карту, на которой выделили, в каких тактиках, техниках и подтехниках защиты ИИ уже применяется или может применяться в будущем. Технологии искусственного интеллекта уже применяются для широкого спектра задач (4 из 7 тактик) обеспечения информационной безопасности.

Все тактики и техники мы разделили на три уровня в зависимости от того, применяются ли в них технологии искусственного интеллекта.

Синий — искусственный интеллект уже применяется. В эту группу входят 28% техник, больше всего прокрыта тактика «Обнаружение» (Detect) — одно из самых сильных и перспективных направлений применения искусственного интеллекта в кибербезопасности. Сюда относится анализ поведения пользователя, сетевого трафика и исполняемых файлами действий.

Голубой — искусственный интеллект может применяться. В эту категорию входят 27% техник, в которых ИИ можно применять, но реальные решения пока что находятся на различных стадиях разработки. Примерами могут послужить тактика «Обманные действия» (ИИ может генерировать различные ловушки и приманки, имитировать работу пользователя) или категория техник «Составление карты сети» (D3-NM: Network Mapping): в будущем ИИ может применяться для сбора информации о сети, для составления полной карты, поиска и учета shadow IT.

Серый — применение искусственного интеллекта не оправдано или не принесет существенной пользы. Возможности искусственного интеллекта в информационной безопасности очень широки, но даже при условии дальнейшего развития технологии остаются и непокрытые области обеспечения защиты, например физическая проверка связанности узлов сети (D3-DPLM: Direct Physical Link Mapping).

Граф знаний MITRE D3FEND прочно связан с матрицей MITRE ATT&CK: для большинства техник указаны техники атак, от которых они защищают. На основе связей атакующих мер и защитных контрмер мы сформировали тепловую карту и соотнесли техники защиты, в которых применяются технологии ИИ, с каждой техникой атаки. Сразу можно отметить, что 100% тактик и 65% техник матрицы MITRE ATT&CK будут покрываться техниками защиты, усиленными с помощью ИИ.

К началу 2025 года четко сложился тренд на применение мультиагентных систем (multi-agent systems, MAS), в которых для решения задачи используются несколько взаимодействующих между собой агентов. Главные преимущества таких систем перед одноагентными — это модульность и специализация на решении узких задач:

• Система с несколькими агентами позволяет гибко адаптировать набор модулей в под конкретные задачи, добавлять больше специализированных агентов и убирать ненужные в зависимости от условий.

• Специализация агентов на конкретных задачах при мультиагентном подходе позволяет эффективно распределять нагрузку между экспертными в конкретной области модулями, избегая проблем одноагентных систем, в которых все задачи направляются одному агенту-универсалу.

Тенденция прослеживается и в области информационной безопасности: в исследовании о применение ИИ в кибератаках мы уже рассказывали об экспериментальной мультиагентной системе для эксплуатации уязвимостей, но возможностей, конечно, больше. Например, мультиагентные системы могут симулировать действия защитников и атакующих для отработки сценариев реагирования на инцидент; различные агенты могут быть распределены по сети для обнаружения атак типа DDoS.

Тем не менее нужно учитывать и проблемы мультиагентного подхода:

• Мультиагентная система сложнее в настройке, поскольку необходимо проверять и уточнять результаты работы не только всей системы, но и каждого агента по отдельности;

• При использовании для каждого из агентов требовательных к ресурсам моделей увеличение количества агентов приведет к ощутимому росту нагрузки на вычислительные мощности.

Итоговая цель внедрения ИИ-технологий в сферу кибербезопасности — создание автопилота. Он может не просто повысить скорость реакции на инцидент, но и значительно снизить нагрузку на специалистов. Поэтому автопилот для защиты особенно актуален в условиях дефицита специалистов и растущего числа кибератак, тем более что киберпреступники уже начали экспериментировать с автоматизацией атак с помощью ИИ.

Автопилотирование может постепенно внедряться на разных уровнях для различных задач. На минимальном уровне автопилот может быть цифровой копией отдельного сотрудника или команды, обучаясь на действиях специалистов и повторяя их в аналогичных ситуациях. Такая система может оперативно предлагать и реализовывать типовые решения рутинных задач. Следующий шаг развития — уже полноценный автопилот, который обнаруживает и останавливает действия киберпреступников, руководствуясь заложенной в основу решения экспертизой. По такому принципу действует MaxPatrol O2. В будущем мы можем увидеть и обратную ситуацию, когда уже автопилоты будут участвовать в процессе обучения новичков в области ИБ, выполняя функцию куратора, правильно реагирующего на атаку.

Эффективность концепции автопилота с ИИ уже успел подтвердить MaxPatrol O2. На кибербитве Standoff 13 метапродукт не позволил хакерам взломать копию инфраструктуры Positive Technologies. Автопилот результативной безопасности работал в режиме реагирования — выявлял и предотвращал атаки до нанесения ущерба цифровым двойникам ключевых систем Positive Technologies.

С помощью генеративного ИИ потенциально можно автоматизировать создание цифровых копий компании или ее отдельных подсистем. Такая цифровая копия может использоваться как киберполигон для проверки защищенности и симуляции атак, тестирования возможных изменений. Генерация цифрового двойника потребует от компании значительно меньше времени и денег, чем при создании копии вручную, а значит позволит намного шире применять такой метод исследования безопасности системы.

Помимо тестовых киберполигонов, интересным направлением приложения генеративных способностей ИИ могут стать имитирующие работу пользователя или системы приманки (тактика «Обманные действия» (Deceive) матрицы MITRE D3FEND). Искусственный интеллект может генерировать искусственный сетевой трафик или имитировать поведение пользователя в сети. Приманки станут реалистичнее, а значит эффективнее, ведь их главная задача — обмануть злоумышленника и переключить его внимание на себя.

Исследователи ИИ работают над проблемой увеличения не только размеров моделей, но и требований к их работе. Один из путей решения, уже внедряемый на практике, — компрессия нейронных сетей, то есть упрощение моделей при сохранении производительности. Для этого применяются различные методы, такие как квантизация² и дистилляция³ знаний. В перспективе компрессия моделей должна повышать эффективность вычислений, а значит и снижать требования к вычислительной мощности устройства, на котором запущена модель. В области безопасности это может обозначать применимость решений с ИИ-модулем на персональных компьютерах, смартфонах и других устройствах с невысокой производительностью.

Работа ИИ в любых областях (не только в ИБ) — один из самых ярких примеров реализации принципа garbage in — garbage out. Результат работы ИИ-решения напрямую зависит от качества обучающих датасетов. Сбор и разметка таких обучающих данных — серьезная проблема для всей области ИИ. Для привлечения людей к маркировке данных создаются специальные площадки, например Toloka. В области информационной безопасности проблема обучающих данных возникает особенно остро из-за специфики сетевых данных — перенасыщения ложноположительными срабатываниями при малом количестве атак. В реальном трафике срабатывания систем защиты встречаются редко, более того, далеко не все из них истинно положительные срабатывания: решения для ИБ могут среагировать на подозрительную, но не являющуюся вредоносной активность как на атаку. Из-за этого обучать на таких данных ИИ-модель может быть неэффективно.

Собирать насыщенные атаками сетевые данные можно либо по результатам киберучений, например Standoff, либо после работы пентестеров и решений для симуляции атак, таких как PT Dephaze. Альтернативный способ получения таких данных — вновь обратиться к ИИ и сгенерировать синтетический датасет. Синтетические обучающие данные обладают рядом потенциальных преимуществ перед реальными данными: их сбор дешевле, не требует анонимизации и маскировки данных для сохранения конфиденциальности, синтетические данные можно модифицировать и изменять в зависимости от нужд конкретной задачи. Синтетический обучающий датасет может использоваться как отдельно, так и для обогащения реальных данных специфическими признаками атак. Тем не менее нужно учитывать, что генерация качественных синтетических обучающих датасетов на сегодня остается одной из актуальных задач, которую еще предстоит решить до конца.

Нехватка специалистов в области информационной безопасности — одна из проблем, которую потенциально может решить внедрение технологий ИИ. Важно учитывать, что в обозримом будущем ИИ снизит нагрузку на специалистов по ИБ, автоматизирует рутинные задачи, но в то же время для разработки и интеграции таких решений нужны высококлассные специалисты и эксперты, обладающие знаниями в области информационной безопасности и искусственного интеллекта. Проблема встречается и при внедрении ИИ в другие профессиональные области, то есть необходимы эксперты на стыке двух отраслей.

Возможным решением этой проблемы могут стать хакатоны, на которых будут работать команды, состоящие из специалистов по ИБ и ИИ. Решение интересных задач ИБ может помочь привлечь больше экспертов по ИИ в отрасль.

Одно из препятствий на пути масштабного внедрения ИИ в информационную безопасность — проблема черного ящика сложных моделей. Проблемы интерпретируемости (Как получился такой ответ?) и объяснимости (Почему получился такой ответ?) работы моделей выходят за рамки информационной безопасности и остаются актуальными для всей сферы ИИ-технологий. Тем не менее в области защиты информации для доверия к системе особенно важно понимать причины результатов работы. Кроме того, прозрачность моделей влияет не только на возможность объяснить ответ, но и на быстроту и надежность исправления ошибки. Интерпретируемость и объяснимость моделей могут стать ключевыми факторами при масштабном внедрении ИИ-решений в безопасность, особенно в режиме автопилота. Технологиям искусственного интеллекта необходимо будет не просто доказать свою надежность, но и подтвердить это прогнозируемостью ответа. Первый шаг к этому уже сделан в моделях с технологией reasoning, позволяющей «думать» перед ответом и воспроизводить цепочку рассуждений.

Безопасность искусственного интеллекта — развивающаяся область, в которой исследователям предстоит проделать еще очень много работы. Необходимо понимать, что каждый внедряемый модуль с ИИ не только позволяет расширить или автоматизировать возможности решения, но и представляет собой потенциальную цель для атак злоумышленников.

Мы ожидаем, что в будущем киберпреступники постепенно начнут атаковать встроенный ИИ, в том числе и в системы безопасности. Массовое внедрение ИИ, например, в инструменты проверки сайтов, может привести к внедрению злоумышленниками эксплойтов-ловушек в контент или код фишинговых сайтов. Разработчикам решений с ИИ нужно заранее проанализировать, с какими атаками могут столкнуться в реальных условиях их продукты, и как можно раньше внедрить защиту.

Встроенные в процессы защиты модели могут не только сами становиться целью атак, но и быть источником угроз. Внедрение генеративных ИИ для автоматизации и ускорения разработки и проектирования IT-продуктов, решений и модулей на всех уровнях производства, начиная от аппаратного, может привести в обозримом будущем к росту числа как уже известных, так и новых, уязвимостей в информационных системах, специфичных для сгенерированных с помощью ИИ разработок. Несмотря на впечатляющие способности, генеративные ИИ неидеальны и на текущем этапе развития технологий требуют контроля и проверки результатов работы. Отдельно специалистам по кибербезопасности необходимо учитывать угрозы, которые могут нести в себе опенсорсные модели. Киберпреступники могут распространять дообученные для вредоносной активности модели, например встраивающие бэкдоры в генерируемый код.

Технологии искусственного интеллекта прочно закрепляются во многих профессиональных сферах, и информационная безопасность не исключение. ИИ может выполнять различные задачи на всех этапах обеспечения ИБ, ассистируя специалисту, забирая на себя рутинные задачи, расширяя возможности по обнаружению угроз. Постепенно роль технологий искусственного интеллекта в защите будет становиться все шире и больше: ИИ полноценно займет место второго пилота, а в будущем может полностью автоматизировать решение части задач в сфере обеспечения информационной безопасности.

Несмотря на широкий спектр возможных задач для ИИ, человек в области кибербезопасности пока что незаменим. Даже при уровне технологий, значительно превосходящем сегодняшний, останется множество задач для специалиста, например формирование общей стратегии защиты, контроль и управление работой ИИ-инструментов, решение сложных и нестандартных вопросов. Важно отметить, что в будущем умение эффективно работать с ИИ-инструментами будет важной составляющей необходимых компетенций специалиста по информационной безопасности. Таким образом, технология не приведет к исключению человека, но повлечет сокращение численности штата за счет повышения производительности труда.

Внедрение технологий искусственного интеллекта в защиту — логичная контрмера, принятая в ответ на попытки злоумышленников эксплуатировать новые технологии для атак. Сторона защиты должна выиграть эту гонку, чтобы заранее приготовится к расширению инструментария киберпреступников. Тем не менее нужно ответственно подходить к разработке и внедрению новых технологий, учитывать риски и угрозы, разумно оценивать новые возможности, использовать их сильные стороны в подходящих задачах и применять там, где это будет действительно эффективно. Рекомендуем не забывать придерживаться общих рекомендаций для обеспечения личной и корпоративной кибербезопасности: они сохраняют актуальность и важность даже во время стремительного развития новых технологий.

Отчет содержит информацию об общемировых актуальных угрозах информационной безопасности и методах защиты, основанную на собственной экспертизе компании Positive Technologies, результатах расследований, а также на данных авторитетных источников.

По нашим оценкам, большинство кибератак не предается огласке из-за репутационных рисков. В связи с этим подсчитать точное число угроз не представляется возможным даже для организаций, занимающихся расследованием инцидентов и анализом действий хакерских группировок. Наше исследование проводится с целью обратить внимание компаний и обычных граждан, интересующихся современным состоянием информационной безопасности, на наиболее актуальные методы и мотивы кибератак, использующих искусственный интеллект.

В рамках отчета каждая массовая атака, в ходе которой злоумышленники проводят, например, фишинговую рассылку на разные адреса, рассматривается как одна атака, а не множество разных. Термины, которые мы используем в исследовании, приведены в словаре на сайте Positive Technologies.