Искусственный интеллект в кибератаках

В 2023 году произошел рывок в развитии инструментов, в которых используются алгоритмы искусственного интеллекта (ИИ), при этом рынок технологий ИИ вырос на треть. Технологии машинного обучения¹ используются при решении ежедневных — в том числе рабочих — задач, таких как сбор и подготовка информации, краткий пересказ большого текста и генерация контента.

Технологии ИИ внедряются в различные отрасли: в промышленность, медицину, сельское хозяйство, торговлю, индустрию развлечений. Искусственный интеллект применяется для различных задач автоматизации рабочих процессов, даже таких сложных, как управление автомобилем, распознавание объектов (например, злокачественных образований в медицине или сорняков в сельском хозяйстве), оптимизация цепочек поставок и расположения торговых точек, генерация развлекательного контента. Однако широкие возможности существующих на данный момент систем искусственного интеллекта и их большой потенциал привлекают внимание не только бизнеса, но и киберпреступников. Злоумышленники экспериментируют с возможностями внедрения искусственного интеллекта в различные типы и этапы атак.

ИИ может применяться для широкого спектра киберпреступных целей. С помощью генеративных систем ИИ злоумышленники могут быстро собирать информацию о жертве, создавать контент для атак (будь то текст фишингового письма, аудио- или видеодипфейк), генерировать вредоносный код и искать уязвимости в атакуемых приложениях. Зловредные инструменты, в которые интегрированы технологии ИИ, могут использоваться для автоматизации анализа больших объемов данных, например в атаках по побочным каналам и проведении отдельных этапов атаки.

Могут ли злоумышленники с помощью ИИ автоматизировать проведение атаки? Какие угрозы несут дипфейки? Какие есть перспективы использования ИИ в кибератаках и какие действия необходимо предпринять уже сегодня, чтобы обезопасить себя и организацию от атак злоумышленников? В этом исследовании мы оценим, какое место занимают инструменты на основе ИИ в арсенале киберпреступников на сегодняшний день.

Несмотря на ограниченное применение ИИ в кибератаках на сегодняшний день, потенциальные возможности технологии огромны. Киберпреступники активно внедряют в атаки новые перспективные методы и не прекращают попыток повысить свою «продуктивность» за счет большего внедрения ИИ.

Возможное применение ИИ в кибератаках можно условно разделить на несколько уровней по степени автоматизации процессов.

Большие языковые модели могут помочь киберпреступнику-новичку разобраться в основах, в сжатом виде предоставить ему необходимую информацию и быстро ответить на базовые вопросы.

Если киберпреступник обойдет ограничения безопасности на вывод неприемлемого контента или воспользуется специально созданной для злоумышленников LLM, то сможет получить ответы и на более сложные вопросы. Например, злоумышленник cможет уточнить, не упустил ли он чего-то в своем плане проведения атаки, или изучить различные подходы к проведению определенного шага.

Выходя за рамки общих вопросов, киберпреступники могут воспользоваться ИИ в качестве цифрового ассистента, а также для генерации вредоносного контента при проведении отдельных шагов атаки. ИИ может как подсказывать оптимальные действия человеку, так и выполнять за него простые действия. Так, киберпреступники уже используют ИИ для генерации скриптов и проверки кода при подготовке вредоносного программного обеспечения (ВПО).

Киберпреступники уже используют в атаках генеративные возможности и способность ИИ обрабатывать большие объемы информации. Злоумышленники генерируют фишинговые сообщения и дипфейки, автоматизируют работу мошеннических аккаунтов, эксплуатацию уязвимостей, сбор и анализ информации о жертве. Мы ожидаем, что постепенно киберпреступники будут все активнее внедрять ИИ в различные этапы проведения атак.

Пока что ни об одной атаке нельзя сказать, что она была полностью проведена искусственным интеллектом. Тем не менее мир информационной безопасности постепенно движется к автопилотированию как в защите, так и в атаке. Мы прогнозируем, что с течением времени киберпреступные инструменты и модули с ИИ будут объединяться в кластеры для автоматизации все большего числа этапов атаки, пока не смогут покрыть большую часть шагов.

Если киберпреступникам удастся автоматизировать проведение атак на выбранную цель, следующим шагом может стать расширение «полномочий» ИИ на самостоятельный поиск целей по определенным признакам и параметрам, например по компаниям или странам.

Один из первых этапов проведения атаки — разведка и сбор информации. В зависимости от атакуемой цели киберпреступнику может понадобиться как техническая информация, так и личные данные жертвы. ИИ позволяют киберпреступнику автоматизировать весь процесс OSINT², то есть собрать, проанализировать и резюмировать необходимую информацию (это третий уровень использования ИИ по нашей схеме).

В 2023 и 2024 годах вышел ряд больших языковых моделей, в том числе проприетарные ChatGPT-4 и ChatGPT-4o, открытая Llama 2, отечественные YandexGPT и GigaChat. Большие языковые модели быстро собирают и обрабатывают информацию, а значит, могут значительно помочь киберпреступникам на каждом из нескольких этапов OSINT.

OSINT начинается со сбора источников, ИИ способен сразу подсказать наиболее перспективные варианты, а позже дополнять и уточнять список по мере поступления новой информации о цели. Когда определены источники, начинается сбор и обработка данных, одна из главных проблем OSINT на этом шаге — огромные объемы информации, которые требуют значительного времени на обработку. Технологии искусственного интеллекта позволяют решить эту проблему, автоматизировав поиск по данным в разных форматах и из разных источников, а значит, дают возможность проводить более широкую разведку.

ИИ может собирать данные из целого ряда различных источников, включая социальные сети, веб-сайты, новости, выложенные в открытый доступ документы, фотографии и видео. Таким образом киберпреступники могут собирать любые данные как о частном лице, так и об организации и ее сотрудниках. Из собранных данных инструмент с искусственным интеллектом может быстро выделить полезные для киберпреступников сведения: это могут быть персональные и учетные данные, привычки и хобби жертвы, информация о деятельности и технических средствах целевой организации — все, что может быть использовано при планировании дальнейших шагов атаки.

Помимо поиска в источниках данных, ИИ потенциально может быть использован для определения профиля жертвы на основе уже собранных данных. По результатам разведки, как правило, формируется отчет, компилирующий собранную информацию, — и вновь ИИ оказывается полезен: большие языковые модели хорошо справляются с резюмированием данных и могут предоставлять киберпреступнику всю важную полученную информацию в сжатом виде.

Еще одно следствие включения ИИ в OSINT — стирание языковых барьеров. Злоумышленники могут собирать информацию на других языках и переводить ее, а значит, и нацеливаться на новые географические регионы, расширять сферу деятельности.

Уже сегодня в открытом доступе можно найти ряд готовых инструментов для OSINT в сфере кибербезопасности, например OCIGPT и созданный с финансовой поддержкой фонда Европейского союза Taranis_AI. Среди их функций — предоставление экспертной помощи аналитикам в сборе данных из социальных сетей, дарквеба, сайтов, криптовалютных операций и создание структурированных отчетов в различных форматах. Схожие по функциональности инструменты могут со временем создать и злоумышленники для преступных целей.

Уже известно, что киберпреступники применяют ИИ для OSINT. В 2023 году как минимум пять группировок использовали продукты OpenAI для поиска информации по открытым источникам. Киберпреступники собирали информацию об инструментах кибербезопасности, спецслужбах, других группировках, организациях и отдельных экспертах, технологиях и протоколах, а также изучали способы сокрытия процессов и переводили техническую документацию.

Чат-боты используются не только APT-группировками. Например, администраторы ряда теневых форумов подключали чат-боты для быстрого поиска информации.

Один из каналов сбора информации о цели — публикации в социальных сетях. Имея хотя бы одно фото человека, найти его аккаунты не составит проблемы для киберпреступников. Инструменты для поиска аккаунтов в популярных социальных сетях известны уже давно, в том числе применяющие ИИ, например EagleEye — инструмент с машинным обучением для поиска аккаунтов в четырех социальных сетях по одной фотографии.

В октябре 2023 года исследователи из Швейцарской высшей технической школы Цюриха продемонстрировали, как можно использовать большие языковые модели для сбора информации о жертве: сведений о поле, возрасте, семейном положении, месте проживания и рождения, образовании, профессии и доходах. Несмотря на небольшое отставание по качеству, GPT-4 уже смогла собрать данные с точностью и объемом, близкими к результатам человека-специалиста, за значительно меньшее время.

В будущем киберпреступники смогут использовать инструменты ИИ для сбора информации из публикуемых в открытых источниках фото и видео, включая информацию об адресах, программном обеспечении и модели используемых устройств, интересах жертвы или случайно попавших в объектив конфиденциальных данных, в том числе учетных.

Кроме непосредственно сбора информации инструменты с ИИ потенциально могут «достраивать» недостающие данные на основе уже полученных, например предполагать, как выглядит схема сети атакуемой компании, ориентируясь на примеры других отраслевых организаций сопоставимого размера. Или, используя открытые данные в социальных сетях, находить забытые, но остающиеся активными веб-страницы, на которых потом можно будет искать уязвимости. Значительный технологический скачок может привести к появлению в арсенале киберпреступников инструментов с ИИ, которые смогут создавать цифровую копию системы по результатам сканирования и сбора информации о жертве. В такой цифровой копии злоумышленник сможет готовиться к реальной атаке, моделировать различные действия и тестировать ВПО.

Эксплуатация уязвимостей — часто встречающийся сейчас метод атаки. По нашим данным, он использовался в каждой третьей успешной атаке на организации (35%) в первом полугодии 2024 года. На сегодняшний день киберпреступники могут подключать ИИ в эксплуатации уязвимостей для решения ограниченного количества задач (это второй уровень — помощь в проведении отдельных шагов атаки). Применение ИИ перейдет на третий уровень (автоматизация отдельных шагов атаки), если наиболее перспективные из уже опубликованных решений по автоматизации эксплуатации уязвимостей докажут свою эффективность.

В августе 2023 года было опубликовано исследование, демонстрирующие, что большие языковые модели могут применяться для помощи специалисту по тестированию на проникновение в сборе информации о целевой системе и автоматизированной эксплуатации найденных простых уязвимостей. Как с помощью ChatGPT удалось обнаружить XXE-уязвимость в веб-браузере, рассказывал в 2024 году эксперт по безопасности веб-приложений Positive Technologies Игорь Сак-Саковский.

В феврале 2024 года группа исследователей из Иллинойсского университета в Урбана-Шампейне подтвердила, что LLM-агенты³ могут искать и эксплуатировать уязвимости в веб-сайтах. Из 10 тестируемых языковых моделей стабильные результаты показала только GPT-4 на простых уязвимостях. В апреле 2024 года той же команде удалось улучшить результат: с помощью LLM-агентов оказалось возможным проэксплуатировать ряд реальных уязвимостей one-day. Успеха добилась вновь только GPT-4, при том что исследователи сообщали LLM описание уязвимости. А уже в июне 2024 года эти же исследователи с помощью команд LLM-агентов смогли проэксплуатировать уязвимости нулевого дня. Исследователи представили новый метод HPTSA (hierarchical planning with task-specific agents, иерархическое планирование с ориентированными на конкретные задачи агентами), который заключается в разделении задач между разными агентами. Агент-планировщик исследует атакуемую систему и отправляет информацию в агент-менеджер. Агент-менеджер выбирает подходящий для выполнения конкретной задачи агент. Кроме того, агент-менеджер собирает информацию о предыдущих сессиях и на ее основе может перезапускать агенты для определенных задач, дополнив и изменив инструкции к ним. В теории такие системы могут выйти за рамки эксплуатации веб-уязвимостей в исследовании и широко применяться как специалистами по пентесту, так и злоумышленниками.

HPTSA представляет собой один из вариантов модульного подхода, в котором пользователь потенциально может добавлять и модифицировать отдельные части инструмента, например улучшить агент-планировщик или добавить больше ориентированных на конкретные задачи агентов. Мы предполагаем, что в ближайшем будущем ИИ будет внедряться киберпреступниками именно в формате модульных систем, в которых можно будет заменять фрагменты, дополнять их классическими вариантами программ и экспериментировать с сильными сторонами ИИ без ущерба для результата.

Киберпреступникам необязательно создавать собственные инструменты: разрабатываемые для тестирования на проникновение инструменты с использованием ИИ неизбежно будут попадать в руки злоумышленников. Тем более что часть таких инструментов находится в открытом доступе, например DeepExploit.

В августе 2024 года разработчики XBOW, стартапа для тестирования на проникновение с использованием ИИ, провели исследование, результаты которого показали, что в решении бенчмарков простого и среднего уровня их продукт может сравниться по результативности с высококлассным специалистом-пентестером. Можно предположить, что в будущем наличие таких инструментов понизит планку необходимых киберпреступнику знаний для эксплуатации уязвимостей, а значит, увеличит количество атак. Поэтому мы рекомендуем компаниям уже сегодня выстроить процесс управления уязвимостями (vulnerability management) и рассмотреть участие в багбаунти, не дожидаясь эволюции инструментария злоумышленников. 

По нашим данным, в первом полугодии 2024 года в половине успешных атак на организации и в 88% успешных атак на частные лица использовалась социальная инженерия. А в каждой третьей (34%) успешной атаке на организации в 2023 году использовались фишинговые сообщения. Технологии машинного обучения позволили киберпреступникам расширить применение существующих техник социальной инженерии, добавить к ним новые приемы. Например, в феврале 2024 года OpenAI сообщила, что по меньшей мере три APT-группировки использовали продукты компании для сбора информации и генерации контента для проведения фишинговых кампаний.

С помощью искусственного интеллекта злоумышленники могут быстрее и проще генерировать убедительные фишинговые сообщения на разных языках, автоматизировать поддержание диалога, создавать аудио- и видеодипфейки. Киберпреступники могут генерировать содержимое для фишинговых сайтов и автоматизировать создание поддельных копий легитимных сайтов. Ссылки на такие фишинговые копии могут использоваться в сгенерированных LLM фишинговых письмах, например для сбора учетных данных.

Таким образом, с помощью генеративных мощностей ИИ можно покрыть весь фишинговый этап атаки. Социальная инженерия — самая развитая область применения ИИ в кибератаках, вплотную приблизившаяся к четвертому уровню (полная автоматизация проведения атаки). Потенциально ИИ может начать связывать в единую цепочку финансово мотивированной атаки, например, сбор информации о жертве и генерацию целевого фишинга на основе собранных данных.

Через год после выхода ChatGPT-4, согласно исследованиям SlashNext, было зафиксировано увеличение числа фишинговых писем на 1265%. Одной из причин такого роста может быть массовая генерация фальшивых писем с помощью больших языковых моделей.

В LLM официальных разработчиков установлены ограничения на вывод неприемлемого и потенциально опасного контента. К примеру, ChatGPT откажется как писать инструкцию по созданию бомбы, так и генерировать вредоносный код или фишинговое письмо.

При этом для понимающего принципы фишинга киберпреступника обойти ограничения не составит особого труда. Фишинговое и, например, рекламное сообщения отличаются только целью создания: и то и другое должно привлечь внимание, сподвигнуть человека воспользоваться предложением в письме, однако фишинговое вместо скидки в любимом кафе содержит ловушку. Поэтому, даже если нейросеть откажется генерировать фишинговое письмо, достаточно заменить в запросе слово «фишинговое» на «рекламное» или «информирующее», чтобы обойти ограничение. Такие запросы «двойного назначения» выглядят для фильтров LLM легальными и пропускаются на генерацию.

Часть языковых моделей, несмотря на декларируемые ограничения, могут ответить и на прямой вредоносный запрос, что облегчает задачу потенциальному злоумышленнику.

Из-за того, что любое легальное рекламное или информационное сообщение может быть использовано для фишинга, у этой проблемы нет решения. Попытка заблокировать генерацию любых подобных писем в больших языковых моделях приведет к слишком большим ограничениям.

Даже если предположить, что разработчикам LLM удастся создать фильтры, блокирующие генерацию контента «двойного назначения», остаются более сложные пути обхода ограничений. Для генерации как фишингового текста, так и другого нелегального контента киберпреступники могут использовать технику prompt injection. Это запросы, которые содержат инструкции, заставляющие модель проигнорировать внутренние ограничения, установленные разработчиками. Самый популярный и известный вариант — джейлбрейк (jailbreak). Запрос такого типа заставляет языковую модель играть роль ничем не ограниченного персонажа или алгоритма: нейросеть может быть кем угодно (реальной исторической фигурой, вымышленным героем, другой нейросетью или самой собой), но при этом она должна работать так, как если бы находилась в процессе тестирования. Важно, что навязываемая «личность» не ограничена требованиями безопасности, а значит, может ответить на любой потенциально вредоносный запрос. Воспользоваться таким запросом может и неопытный злоумышленник, для этого достаточно найти работающий вариант и отправить его легальной языковой модели, дополнив собственным вопросом.

Запросы jailbreak регулярно блокируются, но злоумышленники постоянно находят новые варианты навязывания нейросети роли без ограничений безопасности.

Злоумышленники могут дополнять или заменять заставляющие играть роль запросы и другими вариантами обхода ограничений. Можно заставить нейросеть генерировать потенциально опасный контент на стороннем языке и сразу переводить на английский, игнорируя ограничения безопасности, или воспользоваться методом token smuggling. Этот метод обхода ограничений заключается в разделении опасного запроса на части. Языковая модель не опознает в них опасность и сама формирует в процессе работы из разрозненных частей полный вредоносный запрос⁴. Схожий принцип использует и другой вариант обходящих ограничения безопасности запросов. Описание атаки ArtPrompt было опубликовано исследователями Вашингтонского и Чикагского университетов в феврале 2024 года. Для ее реализации злоумышленнику нужно оставить в запросе место под потенциально опасное слово и поместить туда рисунок ASCII. Нейросеть сама распознает рисунок ASCII и подставит полученное слово в запрос уже после анализа безопасности.

Даже после обхода ограничений необходимо понимать, как построить правильный запрос для LLM, каким образом доработать полученное фишинговое письмо и добавить в него полезную нагрузку. Мошеннические сообщения в 85% случаев содержат ВПО или распространяют поддельные формы для сбора данных. По мере развития инструментов на базе ИИ киберпреступники смогут еще эффективнее использовать методы социальной инженерии. 

Наибольшую выгоду злоумышленники смогут извлечь из инструментов машинного обучения, генерируя фишинговые сообщения для массовых атак, направленных на широкий круг жертв. В целевых атаках нейросети на данный момент справляются хуже людей-специалистов. В октябре 2023 года IBM провели эксперимент, в котором сравнивались два фишинговых письма. Одно было создано генеративным ИИ, а второе было написано командой социальных инженеров. Несмотря на колоссальную разницу во времени (на выполнение такой задачи ИИ тратит 5 минут, а специалисты — порядка 16 часов), лучшие результаты показало письмо, созданное людьми. Сгенерированное ИИ фишинговое письмо использовало общие фразы, в то время как специалисты собрали информацию о жертве в открытых источниках и адаптировали обман под конкретную компанию. Генеративный ИИ может помочь киберпреступникам в массовых атаках, создавая достаточно убедительные фишинговые письма для широких категорий жертв. Однако в атаках, нацеленных на конкретную организацию или даже определенного человека, эффективнее окажутся письма, созданные киберпреступником вручную, — такой вывод подтверждается и проведенным в Гарвардском университете исследованием. Созданные генеративным ИИ фишинговые тексты оказались в два раза менее эффективны, чем более сложные письма, разработанные с учетом экспертизы исследователей о техниках фишинга. 

Кроме писем большие языковые модели применяются киберпреступниками для создания ботов, реалистично имитирующих людей. С помощью таких ботов мошенники могут создавать сети распространения дезинформации и симулировать активное общение в социальных сетях.

В 2023 году исследователи из Индианского университета выявили в социальной сети X (бывшем Twitter) ботнет из более чем тысячи аккаунтов. Боты использовали украденные изображения и убедительно имитировали человеческое поведение, распространяя сгенерированный ИИ контент. Более того, фейковые личности создавали иллюзию реального общения, отвечая на публикации друг друга.

Мошенники применяют генеративный ИИ, чтобы автоматизировать имитацию общения с жертвами. Один из ярких примеров — сервисы онлайн-знакомств. Согласно отчету Arkose Labs, за период с января 2023 года по январь 2024-го число ботов в приложениях для знакомств выросло на 2087%. Боты применяют генеративный искусственный интеллект для создания сообщений, фотографий и другого контента. В 2023 году исследователи Avast обнаружили использование инструмента для мошенничества со знакомствами Love GPT как минимум в 13 сервисах. Love GPT использует ChatGPT для имитации искренних, провоцирующих эмоциональную реакцию разговоров. Как правило, такие диалоги подводят к вымоганию денег.

Генерируемые ИИ фишинговые письма не требуют принципиально новых подходов в защите. Как и в написанных вручную письмах, киберпреступники будут эксплуатировать популярные темы фишинга, пытаясь надавить на эмоции и спровоцировать на необдуманные действия. Необходимо уже сегодня начать выстраивать защиту от растущего количества атак социальной инженерии, обновить средства защиты почты. Организации должны обучить сотрудников распознавать фишинг и не попадаться на него, а также регулярно предупреждать о возможных атаках.

Мы ожидаем, что атаки с использованием социальной инженерии продолжат представлять существенную угрозу как для организаций, так и для частных лиц. В будущем с помощью ИИ киберпреступники смогут автоматизировать ряд процессов в фишинге:

• Отправлять в подходящие моменты или использовать в качестве темы письма собранную о цели информацию. ИИ сможет автоматизировать выбор подходящих тем для разговора, которые с наибольшей вероятностью заинтересуют жертву.

• Подстраивать тон сообщений под настроение жертвы, что может быть особенно полезно в социальных сетях и чатах. Например, ИИ сможет на протяжении нескольких дней поддерживать реалистичный диалог в сервисе онлайн-знакомств, постепенно подводя жертву к атаке.

• Проводить сложные разветвленные атаки типа multi-persona impersonation⁵. Сейчас такие атаки требуют непосредственного участия специалиста и, как правило, встречаются лишь в сложных целевых операциях. ИИ же сможет сделать такие атаки массовыми, значительно усложнив ландшафт фишинга.

Для обеспечения результативной кибербезопасности необходимо обучить сотрудников распознавать используемые киберпреступниками приемы социальной инженерии, в том числе появившиеся вследствие развития машинного обучения дипфейки.

С помощью искусственного интеллекта злоумышленники генерируют для проведения атак не только текст. Технология дипфейков позволяет на основе реальных фотографий и записей создавать фальшивые изображения людей, видео- и аудиозаписи якобы с их участием. Исследователи Sumsub сообщают о десятикратном росте количества дипфейков в 2023 году по сравнению с 2022-м. Такой рост обусловлен появлением и распространением доступных рядовому пользователю инструментов и приложений по созданию дипфейков, улучшением качества создаваемого поддельного контента.

В разных типах атак роль и место дипфейков могут сильно отличаться. Дипфейк может быть привлекающей внимание фишинговой приманкой, манипуляцией для убеждения жертвы выполнить необходимое злоумышленнику действие и даже основой мошенничества. Дипфейки использовались для манипуляций общественным мнением (46%) в разгар глобально значимых событий, часто поддельные записи появлялись во время предвыборных гонок. Эксплуатируя авторитет известных людей, в 2023 и 2024 годах злоумышленники создавали цифровых двойников для рекламы мошеннических схем и инвестиций (26%). С помощью дипфейков киберпреступники научились похищать деньги, притворяясь родными и близкими жертв, якобы попавшими в сложные жизненные обстоятельства (6%). Широкий общественный резонанс вызывали и другие случаи применения дипфейков (22%), среди них — незаконное использование голосов и образов актеров, шантаж якобы от лица правоохранительных органов, генерация порнографии.

Самая массовая область злонамеренного применения дипфейков — манипуляция общественным мнением. Фальшивые записи разговоров и очерняющие конкурентов сгенерированные видео стали неотъемлемой частью политической борьбы по всему миру. Для манипуляции общественным мнением создают дипфейки политиков, медийных лиц и даже значимых политических фигур прошлого. Такие дипфейки, как и мошеннические, обычно распространяются в социальных сетях и видеохостингах, но иногда они попадают в эфир теле- и радиовещания.

По нашим данным, больше половины (52%) связанных с манипуляцией общественным мнением дипфейков появляются в период выборов. В 2023 и 2024 годах дипфейки сопутствовали предвыборным гонкам в США, Великобритании, Словакии, Турции, Аргентине, Бангладеше, Индии, Пакистане, Южной Корее, Индонезии и на Тайване. Отчет по кибербезопасности Всемирного экономического форума назвал дипфейки одной из главных угроз многочисленным выборам 2024 года. Мы предполагаем, что и в будущем все крупные политические события в разных странах будут сопровождаться распространением многочисленных дипфейков и дезинформации.

Злоумышленники активно эксплуатируют дипфейки для продвижения мошеннических схем. Для проведения атак киберпреступники создают видеодипфейки известных медийных лиц, политиков или бизнесменов, которые якобы рекомендуют товар или инвестицию, после чего мошенническая запись распространяется в социальных сетях и на видеохостингах. Согласно исследованию Pindrop именно на таких площадках чаще всего встречаются как видео-, так и аудиодипфейки. Цель злоумышленников на этом этапе — привлечь внимание жертв.

По нашим данным, 61% афер обещают заработок на инвестициях, причем больше половины (55%) из них эксплуатируют тему криптовалюты. Пользуясь авторитетом и известностью подделываемых лиц, киберпреступники призывают инвестировать в якобы приносящие прибыль схемы или обещают раздачу криптовалюты всем зарегистрировавшимся на мошенническом ресурсе пользователям. Внесенные жертвами средства похищаются, а введенные данные могут использоваться для последующих атак.

Встречаются и кампании, распространяющие мошеннические товары и розыгрыши — цена таких товаров оказывается значительно больше, а вместо участия в розыгрыше жертвы оформляют дорогостоящую подписку. В некоторых случаях дипфейки были частью рекламной кампании законных товаров и услуг, тем не менее эта реклама создавались без согласия лиц, чье участие в ней имитировалось.

Дипфейки позволяют киберпреступникам не только выдавать себя за известных людей, но и проводить целевые атаки на частных лиц, имитируя голоса и изображения родственников и друзей. В таких атаках злоумышленники звонят и просят срочно перевести деньги, ссылаясь на безотлагательную или шокирующую жертву мошенничества причину. Например, осенью 2023 года мошенникам удалось выманить у канадской пары 10 тысяч долларов, по телефону представившись их сыном, которому нужно оплатить залог для выхода из тюрьмы. Для большей убедительности киберпреступники могут использовать видеосвязь, подменяя не только голос, но и изображение. Такая атака привела к похищению 4,3 миллионов юаней (около 622 тысяч долларов) у жителя Китая в мае 2023 года. Звонок якобы от друга, попросившего помочь на торгах в другом городе, смог обмануть жертву и изображением, и звуком голоса. Мошенничество было обнаружено только после перевода, когда оказалось, что друг потерпевшего не звонил.

Дипфейки могут применяться в атаках на системы удаленной проверки личности. Особенно уязвимы системы, использующие только фотографию человека с документом, и простые системы биометрической аутентификации — как голосовой, так и запрашивающей изображения и видео. Так, с помощью дипфейков кибепреступники могут выдавать себя за других людей или получать доступ к аккаунтам и ресурсам жертв. Например, в 2023 году полиция Гонконга арестовала киберпреступников, которые c помощью технологии дипфейков обманывали систему распознавания лиц при подаче заявки на кредит. Сгенерированные поддельные изображения использовались во время подачи онлайн-заявки, когда финансовые учреждения требуют от заявителей загрузить сканы своих документов, удостоверяющих личность, и селфи в реальном времени.

Дипфейки и генерация поддельных документов потенциально позволяют обходить многие удаленные проверки личности. Серьезность этой угрозы подтверждается в отчете Европейского института телекоммуникационных стандартов о рисках использования ИИ для манипулирования «образами цифровой идентичности».

Злоумышленники атакуют с помощью дипфейков не только частных лиц, но и организации. Согласно опросам Regula за 2023 год, 37% процентов организаций сталкивались с голосовыми дипфейками, а 29% были атакованы поддельными видео. Киберпреступники могут использовать дипфейки на этапе получения доступа к внутренним ресурсам компании. Летом 2023 года злоумышленник смог взломать компанию Retool, начав атаку с рассылки фишинговых SMS-сообщений и получения с помощью аудиодипфейка кода многофакторной аутентификации у попавшегося на фишинг сотрудника. Атаки с использованием дипфейков могут привести к финансовым потерям организации. В начале февраля 2024 года дипфейки сыграли ключевую роль в атаке на филиал транснациональной компании в Гонконге. Финансовый сотрудник совершил переводы киберпреступникам на сумму около 25 миллионов долларов, убежденный видеозвонком с дипфейком, имитировавшим финансового директора и других лиц.

Помимо атак на сотрудников, APT-группировки применяют дипфейки для внедрения в штат компании. С помощью дипфейков и украденных персональных данных киберпреступники проходят собеседования и проверки на удаленные позиции и проводят атаки уже изнутри компании.

Мы ожидаем рост применения дипфейков в атаках на организации. С помощью дипфейков киберпреступники будут атаковать как системы удаленной проверки личности, так и напрямую сотрудников, чтобы получить несанкционированный доступ к ресурсам компании и похитить финансовые средства. Для противостояния таким атакам необходимо заранее подготовить системы безопасности и обучить сотрудников — научить распознавать дипфейки и не откликаться на использующие их мошеннические схемы. Мы будем подробно рассматривать атаки с использованием дипфейков в будущих аналитических исследованиях.

Дипфейки плотно вошли в арсенал злоумышленников, они применяются наряду с другими техниками и инструментами социальной инженерии, такими как фишинговые комплекты.

При этом киберпреступнику необязательно самостоятельно разбираться в создании дипфейков. В открытых источниках и на теневых форумах много различных предложений по созданию дипфейков для любых целей: мошенничества, продвижения товаров и услуг, очернения конкурентов.

Дипфейки должны рассматриваться как одна из серьезных угроз информационной безопасности на законодательном уровне. Страны применяют разный подход к регулированию создания и распространения дипфейков. В Китае в 2022 году опубликовали отдельный закон, фокусирующийся непосредственно на вопросе регуляции дипфейков и другого контента, создаваемого искусственным интеллектом. В Индии к дипфейкам применяют уже существующие законы из области информационных технологий, защиты данных и авторского права. В России закон о дипфейках находится в разработке: 28 мая 2024 года в Госдуму внесли законопроект об уголовном наказании за дипфейки.

За последние годы дипфейки развились от несуразных, легко отличимых подделок до вполне реалистичных имитаций голоса и изображения человека. Мы ожидаем, что следующими шагами применения дипфейков могут стать создание цифровых копий жертв и интеграция технологии распознавания эмоций.

Цифровые двойники уже применялись в кино для воссоздания актеров, и мы предполагаем, что технологии создания цифровых копий будут развиваться и все чаще использоваться артистами, политиками и другими известными людьми. В будущем они потенциально смогут продавать право на использование своей внешности и голоса в рекламе или кино — появятся своеобразные «дипфраншизы». В условиях активного легального использования цифровых двойников их применение в атаках (как за счет создания новой копии, так и за счет кражи уже готовой) окажется лишь вопросом времени. При этом отслеживать использование дипфейков среди легальных копий будет очень сложно.

Появившаяся в 2024 году технология распознавания эмоций также через некоторое время может появиться в арсенале злоумышленников. С ее помощью киберпреступники смогут действовать эффективнее, подстраиваясь под главное оружие социальной инженерии — эмоции жертвы.

Потенциально одно из самых опасных применений ИИ в кибератаках — генерация и модификация ВПО. В теории новое сгенерированное ИИ ВПО может не только отличаться от уже известного и распознаваемого средствами безопасности (а значит, хуже детектироваться инструментами безопасности), но и адаптироваться под атакуемую систему в процессе атаки, оптимизировать свои действия и выполнять больший спектр задач внутри системы жертвы. Тем не менее на сегодня известен лишь ряд предположительно сгенерированных LLM скриптов, а также есть несколько подтверждений возможности применения инструментов на базе искусственного интеллекта для генерации и модификации вредоносного кода, поэтому в области ВПО ИИ остается на втором уровне применения (помощь в проведении отдельных шагов атаки).

В сентябре 2024 года OpenAI представила новую модель — o1, она значительно лучше предыдущих решений справляется с задачами кодирования. Последствия появления такого инструмента еще предстоит оценить, но уже сегодня можно предположить, что в будущем киберпреступники смогут с помощью ИИ генерировать модули ВПО или даже полноценные атакующие инструменты.

В 2023 году как минимум пять APT-группировок использовали сервисы OpenAI для проверки кода и помощи в кодировании скриптов для приложений и веб-сайтов. Постепенно исследователи начинают обнаруживать потенциально сгенерированные с помощью ИИ скрипты в реальных атаках. На генерацию с помощью LLM указывает характерное оформление — дополнение программного кода развернутыми и грамматически правильными комментариями. 

Группировки Scattered Spider и TA547 использовали такие powershell-скрипты во второй половине 2023 года и в апреле 2024-го. Еще один потенциально сгенерированный LLM powershell-скрипт обнаружили в сентябре 2024 года во Франции. В июле 2024 года стало известно об атаке с потенциально сгенерированным LLM кодом JavaScript. Пока что киберпреступникам удается генерировать лишь небольшие фрагменты вредоносного кода, но в будущем, возможно, злоумышленники смогут генерировать не только отдельные скрипты, но и большие модули ВПО.

Генеративные модели потенциально могут создавать вредоносный код, руководствуясь инструкциями на естественном языке. Для начинающих киберпреступников это возможность, не обладая навыками и знаниями, получить готовые части ВПО, а опытные злоумышленники смогут таким образом автоматизировать и ускорять подготовку к атаке. Злоумышленники уже несколько раз демонстрировали сгенерированный с помощью машинного обучения вредоносный код на теневых форумах. Тем не менее на данном этапе развития технологии инструменты с искусственным интеллектом не могут самостоятельно генерировать безошибочный, эффективный вредоносный код, руководствуясь общими словами запросов начинающего злоумышленника. Для получения пользы от применения инструментов на базе ИИ злоумышленнику изначально необходимо обладать квалификацией, достаточной для создания правильного запроса к нейросети, обработки и адаптации полученных результатов. У начинающего же злоумышленника возникнут сложности уже на этапе формулирования правильного запроса, а затем на этапе адаптации и применения результата в атаке.

Модификацию ВПО с помощью ИИ можно условно разделить на две составляющие: 1) обфускацию и изменение на этапе подготовки кода; 2) адаптацию под целевую систему с помощью встроенных инструментов ИИ непосредственно во время атаки.

На этапе подготовки злоумышленники могут обфусцировать ВПО для усложнения обнаружения средствами защиты. В 2024 году исследователи Insikt Group смогли модифицировать с помощью ИИ вредоносный код скрипта так, чтобы он не распознавался несколькими простыми правилами YARA. Пока что ИИ не может эффективно модифицировать большие программы, но мы предполагаем, что постепенно опытные киберпреступники, способные собрать данные вредоносных программ, смогут применить ИИ для обфускации кода.

Адаптация ВПО во время атаки включает в себя огромное множество возможностей. Потенциально для избежания обнаружения средствами защиты киберпреступники с помощью ИИ могут маскировать выполнение задач ВПО под легитимные действия, имитировать работу пользователей, динамически изменять работу каналов управления, анализировать отклики узлов системы для обнаружения песочниц и зачищать журналы. ИИ может повышать эффективность ВПО, выбирая оптимальные действия на основе анализа работы системы, определять наиболее уязвимые точки системы и моменты для нанесения наибольшего ущерба. Для адаптации действий во время атаки необходимо сначала решить сложную задачу анализа работы системы жертвы. Реализация этой задачи до сих пор остается серьезным вызовом даже для легальных инструментов, которым не нужно скрывать наблюдение.

Дополнять скрывающееся и адаптирующееся ВПО могут сгенерированные «мусорные» атаки, главная цель которых — нагружать системы безопасности и отвлекать группы реагирования. Вынужденные обрабатывать поток срабатываний средств защиты, специалисты с большей вероятностью пропустят аккуратно действующее основное ВПО.

Пока генерация и модификация ВПО с помощью ИИ остаются сложными и спорными с точки зрения эффективности решениями, уже сегодня есть другие задачи, в которых ИИ показывает хорошие результаты. Мы предполагаем, что в ближайшем будущем применение ИИ в ВПО будет сосредоточено вокруг модульного подхода. Киберпреступники будут использовать отдельные модули и LLM-агенты для решения определенных задач в процессе атаки. У такого подхода есть ряд весомых плюсов: злоумышленникам не нужно обучать сложную систему для проведения всей атаки, модульность позволяет гибко добавлять, убирать, обновлять и заменять компоненты ИИ, модули ИИ могут дублировать классические решения для испытания их эффективности. Кроме того, киберпреступникам необязательно разрабатывать собственные решения — они могут внедрять инструменты, основанные на открытых легальных проектах. Например, весной 2024 года исследователи ASEC обнаружили ВПО ViperSoftX, использующее модуль TesseractStealer на основе опенсорсного проекта оптического распознавания символов с применением глубокого обучения. TesseractStealer должен был искать на хранящихся в системе изображениях строки, связанные с OTP-ключами, паролями для восстановления и адресами криптокошельков.

Сегодня перед обучением единой системы ИИ для проведения полноценной атаки встает серьезная проблема — отсутствие обучающих данных, которые должны включать в себя полное описание последовательности шагов множества атак. Найти такие данные можно, например, в отчетах о пентестах, но для обучения недостаточно найти несколько десятков отчетов. Нужны огромные массивы данных, которые злоумышленникам еще нужно получить. Модульный же подход не нуждается в таких развернутых данных, каждый модуль ИИ обучается решению конкретной задачи, будь то распознавание символов или эксплуатация определенного типа уязвимостей.

Потенциально искусственный интеллект может применяться для решения множества задач при реализации кибератаки. Часть из них уже известна, а выявление новых нелегальных эксплуатаций ИИ — одна из актуальных задач исследователей информационной безопасности.

Уже сегодня LLM могут отвечать на множество вопросов киберпреступников и уверенно решают задачи первого уровня применения ИИ в атаках (помощь начинающему киберпреступнику на начальном этапе планирования кибератаки). Потенциально большие языковые модели способны не только разбирать базовые принципы проведения кибератак, но и объяснять устройство сложных организаций-жертв. Изучая процессы работы, например, промышленного предприятия, киберпреступники могут определять ключевые системы производственной цепочки для нанесения наибольшего ущерба цели. Кроме того, LLM могут использоваться для быстрого объяснения устройства новых для злоумышленника приложений и интерфейсов, например промышленных SCADA-систем. Еще в 2023 году злоумышленники из группировки Indrik Spider использовали ChatGPT, чтобы разобраться в использовании Azure Portal прямо во время атаки.

В будущем обученные непосредственно для ассистирования атаки LLM могут стать серьезным подспорьем как для начинающих, так и для опытных киберпреступников, предоставляя помощь на этапе планирования, выбора цели и первичной точки атаки, оперативную поддержку в принятии решений и рекомендации следующих оптимальных шагов.

Тест CAPTCHA (completely automated public Turing test to tell computers and humans apart), нацеленный на определение того, является ли пользователь машиной или человеком, существует уже более 20 лет. За это время появились различные виды тестов, в которых пользователю нужно вводить текст с искаженного изображения или аудиозаписи, искать объекты на изображениях. Для обхода капчи злоумышленники используют как сервисы с реальными людьми, решающими тесты, так и более технологичные решения, например оптическое распознавание символов (OCR — optical character recognition).

Сейчас киберпреступники могут применять нейросети и для распознавания капчи. Появились готовые инструменты и боты для обхода теста с машинным обучением. Согласно исследованию Калифорнийского университета к 2023 году боты уже в среднем на 15% точнее решали CAPTCHA, чем люди. Кроме того, боты проходят тесты намного быстрее людей, исключение составляет reCAPTCHA⁶, в которой боты лишь на 0,5 секунды быстрее.

В мае 2024 года появился инструмент для проведения DDoS-атак, использующий, по заявлению разработчиков, «нейронную систему» для автоматического решения CAPTCHA во время атаки. Модуль ИИ для распознавания CAPTCHA может в ближайшем будущем стать распространенным дополнением к системам DDoS-атак.

Мы предполагаем, что классические варианты тестов CAPTCHA будут становиться все менее эффективными и постепенно уйдут в прошлое, уступив место системам с поведенческим анализом и более продвинутым тестам с реализацией защиты от инструментов ИИ.

Согласно отчету Zayo за первое полугодие 2024 года, количество и продолжительность DDoS-атак выросли, киберпреступники стали шире атаковать отрасли. Исследователи связывают эти изменения в том числе с развитием ИИ.

Технологии искусственного интеллекта обладают высоким потенциалом в DDoS-атаках. В будущем с помощью ИИ киберпреступники смогут сначала собирать, а потом и управлять ботнетом для атаки. Потенциально злоумышленники смогут анализировать работу сети, а потом использовать полученные данные, чтобы определять оптимальные интервалы атаки, изменять векторы в режиме реального времени и маскировать потоки запросов от средств безопасности под нормальный режим работы системы.

Применяя ИИ, киберпреступники могут эффективно обрабатывать не только информацию на естественном языке, но и данные для проведения атак по побочным каналам. Злоумышленники могут анализировать такие физические параметры, как энергопотребление, электромагнитное излучение или время, затрачиваемое на вычисления. На основе собранных данных киберпреступники могут, например, восстановить частично или полностью криптографические ключи. За последние несколько лет вышел ряд исследований и даже руководств по проведению атак по побочным каналам с помощью инструментов на базе ИИ. Опубликованное в 2023 году исследование показало, что большие языковые модели могут автоматизировать процесс анализа побочных каналов.

ИИ может помочь при атаках и с помощью анализа побочных акустических каналов. В августе 2023 года британским исследователям удалось восстановить введенный пароль по записи звука нажатий клавиш клавиатуры с помощью специально обученной модели. Важно учитывать, что эксперименты проводились в идеальных условиях, а система была обучена на определенной модели ноутбука и клавиатуры и не смогла бы восстановить пароль для другого устройства.

Атаки по побочным каналам встречаются сравнительно редко, поскольку требуют от злоумышленника сбора физических данных. Независимо от используемых злоумышленниками методов, необходимо защищаться от утечек информации по побочным каналам. Для защиты от утечек информации по побочным каналам мы рекомендуем использовать комплекс из инженерных, организационных, аппаратных и программных решений, выполнять требования регулирующих органов.

Потенциально с помощью инструментов на базе искусственного интеллекта киберпреступники могут ускорить подбор паролей и даже генерировать библиотеки наиболее вероятных комбинаций для конкретной компании или группы людей на основе собранной о них информации. Пока что существующие методы подбора пароля на основе машинного обучения не превосходят «классических» или и вовсе отстают от них.

Независимо от применяемого злоумышленниками метода атаки для взлома паролей, компании необходимо создать такую парольную политику, которая обяжет немедленно менять предустановленные пароли, не позволит использовать простые и стандартные комбинации.

Развитие технологий искусственного интеллекта и их широкое применение создали новое поле исследований в области информационной безопасности — безопасность самого ИИ. Уже сегодня исследователям известен ряд различных способов атаки на ИИ, которые мы будем рассматривать в будущих аналитических исследованиях.

Потенциально киберпреступники смогут применять ИИ, чтобы, например, заставить атакуемую ИИ «отравить» данные. В этом типе атак злоумышленник вносит изменения в обучающую базу данных таким образом, чтобы снизить эффективность обученной модели или вовсе нарушить процесс обучения, заставляя модель преднамеренно выдавать неправильные результаты. Для этого киберпреступники могут нарушать разметку объектов, убирать части набора данных или вносить в них изменения, например добавлять шум на изображения или ставить на них нераспознаваемые человеческим глазом вотермарки. Во всех этих задачах требуется работа с большими данными, которую в будущем киберпреступники смогут передавать инструментам ИИ.

Для оценки реальных перспектив применения ИИ в кибератаках мы проанализировали матрицу MITRE ATT&CK (у нее также есть и русскоязычная версия).

Мы составили тепловую карту и оценили, как скоро киберпреступники смогут применить ИИ для решения задач каждой тактики, техники и подтехники. Применение ИИ в кибератаках потенциально имеет очень широкое поле: согласно нашему анализу в 100% тактик MITRE ATT&CK и больше чем в половине техник (59%) в будущем может найтись место для применения технологий искусственного интеллекта.

Скачать тепловую матрицу MITRE ATT&CK.

Все техники и подтехники мы разделили на пять уровней по потенциальному времени появления в их использовании технологий искусственного интеллекта.

Бордовый — уже известны случаи применения. Самая малочисленная категория (5%) включает только те техники, в которых ИИ уже применялся киберпреступниками, среди них есть часто используемые в реальных атаках. Рассмотрим несколько примеров техник, активно применяемых APT-группировками в атаках на промышленность СНГ. В восьми из десяти атак (79%) киберпреступники применяли различные типы ВПО; APT-группировки применяют не только готовые инструменты, но и разрабатывают собственные — подтехника T1587.001: Develop Capabilities: Malware («Разработка собственных средств: вредоносное ПО»). Высококвалифицированные злоумышленники уже начали внедрять ИИ в процесс разработки ВПО для генерации скриптов, проверки и отладки кода. Самая распространенная техника получения первоначального доступа (63% от всех атак на промышленность) T1566: Phishing («Фишинг») является одним из ярчайших примеров применения генеративного ИИ. Киберпреступники могут не только генерировать письма с помощью ИИ, но и поддерживать осмысленную переписку с жертвой.

Мы ожидаем, что уже испытанные киберпреступниками методы применения ИИ будут со временем развиваться и появляться в атаках все чаще.

Красный — может применяться в ближайшее время. В «красную» категорию (17%) входят техники, для которых уже доказана применимость ИИ, опубликованы подтверждающие исследования и известны proof of concept. Можно предположить, что киберпреступники в ближайшее время попробуют внедрить ИИ в эти шаги атаки. Самый яркий пример «красной категории» — техника T1027: Obfuscated Files or Information («Обфусцированные файлы или данные»). Исследователи ИБ уже показывали, что ИИ может модифицировать вредоносный код для обхода средств защиты. Атакующие промышленность СНГ группировки применяют эту технику, запутывая, кодируя и шифруя вредоносный код для сокрытия активности. Аналогично исследователи уже не раз доказывали возможность применения ИИ в эксплуатации уязвимостей. Техника T1190: Exploit Public-Facing Application («Недостатки в общедоступном приложении») востребована среди киберпреступников, она применялась в 27% атак на промышленность СНГ.

Киберпреступники не упустят возможности автоматизировать и развить свои действия. Мы предполагаем, что злоумышленники по крайней мере попытаются внедрить ИИ в техники из «оранжевой» категории.

Оранжевый — может применятся в обозримом будущем, после решения ряда проблем. Для каждой пятой техники (20%) перед интеграцией ИИ киберпреступникам придется решить ряд серьезных задач. Тактика TA0007: Discovery («Изучение») объединяет методы, с помощью которых злоумышленники могут исследовать атакуемую систему перед принятием решения о дальнейших действиях; различные техники Discovery применяются в сложных атаках независимо от отрасли. В тактике Discovery ИИ может взять на себя задачи сбора и обработки больших объемов информации внутри систем. Автоматизированный анализ и сопоставление данных из разных источников, прогнозирование недостающих элементов и формирование готового отчета с рекомендацией следующих действий могут значительно помочь киберпреступнику. Перед тем как получить такую функциональность, киберпреступникам нужно не только обучить инструменты, но и внедрить их в ВПО.

Несмотря на сложности, киберпреступники будут стараться развивать атакующие инструменты, интегрируя в них все больше технологий искусственного интеллекта. Тем не менее этот процесс может растянуться на долгое время, поскольку злоумышленники в первую очередь заинтересованы в извлечении выгоды из атак, а не в самом факте прогресса и усложнении атакующих инструментов. Пока «классические» способы атак продолжают приносить результаты, значительная часть киберпреступников не будет тратить силы и средства на внедрение ИИ.

Желтый — теоретически применение возможно, но в обозримом будущем практически недостижимо. К «желтой» категории относится 17% техник, в их использование можно интегрировать ИИ, но пока что это остается недостижимым в рамках кибератаки. Яркий пример: поведенческий анализ работы атакуемых систем и пользователей потенциально откроет киберпреступниками возможность эффективно маскировать зловредные действия под обычную легитимную активность. Реализация поведенческого анализа остается актуальной задачей даже для систем безопасности, встраивание же таких функций в атакующий инструмент на сегодняшний день практически невозможно.

Важно учитывать, что технологии ИИ не стоят на месте. Исследователи делают различные прогнозы и предположения о сроках достижения новых вех развития ИИ и открывающихся возможностях. Если технологии ИИ сделают качественный шаг вперед, киберпреступники обязательно попытаются усложнить, автоматизировать и масштабировать атаки.

Серый — применение ИИ не оправдано или не принесет существенной пользы. Технологии искусственного интеллекта могут применяться в кибератаках самыми разными способами, тем не менее есть множество вариантов атак, в которых ИИ не нужен. Например, техника T1200: Hardware Additions («Подключение дополнительных устройств») предполагает внедрение в атакуемую систему аппаратных модулей со скрытыми возможностями и функциями. Атаки с таким вектором проникновения встречаются редко и не подразумевают решения задач, которые можно передать ИИ.

Интересно, что сами MITRE ATT&CK добавили в марте 2024 года подтехнику T1588.007: Obtain Capabilities: Artificial Intelligence («Подготовка необходимых средств: искусственный интеллект»), которая описывает получение киберпреступником доступа к генеративным инструментам искусственного интеллекта для сбора информации и использования в различных преступных задачах. Сам факт добавления этой подтехники в матрицу уже говорит о важности принятия нового тезиса в мире информационной безопасности: киберпреступники применяют ИИ в атаках. Важно учитывать, что ИИ остается только одним из инструментов в руках злоумышленников, которые стремятся с его помощью усложнить, автоматизировать и масштабировать свои атаки. Потенциально, используя ИИ, киберпреступник может создать полную цепочку атаки. Еще в конце 2022 года это удалось сделать исследователям CheckPoint: они показали, как с помощью ChatGPT и OpenAI Codex⁷ можно сгенерировать несколько этапов атаки — фишинговое письмо, вредоносный VBA-код и reverse shell. Но пока что реальное применение ИИ в атаках ограничивается реализацией отдельных шагов и этапов, таких как сбор информации о жертве, эксплуатация известных уязвимостей, получение первоначального доступа с помощью социальной инженерии, генерация фрагментов вредоносного кода.

Развитие и распространение технологий, применение машинного обучения в информационной безопасности, разнородность и напряженность всемирного киберландшафта — все это может привести не только к росту применения ИИ в кибератаках, но и к расширению атакуемой сферы.

В 2024 году для России и для всего мира в целом сохраняется проблема кадрового дефицита специалистов в области ИИ. Для ее решения университеты и технологические компании создают образовательные программы, запускают курсы и учебные тренинги.

Мы предполагаем, что доступность обучения в области ИИ будет постепенно компенсировать спрос на специалистов. Однако не исключено, что некоторые из них захотят проэксплуатировать технологию в преступных целях, кроме того среди обучающихся могут изначально быть «повышающие квалификацию» злоумышленники. Таким образом, вместе с развитием образования в сфере ИИ будет повышаться и уровень компетенций киберпреступников, но в любом случае рост числа специалистов по ИИ будет способствовать общему прогрессу и распространению технологии.

Технологии ИИ все время развиваются, выходят новые LLM, а машинное обучение внедряется повсюду — как в технические процессы, так и в ежедневные операции простых пользователей. Новые возможности оказываются в руках не только легальных исследователей, но и злоумышленников, внимательно следящих за прогрессом и старающихся не только воспользоваться новыми функциями, но и модифицировать их в своих интересах.

Выход новой большой языковой модели с недостаточной защитой от генерации вредоносного текста, кода или инструкций может повлечь за собой всплеск киберпреступной активности. Мы уже упоминали, что за год после выхода ChatGPT-4 количество фишинговых атак увеличилось на 1265%, и ожидаем, что подобные ситуации будут повторяться по мере появления новых инструментов с ИИ.

Необходимость использовать качественные обучающие данные (что особенно актуально для области информационной безопасности) и высокие требования к вычислительным мощностям остаются существенными проблемами для любых разработок в области ИИ. Многие исследователи и компании стремятся создать технологии для упрощения, удешевления и ускорения создания инструментов с ИИ. Попадание в руки злоумышленников таких технологий повлечет за собой рост числа атак: поможет опытным киберпреступникам быстрее реализовывать свои проекты и снизит планку применения ИИ для не обладающих обширными ресурсами и знаниями злоумышленников.

Еще одним фактором, который поспособствует росту числа атак, является встраивание ИИ в программы общего пользования. Во-первых, это заставляет злоумышленников лучше разобраться в технологиях ИИ, чтобы не отставать от атакуемых систем. А во-вторых, расширяет поверхность атаки — появляется дополнительный модуль, который можно проэксплуатировать. Именно так работает нашумевший червь с ИИ Morris Worm II. Исследователи из США и Израиля опубликовали исследование, демонстрирующее новый вид угроз для генеративных ИИ: Morris Worm II является, по сути, вредоносным самовоспроизводящимся запросом, нацеленным на инфраструктуру ассистентов электронных почт с генеративным ИИ. Червь одновременно эксплуатирует механизм RAG⁸ с обновляющейся при получении писем базой данных и генеративный ИИ. ВПО заражает базу данных RAG и заставляет ассистент отправить в другие ассистенты полученный запрос, таким образом распространяя червь дальше между почтовыми узлами. Мы предполагаем, что по мере распространения различных встроенных в приложения агентов ИИ атаки на них будут проводиться все чаще — и не только в лабораторных условиях.

Киберпреступники не просто ждут появления легального инструмента с ИИ, который они смогут использовать, они пытаются создавать свои собственные наступательные варианты ПО. На сегодняшний день разработка и обучение ИИ требуют большого количества ресурсов и компетенций, как в области искусственного интеллекта, так и непосредственно в информационной безопасности. Поэтому разработанный для взлома инструмент киберпреступники могут получить следующими способами:

• Если с разработкой справятся APT-группировки. Именно они создают и применяют собственные наступательные инструменты и обладают достаточными ресурсами и навыками для реализации такого проекта. Разработавшая инструмент APT-группировка может не только начать использовать его в своих операциях, но и распространять по модели AIMaaS (artificial intelligence malware as a service).

• Если произойдет утечка разработанного для тестирования безопасности инструмента. Это повлечет за собой резкий всплеск атак определенного типа, сценарии которых и должен был тестировать инструмент.

• Если какое-либо государство решит распространить наступательный инструмент с ИИ и передаст его в руки обычных злоумышленников. Например, такое ПО может быть распространенно для расширения масштабов хактивистской акции, нацеленной на другую страну.

В любом из этих сценариев у рядовых киберпреступников будет возможность использовать созданный профессионалами наступательный инструмент с ИИ. Кроме того, попадание инструментов к злоумышленникам (которые смогут изучать устройство технологий) будет катализировать создание новых вредоносных образцов.

Одна из главных проблем в создании инструмента ИИ — сложность сбора качественных обучающих данных. В области информационной безопасности эта проблема актуальна как для киберпреступников, так и для разработчиков систем безопасности.

Потенциально утечка размеченных данных одного из вендоров ИБ может значительно помочь злоумышленникам. Например, на основе утечки обучающих данных инструмента ИИ для проведения тестов на проникновение киберпреступники смогут создать собственную версию. А утечка размеченных для автопилота безопасности данных может не только помочь атакующим инструментам с ИИ избегать средств безопасности, но и создать опасность автоматизации отдельных этапов атаки, а также объединения их в единую цепочку от сбора информации до реализации недопустимого события.

Мы предполагаем, что киберпреступники постепенно будут проводить все больше атак, нацеленных на исследователей ИБ и ИИ. Об одной из таких операций мы уже писали в исследовании актуальных киберугроз второго квартала 2024 года. Злоумышленники стремились получить непубличную информацию, связанную с генеративным искусственным интеллектом.

Искусственный интеллект обладает высоким потенциалом не только в атаке, но и в защите. В ответ на растущую активность злоумышленников появляются новые автопилоты защиты, такие как MaxPatrol O2, способные обнаруживать и блокировать активность в инфраструктуре в автоматическом режиме. По мере роста уровня защищенности будет падать вероятность успеха каждой отдельной атаки, злоумышленникам придется адаптироваться под новые реалии и либо максимально автоматизировать процесс для увеличения количества атак и нацеливания одновременно на множество жертв, либо усложнять и адаптировать под целевую систему каждую атаку по отдельности. И для первого, и для второго подхода злоумышленники будут пытаться использовать искусственный интеллект.

В прошлых исследованиях мы упоминали особенности киберландшафта в информационно развивающихся регионах. Киберпреступников привлекает быстрый экономический рост, сопряженный с пока что не решенными проблемами кибербезопасности, такими как недостаточная аппаратная и программная защита систем, недостатки информирования пользователей и формирующаяся законодательная база в области информационной безопасности. В таких регионах киберпреступники могут успешно использовать более простые или даже устаревшие методы атак, например эксплуатировать давно известные базовые уязвимости. В 2022–2023 годах эксплуатация уязвимостей использовалась в 37% атак на африканские организации, в 39% атак на организации Азии и в 44% атак на организации Ближнего Востока. Мы считаем, что существующие несовершенные наступательные инструменты с ИИ могут эффективно и массово применяться именно в развивающихся регионах. Если злоумышленники увидят выгоду в таких кибератаках, мы можем обнаружить широкомасштабный всплеск злонамеренного применения ИИ.

Для анализа полной картины необходимо учитывать и условия, которые могут замедлить появление новых атак с использованием ИИ или даже ограничить уже существующие способы применения.

Если высококвалифицированные злоумышленники не смогут добиться новых значимых результатов, они могут отказаться от дальнейших вложений в развитие ИИ в кибератаках. У начинающих и рядовых киберпреступников не хватит знаний, средств и мощностей для создания новых инструментов или разработки новых типов атак. Если опытная часть сообщества откажется от развития технологии, применение ИИ в кибератаках останется в существующих границах.

Ярким примером могут послужить вредоносные модели GPT. Летом 2023 года WormGPT получила большую известность как инструмент для создания вредоносного кода, генерации фишинга и помощи киберпреступнику. Ее эффективность остается под большим вопросом: отзывы пользователей на теневых форумах показывают, что инструмент справлялся с генерацией фишинговых сообщений, но не вредоносного кода. Ориентация на максимально широкую аудиторию неопытных киберпреступников и скоропостижное закрытие проекта в августе 2023 года могут свидетельствовать и об изначально мошенническом замысле проекта — так преступная сфера пытается паразитировать на самой себе.

Кроме WormGPT злоумышленники распространяют и другие вредоносные LLM. В рекламе они позиционируются как обученные специально для проведения кибератак, но зачастую эти предложения либо оказываются мошенничеством, либо представляют собой легальные модели с встроенным автоматизированным джейлбрейком. Такие модели распространяются по схеме jailbreak as a service и могут ответить на некоторые вопросы, нарушающие требования безопасности легальных LLM, но все же не являются инструментами, специально обученными для проведения кибератак.

Общее разочарование в возможностях ИИ в сфере кибербезопасности уже наблюдается на стороне защиты. Отчет SANS о SOC за 2024 год показал падение удовлетворенности технологией ИИ. Аналогичные процессы на стороне атакующих приведут к установлению статуса-кво, который будет сохраняться до тех пор, пока технологическое развитие не позволит сделать киберпреступникам качественный шаг вперед.

Фактором, оказывающим влияние на всю отрасль искусственного интеллекта, могут стать многочисленные судебные иски. Писатели, художники, артисты, звукозаписывающие лейблы, новостные издания, разработчики и частные лица обвиняют как крупных разработчиков LLM, так и отдельные стартапы в обучении моделей на защищенных авторским правом контенте и конфиденциальных данных.

Если суды начнут удовлетворять иски, попадет под удар одна из самых проблемных областей в технологии ИИ — обучающие данные. Компаниям придется менять подходы к формированию обучающих баз данных, что приведет к замедлению разработки новых моделей и инструментов, а следовательно, и к замедлению развития всей отрасли. В том числе это повлияет и на злоумышленников, стремящихся применить и адаптировать для киберпреступных целей легальные инструменты и технологии.

ИИ — одна из самых важных технологий последних лет. Большие языковые модели и другие инструменты на базе искусственного интеллекта могут эффективно решать ряд возлагаемых на них задач, но требуют специализированных навыков использования.

Существующие на сегодняшний день инструменты ИИ могут принести пользу начинающему киберпреступнику в обучении, компилируя основные методы для проведения атак на начальных этапах. С помощью ИИ можно автоматически генерировать и автоматизировать отдельные этапы кибератак, такие как создание фрагментов вредоносного кода и фишинговых сообщений, управление ботнетом. Развитие инструментов ИИ привело к появлению атак с использованием дипфейков. Развить и создать новые инструменты ИИ для автоматизации и масштабирования кибератак смогут только опытные злоумышленники, в ближайшем будущем мы ожидаем появление отдельных модулей для решения определенных задач в уже известных сценариях атак.

Киберпреступники будут применять технологии с ИИ вместе с множеством других инструментов. Мы ожидаем рост генерируемых фишинговых текстов и дипфейков как уже показавших себя эффективными в атаках на частные лица, организации и в распространении различных видов дезинформации. Для обеспечения личной и корпоративной кибербезопасности мы рекомендуем придерживаться общих рекомендаций. Призываем компании обратить особое внимание на процессы управления уязвимостями, принимать участие в программах багбаунти. Необходимо как можно быстрее закрывать обнаруживаемые уязвимости, особенно те, для которых существуют общедоступные эксплойты. Эти меры необходимы в любом случае, однако автоматизация эксплуатации уязвимостей с помощью машинного обучения позволит киберпреступникам быстрее и чаще атаковать таким образом организации.

Не стоит поддаваться панике из-за высокого потенциала ИИ в кибератаках, необходимо реалистично смотреть в будущее — прежде всего, изучать возможности новых технологий и системно заниматься обеспечением результативной кибербезопасности. Киберпреступники продолжат внедрять ИИ в кибератаки, а значит, и стороне защиты следует развивать средства безопасности, не дожидаясь результатов злоумышленников. В противостоянии атакующему ИИ логичная контрмера — более эффективный ИИ в защите, который сможет в режиме автопилота обнаруживать и предотвращать атаки.

Отчет содержит информацию об общемировых актуальных угрозах информационной безопасности, основанную на собственной экспертизе компании Positive Technologies, результатах расследований, а также на данных авторитетных источников.

По нашим оценкам, большинство кибератак не предается огласке из-за репутационных рисков. В связи с этим подсчитать точное число угроз не представляется возможным даже для организаций, занимающихся расследованием инцидентов и анализом действий хакерских группировок. Наше исследование проводится с целью обратить внимание компаний и обычных граждан, интересующихся современным состоянием информационной безопасности, на наиболее актуальные методы и мотивы кибератак, использующих искусственный интеллект.

В рамках отчета каждая массовая атака, в ходе которой злоумышленники проводят, например, фишинговую рассылку на разные адреса, рассматривается как одна атака, а не множество разных. Термины, которые мы используем в исследовании, приведены в словаре на сайте Positive Technologies.