Deep Packet Inspection

Одна из ключевых задач DPI — захват трафика на необходимой скорости. Для ее решения, мы использовали специализированные сетевые карты гарантированного захвата (Napatech, AF_PACKET, PFRING), но это осложняло подбор оборудования. С этой проблемой справился DPDK — набор библиотек и драйверов для обработки сетевых пакетов, который позволил DPI работать с обычными сетевыми картами (Intel, Broadcom, Melanox).

Технология поддерживает широкий список протоколов туннелирования, даже произвольно вложенных друг в друга. Независимо от протокола, DPI снимает туннели и получает доступ к оригинальной сетевой сессии между клиентом и сервером. Это позволяет устанавливать его на разные узлы сети и анализировать трафик как с физических ответвителей (TAP), так и с оборудования, которое поддерживает протоколы зеркалирования трафика (SPAN, RSPAN, ERSPAN, TZSP).

DPI поддерживает определение большинства наиболее популярных протоколов с помощью сигнатурного метода. Но есть протоколы, которые не содержат явных сигнатур (например Telegram или протоколы, использующие шифрование). Для их определения мы используем машинное обучение. ML-алгоритмы анализируют побочные каналы: размеры передаваемых фрагментов данных, задержки, частотность символов и прочее.

Сегодня прикладные протоколы только называются прикладным. На самом деле протокол HTTPS может служить транспортом для миллиона различных приложений (веб-почта, соцсети, аудио- и видеостриминг, VPN). Учитывая, что DPI анализирует трафик без расшифровки, он видит протокол TLS, а не HTTPS. 

Также важно понять, что внутри протокола. Для этого предусмотрен механизм app_detect, который позволяется по незашифрованной части сессии определить к какому приложению относится трафик. Для этого может использоваться поле SNI из TLS или, например, JA3 — TLS fingerprinting. Кроме того, для определения приложений по побочному каналу используется ML-алгоритм.

Для выявления атак в сетевом трафике, особенно во внутренней сети, недостаточно знать протокол и/или приложение. Нужно анализировать конкретные запросы и данные, передаваемые по этому протоколу. DPI поддерживает детальный разбор большинства широко используемых в корпоративных сетях протоколов, в том числе протоколы, характерные только для систем на базе ОС Windows (DCE/RPC, SMB, LDAP, Kerberos и NTLM).

DPI извлекает из трафика более 1200 различных полей, которые анализируются на потоке для выявления атак. Далее оператор использует их для фильтрации сессий при ретроспективном анализе, расследовании инцидентов или для проактивного поиска угроз (threat hunting).

Также DPI поддерживает извлечение файлов из протоколов HTTP, SMTP, POP3, IMAP, SMB, NFS, FTP, TFTP. Для всех файлов считаются контрольные суммы, которые используются для выявления ВПО с помощью индикаторов компрометации (IoC). DPI извлекает файлы на потоке и может передавать их в PT Sandbox для поведенческого анализа. В случае расследования кибератак можно достать извлеченный файл вручную.

DPI поддерживает синтаксис правил Suricata. Это позволяет использовать не только экспертизу PT ESC, но и правила, которые поддерживаются комьюнити (ETOpen, ETPro), а также писать свои правила. Обеспечивая обратную совместимость с оригинальным синтаксисом, DPI расширяет возможность движка, добавляя в него новые ключевые слова, которые ускоряют и упрощают написание правил.

DPI перемещает весь оригинальный трафик в специализированное хранилище в режиме, близком к реальному времени. Хранилище обеспечивает быстрый доступ к оригинальным пакетам соединения, которые можно найти по идентификатору и метке времени. Найдя сессию в интерфейсе PT NAD, пользователь может моментально выгрузить ее оригинальные пакеты из хранилища, общий объем которого может составлять петабайты. Это идеальный источник данных для расследования инцидентов, который в некоторых случаях используют в качестве доказательной базы.