Вебинары

Особенности внедрения собственного LLM-сервиса внутри компании

Вебинар пройдёт 19 августа в 14:00

Регистрация на вебинар заканчивается за два часа до начала, 19 августа в 12:00

Почта
Компания/ИНН/Юридический адрес

Спикеры

Алексей Пехтерев

Алексей Пехтерев

Рукoводитель группы специальных проектов

Алексей Парамонов

Алексей Парамонов

Ведущий программист

Развертывание собственного LLM-сервиса становится критически важным шагом для организаций, работающих с конфиденциальными данными и стремящихся к технологической независимости. Но путь от принятия решения до работающего запуска сервиса полон технических и организационных вызовов. На вебинаре мы детально ответим на следующие вопросы:

  • Когда действительно нужен свой LLM-сервис: сравним варианты public API и self-hosted.
  • Как выбрать open-source-модель: разберем ключевые характеристики популярных семейств и критерии оценки их качества.
  • Каким может быть технологический стек для production-внедрения:
    • Фреймворки для эффективного развертывания больших языковых моделей (vLLM, SGLang, TensorRT-LLM).
    • Архитектурные паттерны работы с данными (RAG или fine-tuning).
    • Необходимая инфраструктура и экосистема вокруг LLM.
  • Как рассчитать и запланировать вычислительные ресурсы.
  • Как построить систему мониторинга на техническом и бизнес-уровне.

На вебинаре вы получите практические рекомендации и пошаговый план для успешного запуска LLM-сервиса внутри компании. Мы поделимся опытом внедрения и расскажем, как обойти основные подводные камни.