Инженер по GPU-инфраструктуре и LLM-инференсу

Описание

О проекте Строим и оптимизируем GPU inference-инфраструктуру для LLM-сервисов. Работаем с высокими нагрузками, multi-GPU кластерами и передовыми технологиями инференса. Ищем эксперта, который понимает, как выжать максимум из NVIDIA GPU и заставить LLM работать быстро и стабильно. -------------------------------------------------------------------- Чем предстоит заниматься • Эксплуатация и оптимизация SLURM-кластера для LLM-инференса • Multi-GPU / multi-node inference — масштабирование и балансировка • Настройка и тюнинг vLLM / SGLang / Mooncake • Оптимизация throughput, latency и GPU utilization • Работа с KV cache и оптимизация cache usage • Диагностика bottleneck'ов между GPU, сетью и storage • Балансировка inference-нагрузки • Запуск и сопровождение LLM inference-сервисов в production Обязательно • NVIDIA GPU / CUDA — архитектура, драйверы, оптимизация • SLURM — управление кластером и задачами • Multi-GPU / multi-node workloads — опыт запуска • RDMA / InfiniBand — высокоскоростные сети • NCCL — коммуникации между GPU • Inference-фреймворки — vLLM / SGLang / Mooncake • Запуск LLM inference — production-опыт • Оптимизация — throughput, latency, GPU utilization, KV cache • Понимание bottleneck'ов — GPU ↔ сеть ↔ storage Будет преимуществом • Диагностика GPU — поиск и устранение проблем • LLM inference benchmarking — замеры и сравнение • High-load LLM inference — опыт работы с высокими нагрузками • Мониторинг — Prometheus / Grafana • Скрипты — Python / Bash для автоматизации -------------------------------------------------------------------- Что мы предлагаем • Работа с передовым стеком в AI/LLM-направлении • Задачи уровня Enterprise-инфраструктуры • Профессиональная команда и возможность роста • Дополнительные преимущества: ДМС, Программа лояльности и т.д. В сопроводительном укажите: 1. Ваш опыт с multi-GPU / multi-node inference 2. С какими LLM-фреймворками работали (vLLM, SGLang, Mooncake)