Senior ML Platform Engineer (Python Backend / MLOps)
Описание
Ищем сильного Python-инженера, который понимает специфику машинного обучения и умеет работать на стыке разработки, ML и инфраструктуры. Основной фокус - Python Backend, Model Serving, оптимизация CPU/GPU, автоматизация MLOps и Spark в Kubernetes. Обязанности: Разработка ML-сервисов: Анализировать исследовательский код и прототипы Data Scientists, превращать их в надёжные производственные сервисы для классического ML и Deep Learning. Разрабатывать API инференса, предобработку и постобработку данных, обработку ошибок и тесты. Обеспечивать воспроизводимость результатов модели между исследовательской и производственной средой. Совместно с DS формировать требования к признакам в Feature Store и взаимодействовать с Data Engineers. Формировать требования к контрактам для взамодействия с другими сервисами совместно с Архитектором Производительность и ресурсы для сервисов: Проводить нагрузочные тесты, профилировать и оптимизировать ML-сервисы. Подбирать CPU/GPU, RAM, количество реплик и параметры параллелизма с учётом производительности и стоимости ресурсов. Развивать инференс Deep Learning и LLM-моделей в Kubernetes. Исследовать способы эффективного использования и разделения GPU, включая MIG и HAMi. Мониторинг и надёжность: Разрабатывать метрики, мониторинг и оповещения для ML-сервисов. Контролировать задержки инференса, пропускную способность, ошибки, использование CPU/GPU и памяти. Анализировать логи и метрики, выявлять причины деградации производительности и сбоев. Совместно с DS автоматизировать сбор показателей качества моделей и входных данных. Повышать отказоустойчивость и стабильность ML-сервисов. Автоматизация MLOps: Развивать единые подходы к хранению, версионированию и управлению датасетами, моделями и артефактами. Автоматизировать запуск ML-задач, управление окружениями и воспроизводимость экспериментов. Анализировать проблемы в процессах разработки DS и создавать инструменты для их решения. Развивать CI/CD и автоматизацию развёртывания ML-сервисов. Spark и поддержка DS: Развивать Spark в Kubernetes, включая управление ресурсами и масштабирование. Анализировать производительность Spark-заданий: память, shuffle, spill, распределение вычислений. Помогать Data Scientists оптимизировать код и использование вычислительных ресурсов. Участвовать в выборе технологий, архитектурных решений и развитии инженерных практик MLOps-команды. Что ждем от вас: Сильные знания Python и опыт разработки производственных backend-сервисов (FastAPI или аналоги). Опыт вывода ML-моделей в production и разработки сервисов инференса. Опыт профилирования, нагрузочного тестирования и оптимизации Python-приложений. Понимание работы CPU/GPU, управления памятью и параллельного выполнения задач. Понимание классического ML и Deep Learning, опыт со scikit-learn, PyTorch и/или TensorFlow. Понимание жизненного цикла ML-моделей и практик MLOps. Опыт автоматизации ML-процессов и работы с моделями и артефактами. Опыт работы с Apache Spark / PySpark. Практический опыт Docker и Kubernetes на уровне разработчика. Опыт разработки REST API, написания тестов. Опыт работы с CI/CD, желательно GitLab CI. Опыт внедрения мониторинга приложений. Будет плюсом: Опыт с MLflow, S3 и Feature Store. Опыт работы с Airflow. Опыт с Spark Operator и Spark Connect. Опыт работы с vLLM, Triton Inference Server, ONNX Runtime или TensorRT. Опыт с MIG, HAMi и распределением GPU. Опыт с Helm, Argo CD. Условия: Гибкий формат работы: Удаленная работа или офис в самом центре Москвы (ул. Мясницкая, 16); Официальное трудоустройство в соответствии с ТК РФ в аккредитованную IT-компанию; ДМС и страхование от несчастных случаев с первой рабочей недели, оплату больничных за первые 10 дней до 100% от оклада; Современная техника для работы (Macbook, мониторы, и все что вам нужно для комфортной работы; Ежегодные корпоративы с компенсацией дороги и проживания.