Senior MLOps
Описание
Мы в поисках MLOps-иженера в команду обеспечению надежности машинного обучения. Ты будешь участвовать в проектировании и развитии платформы для полного жизненного цикла машинного обучения: от экспериментов и обучения моделей до промышленного сервинга, мониторинга, переобучения и вывода моделей из эксплуатации. Мы ищем специалиста с опытом и отраслевой экспертизой, готового принимать архитектурные и инженерные решения, автоматизировать процессы и повышать надежность ML-платформы. Чем предстоит заниматься: Разрабатывать и поддерживать инфраструктуру для экспериментов, обучения и деплоя ML-моделей в batch и online режимах на CPU/GPU Автоматизировать жизненный цикл модели от регистрации до промышленного сервинга: сборка образов, проверки, публикация артефактов, деплой, канареечные релизы, A/B-тесты и откаты Проектировать и развивать платформу инференса для batch- и online-сценариев на CPU/GPU Развивать ML-инфраструктуру на базе Kubernetes: кластеры, GPU-ресурсы, операторы, изоляция окружений, автоскейлинг, маршрутизация трафика и управление ресурсами Развивать и поддерживать платформенные компоненты для работы с признаками, моделями и ML-артефактами Развивать мониторинг ML-систем: инфраструктурные метрики, метрики сервинга, качество моделей, распределения входных данных, дрейф данных и деградация поведения моделей Обеспечивать воспроизводимость и управляемость ML-процессов: версионирование кода, данных и моделей, история экспериментов, изоляция сред обучения и инференса, аудит изменений Оптимизировать использование вычислительных ресурсов, включая GPU, с учетом надежности, производительности и стоимости Исследовать новые инструменты и подходы в MLOps, оценивать их применимость и внедрять там, где это повышает надежность, скорость разработки или эффективность платформы Мы ожидаем: Опыт внедрения и сопровождения Kubernetes-кластеров для сервинга ML-моделей на GPU и CPU Практический опыт эксплуатации инструментов для деплоя и обслуживания моделей: Triton Inference Server, BentoML или аналогичных решений Опыт запуска и поддержки инференс-движков в Kubernetes Понимание подходов к автоскейлингу, балансировке нагрузки и маршрутизации запросов для ML-сервисов Понимание принципов мониторинга качества, поведения и эксплуатационных параметров ML-моделей Опыт настройки GPU-инфраструктуры: драйверы, CUDA Toolkit, MIG, GPU-enabled Docker, nvidia-container-toolkit Понимание жизненного цикла ML-экспериментов и инструментов их трекинга: MLflow, ClearML или аналогов Уверенное владение Python для автоматизации, разработки внутренних инструментов и интеграций Уверенный опыт работы с Kubernetes в production: workloads, операторы, Helm, HPA, ingress, storage, observability, диагностика и устранение проблем Опыт описания и автоматизации инфраструктуры на базе IaC: Terraform, Ansible, GitOps-подходы Опыт работы с системами контроля версий и организации CI/CD (GitLab, Bitbucket, Bamboo) Опыт работы с Docker и OCI-образами: сборка, оптимизация, публикация и эксплуатация Уверенное владение Linux: настройка, мониторинг, диагностика сетевых, файловых, ресурсных и производительных проблем Опыт настройки мониторинга и алертинга: Prometheus Stack Опыт безопасной работы с секретами, токенами, сертификатами и чувствительными данными Будет плюсом Опыт работы с Yandex Cloud, bare metal-инфраструктурой или гибридными окружениями Опыт работы с Kubeflow Pipelines, Kubeflow Notebooks, Kubeflow Katib, Kubeflow KServe Опыт работы с Feature Store: Feast, Aerospike, key-value-хранилища или аналогичные решения Опыт работы с DVC, Git LFS, реестрами моделей и хранилищами ML-артефактов Опыт работы со Spark, Trino, Hadoop, JupyterHub