MLOps Engineer (MLE)
Описание
Направление работы: Мы – направление модерации в отделе Trust & Safety Wildberries, отвечаем за безопасность и модерацию контента и карточек товаров. Ежедневно через наши системы проходят десятки миллионов карточек, это сотни миллионов решений по более чем 100 ML-моделям. Модели инферятся через Nvidia Triton Inference Server, десятки инстансов в нескольких дата-центрах держат пиковую нагрузку порядка 400–500K RPS. DS-команда растёт, уже 20+ человек только в модерации и 50+ во всём отделе. Сейчас у нас есть серверы с JupyterHub для обучения, ClearML для пайплайнов, Triton для инференса и pgvector для эмбеддингов, но путь модели от эксперимента до прода всё ещё во многом ручной. Нужен инженер, который сделает этот путь автоматизированным и стандартным, чтобы DS обучил модель, прогнал через пайплайн, выкатил в Triton и сразу увидел метрики. Ищем MLOps-инженера с сильным бэкенд-фундаментом. Твоя зона – сервисный слой платформы. Это пайплайны обучения и деплоя, автоматизация выкатки моделей, сервисы вокруг Triton и SLA инференс-контура. Дальше этот контур масштабируем на все направления Trust & Safety, поэтому строим с прицелом на стандартизацию и переиспользование. Стань частью команды! Вам предстоит: Строить и автоматизировать пайплайны обучения в ClearML, от экспериментов DS до воспроизводимого артефакта в model registry; Автоматизировать деплой моделей в Triton, включая конвертацию в ONNX и TensorRT, конфигурацию, выкатку без участия инженера, канареечные релизы и откаты; Развивать Python-сервисы вокруг Triton, единый inference gateway, gRPC, батчинг и очереди; Ускорять инференс через профилирование, dynamic batching, ensemble и BLS, TensorRT-оптимизации; Держать SLA инференс-контура – метрики, алертинг, разбор инцидентов, дежурства в ротации; Поддерживать JupyterHub, ClearML-агенты и шаблоны проектов для DS-команд; Вместе с инфраструктурным инженером проектировать размещение моделей на GPU-кластере; Общаться с DS-командами, понимать их потребности и переводить в технические решения; Закладывать стандарты и шаблоны, чтобы раскатать контур на весь отдел Trust & Safety; Формат работы - гибридный или удаленный по договоренности с руководителем. Вы нам подходите, если: Имеете опыт с Python, асинхронными сервисами(FastAPI, asyncio), gRPC и с очередями (Kafka); Имеете опыт с Nvidia Triton Inference Server или другим model serving (TorchServe, vLLM, KServe) с готовностью глубоко освоить Triton; Имеете опыт работы с ClearML, Kubeflow, MLflow или аналогичной MLOps-платформой на уровне пайплайнов, трекинга экспериментов и model registry; Владеете инженернымпониманием ML-стека – PyTorch, ONNX, конвертация и упаковка моделей, GPU-инференс; Владеете Kubernetes на уровне разработчика сервисов, включая деплой, Helm-чарты, ресурсы, HPA и отладку подов; Имеете опыт с GitLab CI, инфраструктурой как код, мониторингом и логами; Умеете взаимодействовать с DS-командами и доводить решения до прода, а не до прототипа. Будет плюсом: TensorRT, ONNX Runtime, квантизация и ускорение моделей; Go для сервисов и тулинга; Опыт развёртывания и оптимизации векторных БД (pgvector, Qdrant); ClickHouse и OpenSearch для аналитики и логов; SRE-практики вроде SLO, error budget и постмортемов; Ansible, Terraform.