Руководитель качества AI платформы
Описание
Мы строим собственную агентскую платформу корпоративного уровня— enterprise-аналог открытых агентских систем. Платформа уже в проде: на ней работают AI-агенты, есть production-monitoring, Prometheus/Grafana, метрики, eval-тесты и датасеты. Ваша задача — объединить эти практики в единую измеримую систему качества. Роль на стыке SRE, Platform Engineering и AI/LLM-качества: вы задаёте стандарты, метрики и quality gates — большая команда разработки применяет их в своих компонентах. Вы сохраняете независимую картину состояния платформы и контролируете выполнение требований по объективным показателям. Стек: LLM, MCP, RAG, Python, Rust, TypeScript Чем предстоит заниматься: • Определять SLI/SLO, критерии production readiness и показатели качества платформы и агентов. • Развивать observability: дашборды и алерты, находить слепые зоны, следить за capacity. • Развивать evals: датасеты, regression suites, критерии качества, LLM-as-judge. • Встраивать обязательные quality gates в CI/CD, задавать требования (guardrails) к разработке агентов. • Выявлять деградации и системные риски по метрикам и production-данным. • Участвовать в разборе значимых инцидентов, контролировать устранение системных причин. • Давать руководству прозрачную картину качества платформы и рисков. Наши ожидания: • Сильный инженерный опыт: SRE / Platform Engineering / MLOps-LLMOps. • Kubernetes/Docker, CI/CD, Prometheus/Grafana, logging/tracing, performance и capacity. • SLA/SLO/SLI, incident management, postmortem, production reliability. • Понимание современных LLM и agentic-систем: agents, tool calling, RAG, MCP, routing, context management, evals. • Умение смотреть на систему целиком и добиваться применения стандартов несколькими командами. • Самостоятельность, проактивность, умение аргументированно общаться с инженерами и руководством. Главный результат Единая система качества: понятное состояние платформы, измеримое качество агентов, критичные проверки встроены в релизный процесс, деградации быстро обнаруживаются, а проблемы приводят к системным улучшениям. Мы предлагаем: Официальное трудоустройство и полный пакет социальных льгот (ДМС, компенсация фитнеса/обучения/путешествий, скидки и бонусы от партнеров, специальные условия и тарифы на продукты «Финама»). Стабильную заработную плату и социальные гарантии, которые дают уверенность в настоящем и открывают перспективы в будущее. Возможность профессионального роста, обучения и постоянного развития в области digital-innovations вместе с дружной командой. Лучшие конференции и мастер-классы за счет компании. Участие в проектах, которые формируют цифровую трансформацию финансового сектора. Гибридный формат работы (2 дня офис). Комфортный офис в центре Москвы с зоной отдыха на крыше, кофе-поинтами с ароматным кофе, а также собственный тренажерный зал. Богатую корпоративную культуру: классные внутрикорпоративные мероприятия, сообщества по интересам, возможность проявлять свои творческие, спортивные, интеллектуальные, социальные интересы и участвовать в креативных проектах.