Инженер данных
Описание
Наш стек: Python, Airflow, ClickHouse, Trino, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence. Вам предстоит • разрабатывать и поддерживать пайплайны поставки данных в ClickHouse, Vertica и Trino • проектировать и реализовывать фабрики data-пайплайнов • обеспечивать своевременное обновление и поступление актуальных данных • развивать систему Data Governance • обучать аналитиков современным практикам работы с данными • настраивать и поддерживать системы мониторинга и алертинга • автоматизировать процессы разработки и аналитики с использованием AI-агентов и agentic development tools • создавать AI-workflows для типовых инженерных задач и интегрировать их с внутренними инструментами • стандартизировать технические процессы, проекты и workflows аналитиков данных Для нас важно, что вы • более 2 лет работаете с Python • более 2 лет работаете Data Engineer: знаете Apache Spark (PySpark), понимаете принципы работы СУБД и умеете оптимизировать запросы • умеете работать с ClickHouse, PostgreSQL и Trino • понимаете принципы построения и работы хранилищ данных • имеете практический опыт использования AI-агентов и agentic development tools (Claude Code / Codex / OpenCode или аналоги) для решения инженерных задач • понимаете принципы работы с контекстом, инструкциями, tools/skills и многошаговыми agentic workflows • умеете разрабатывать компоненты Airflow • поддерживаете порядок в коде, Git и документации • умеете и любите быстро учиться, применять новые знания на практике и самостоятельно находить ответы на сложные вопросы • имеете высшее техническое образование Будет плюсом, если вы • имеете опыт работы с CI/CD • умеете работать с Kubernetes, Prometheus, Superset и Helm • имеете опыт взаимодействия с аналитиками и Data Scientists • создавали собственных AI-агентов, skills/tools, MCP-интеграции или многошаговые AI-workflows для автоматизации инженерных процессов