Data Engineer/Analyst

Описание

Ищем опытного Data Engineer, который возьмёт на себя роль в проектировании, развитии и оптимизации нашей аналитической платформы. Вы будете не просто писать ETL вы будете формировать архитектуру хранилища данных, внедрять лучшие инженерные практики и помогать команде строить надёжную, масштабируемую и понятную data-инфраструктуру.

Ключевые обязанности:

- Архитектура и развитие DWH:

- Проектирование и эволюция современного хранилища данных (Data Warehouse / Data Mart) с учётом требований бизнеса, аналитики и машинного обучения.

- Выбор стратегии моделирования (например, Kimball, Data Vault, или modern approaches типа medallion architecture).

- Обеспечение масштабируемости, производительности и управляемости DWH.

- Лидерство в использовании dbt:

- Полный цикл внедрения и сопровождения dbt от инициации проекта до продакшена.

- Формирование стандартов разработки моделей, документации, тестирования и версионирования.

- Интеграция dbt в CI/CD, настройка мониторинга и алертинга.

- Наставничество коллег по best practices в dbt и data modeling.

- Оркестрация данных через Apache Airflow:

- Проектирование и поддержка сложных DAG-ов для оркестрации ETL/ELT-процессов.

- Оптимизация производительности, управление зависимостями, восстановление после сбоев.

- Внедрение практик наблюдаемости (observability) и управляемости пайплайнов.

- Разработка и оптимизация ETL/ELT-процессов:

- Создание надёжных, идемпотентных и масштабируемых решений на основе бизнес-требований.

- Интеграция разнородных источников (API, базы данных, файлы, потоковые системы).

- Разработка и поддержка сложных SQL-запросов с глубокой оптимизацией (CTE, оконные функции, партиционирование, индексы и пр.).

- Опыт работы с PostgreSQL

- Практический опыт развёртывания, настройки и масштабирования Apache Kafka.

- Базовое понимание Spark Streaming или аналогов для обработки потоковых данных.

- Опыт проектирования data-решений в облаке (Yandex.Cloud, AWS, GCP или Azure)

Требования :

- 5+ лет опыта в разработке и поддержке data-инфраструктур.

- Подтверждённый опыт построения enterprise-grade DWH с нуля или масштабирования существующих решений.

- Экспертное владение dbt, SQL, Python.

- Опыт работы с Airflow в production-среде на уровне архитектора или техлида направления.

- Способность принимать архитектурные решения, аргументировать их и доносить до команды.

- Готовность участвовать в формировании data-культуры: документирование, обучение, внедрение стандартов.

Условия:

- Полностью удалённая работа.

- Дружная, зрелая команда инженеров и аналитиков, ценящих качество и простоту решений.

- Возможности профессионального и карьерного роста: участие в стратегических инициативах, влияние на архитектуру продукта, потенциал развития в технического лида или архитектора.

- Прозрачные процессы, минимум бюрократии, фокус на результатах.

Если вы инженер, который мыслит системно, любит чистые данные и надёжные архитектуры, и готов делиться экспертизой давайте знакомиться!