Senior Data Engineer

Описание

Находимся в поиске Senior Data Engineer со знанием английского языка Стек: PostgreSQL, ClickHouse, Airflow, dbt, Python, SQL.Задачи:Проектирование и развитие архитектуры DWH.Разработка ELT-пайплайнов и оркестрация в Airflow.Трансформация данных и Data Quality через dbt.Тюнинг производительности, оптимизация тяжелых запросов в ClickHouse и PostgreSQL.Код-ревью, менторство, участие в архитектурных ревью.Требования:Опыт в Data Engineering от 3 лет.Expert SQL: сложные запросы, оптимизация, чтение планов (EXPLAIN).Глубокое понимание ClickHouse: движки, шардирование, распределенные таблицы, специфика JOIN и агрегаций.Отличное знание PostgreSQL: транзакции, блокировки, индексы, партицирование.Уверенный Airflow: кастомные DAG-и, XCom, Pools, Sensors.Опыт промышленного dbt: модели, макросы, тесты, CI/CD.Python: написание скриптов, кастомных коннекторов.Понимание методологий моделирования DWH (Kimball, Data Vault, OBT).Будет плюсом:Kafka / брокеры сообщений.S3, Parquet, Iceberg / Delta Lake.Docker, Kubernetes, CI/CD (GitLab CI / GitHub Actions).Инструменты Data Quality (Great Expectations и аналоги).