Data Engineer senior (DWH, ETL)
Описание
Пожалуйста пишите в сопроводительном письме Вашу локацию и ожидания по з.пл. О проекте: Развитие корпоративного хранилища данных крупной компании: собираем данные из десятков источников, строим витрины и обеспечиваем единую отчётность для бизнеса. Senior-инженеру предстоит отвечать за ETL-пайплайны, моделирование и качество данных - от источника до готового отчёта. Задачи: Проектировать и развивать DWH: слои, витрины и модели данных (звезда, medallion, SCD2) Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы Организовывать потоковую загрузку из Kafka/RabbitMQ, следить за идемпотентностью и backfill Обеспечивать качество данных: тесты, сверки с источниками, мониторинг свежести и объёмов Участвовать в архитектурных решениях, проводить код-ревью и наставлять коллег Вести документацию и каталог данных Требования: Опыт в Data Engineering / DWH от 5 лет Продвинутый SQL: оконные функции, CTE, чтение планов, оптимизация Python на уровне production-кода Опыт ETL/ELT: Airflow и Spark Понимание моделирования хранилищ и инкрементальной загрузки Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах Kafka или RabbitMQ, Docker, Git, CI/CD Опыт код-ревью и наставничество dbt в продакшене Apache Iceberg (или Delta/Hudi), Trino Debezium и CDC Инструменты data quality и каталоги данных Kubernetes, on-prem-инфраструктура Условия: Полная занятость с графиком 5/2 Удалённый формат работы Работа в аккредитованной ИТ-компании Работа с современным стеком технологий и крупными игроками рынка * Официальное трудоустройство по ТК РФ или ИП РФ