Senior Data Engineer
Описание
Ищем Data Engineer, который поможет развивать платформу данных: от потоковой загрузки событий и построения моделей до холодного хранения и контроля качества данных. Обязанности Развивать потоковую загрузку событий из RabbitMQ в ClickHouse: подключать новые потоки, настраивать дедупликацию и backfill исторических данных; Строить холодное хранилище на Apache Iceberg: выгружать архив из ClickHouse через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников; Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе — внедрять CDC; Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse; Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков; Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков; Участвовать в архитектурных решениях и код-ревью, развивать каталог данных. Требования Опыт в Data Engineering от 4–5 лет; Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов; Уверенное знание SQL и Python; Опыт работы с dbt в продакшене: модели, тесты и CI; Опыт разработки и эксплуатации DAG в Apache Airflow; Опыт работы со Spark и табличными форматами для lakehouse — Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ; Опыт потоковой загрузки данных из брокеров сообщений — RabbitMQ или аналогов; понимание at-least-once и идемпотентности; Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки; Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git. Будет плюсом Опыт загрузки данных из MS SQL или 1С; Знание Debezium и CDC; Опыт работы с dlt и OpenMetadata; Знакомство с платёжными и персональными данными; Опыт работы с on-prem инфраструктурой. Условия Конкурентную заработную плату — обсудим после собеседования; Удалённый формат работы; График 5/2: с 10:00 до 19:00; Мощный рабочий ноутбук; 100% компенсацию больничных; Корпоративную скидку на изучение английского языка в Skyeng.