Data Engineer (MDM)

Описание

Локация: Санкт-Петербург или удалённоЗарплата: 100 000 — 300 000 ₽/мес на рукиЧто делатьПроектировать структуры операционных хранилищ и модели мастер-данных.Разрабатывать ETL/ELT-процессы загрузки, обработки и передачи данных.Создавать пакетные и потоковые интеграции между информационными системами, включая CDC-механизмы.Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных.Разрабатывать системы проверки качества данных, технические сверки, мониторинг и логирование.Участвовать в выборе архитектурных решений и сопровождать их в промышленной эксплуатации.ТребованияУверенное владение SQL и опыт разработки на Python.Опыт проектирования структур хранения данных и создания ETL/ELT-процессов.Понимание принципов пакетной и потоковой обработки данных, а также интеграционных паттернов.Навыки работы с реляционными СУБД и обеспечения целостности данных.Умение самостоятельно прорабатывать техническое решение от проектирования до эксплуатации.Хорошо, если естьОпыт работы с Kafka, Flink, Debezium или ClickHouse.Практический опыт реализации CDC-процессов и работы в Apache Airflow.Участие в создании MDM-решений или операционных хранилищ.Понимание событийно-ориентированной архитектуры.Опыт работы с Git, CI/CD и контейнеризацией.