Data Engineer (DWH / NRT)
Описание
Чем предстоит заниматься: Проектирование и развитие архитектуры DWH: Применение системного подхода к моделированию корпоративного хранилища данных, проектирование детального слоя данных (DDS / Data Vault) и витрин данных. Сопровождение и масштабирование хранилища: Развитие экосистемы DWH на базе Greenplum, Clickhouse и PostgreSQL. Разработка контуров пакетной и NRT-обработки: Создание, оптимизация и поддержка ETL/ELT процессов (batch) и стриминговых потоков данных (Near Real-Time). Работа с dbt: Построение, организация и оркестрация слоя трансформаций данных с использованием dbt, обеспечение качества данных (data quality) и версионирования моделей. Оптимизация производительности: Разработка хранимых процедур, функций и экспертная оптимизация сложных SQL-запросов под архитектурные особенности MPP (Greenplum) и колоночных (Clickhouse) СУБД. Интеграция со смежными командами: Взаимодействие с BI-аналитиками и разработчиками для обеспечения прозрачного Data Lineage и высокого качества аналитических данных. Обязательные требования: Стек и базы данных: Уверенное знание SQL (аналитические функции, CTE, JOIN), опыт работы и оптимизации PostgreSQL (PL/pgSQL), Greenplum (MPP) и Clickhouse. Трансформация и оркестрация: Практический опыт работы с dbt (материализации, тесты, документация) и Apache Airflow. Разработка и инструменты: Уверенное владение Python для задач дата-инженерии, знание Git и базовых CI/CD практик. Аналитический склад ума: Умение разбираться в чужом коде, проводить рефакторинг и вносить необходимые изменения в существующие ETL-пайплайны. Желательно (будет плюсом): Архитектурный бэкграунд: Понимание системного подхода к проектированию DWH, методологий моделирования данных (Kimball, Inmon, Data Vault 2.0) и построения слоев данных (DDS). Стриминг и NRT: Опыт работы с Apache Kafka (проектирование топиков, интеграция, delivery guarantees) и реализации Near Real-Time контуров (включая ClickHouse Kafka Engine). Опыт работы с распределенной обработкой данных (Apache Spark, Apache Flink). Опыт работы с каталогами метаданных (OpenMetadata, DataHub) и автоматизацией построения Data Lineage. Опыт в банковской или финансовой сфере. Опыт разработки сервисов на базе LLM для внутренних инструментов автоматизации работы с данными. Что мы предлагаем: Официальное трудоустройство; Полностью удаленный формат работы; Команда экспертов, которая поможет\подскажет\научит и подставит плечо, когда потребуется; Возможность решать интересные задачи, качать скиллы и развиваться на базе современных технологий; Мы - официальная ИТ компания, есть аккредитация в Минцифры.