Data Engineer / Инженер данных

Описание

Мы строим Data Lake House платформу с современным стеком: S3, Trino, Apache Iceberg, DBT, Airflow, Kafka, Clickhouse. Обязанности: реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех слоев (raw data layer, core data layer, data mart layer); реализация ETL-пайплайнов передачи данных из различных внутренних и внешних ИТ-систем, используя разные подходы получения данных из источника; построение эффективной системы оркестрации ETL-пайплайнов обеспечивающей обновление данных в DWH согласно обозначенным бизнес требованиям; реализация и поддержка прикладных решений для контроля качества данных в DWH; реализация и поддержка прикладных решений для управления метаданными DWH; участие в R&D для выбора инструментов для построение отдельных частей платформы данных. Требования: Опыт работы от 3х лет; базовые навыки в области инженерии данных; системное аналитическое инженерное мышление; умеренный перфекционизм и внимание к деталям; понимание концепций проектирования DWH; продвинутый уровень знания SQL; высокий уровень владения Python для обработки данных; опыт работы с оркестраторами и понимание концепции DAG; опыт разработки и поддержки end-to-end пайплайнов данных; опыт получения данных из различных типов API; опыт работы с потоковой обработкой данных; умение работать с GIT. Условия: график работы: на испытательном сроке офис 5/2, далее гибрид; ежегодная индексация зарплаты, компенсация питания, премии по результатам работы, доплаты за больничный, материальная помощь в сложных ситуациях; релокация из любой точки мира.