Senior Data Engineer
Описание
Обязанности: Развитие новой функциональности:• Разрабатывать новые ETL/ELT-процессы обработки и доставки данных из корпоративных систем в ядро хранилища. Модифицировать и улучшать существующие процессы;• Разрабывать dbt модели;• Разрабывать DAG в Airflow, настраивать контроль SLA, мониторинг и алерты, обрабатывать инциденты при сбоях загрузок;• Проектировать и оптимизировать таблицы и витрины в ClickHouse для аналитичских команд и BI-систем;• Разрабатывать контроли качества данных используя фреймворки Great Expectations и dbt-tests;• Описывать технические части итоговой работы в документации. Улучшение того, что уже есть:• Исследовать проблемные места в текущей реализации и предлагать способы решения проблем;• Проводить оптимизацию задач с недостаточной производительностью;• Проводить рефакторинг кода; RnD и взаимодействие со смежными командами:• Проводить исследования различных инстументов для работы с данными;• Взаимодействовать с командами смежных систем для выбора оптимальных решений при проектировании изменений. Требования: Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса); Понимать принципы работы Airflow (даги, таски, операторы, сенсоры, хуки, контекст); Уверенный опыт работы с Python достаточный для разработки операторов в Airflow (ООП). Будет плюсом: Опыт работы с системами мониторинга (Prometheus + Grafana, Open Telemetry, Sentry); Опыт работы с СУБД Clickhouse; Опыт работы с технологиями и инструментами для работы с большими данными Spark (PySpark). Условия: График работы: 5/2 с 09:00 до 18:00 (в пятницу до 16:45); Работа в аккредитованной Минцифры ИТ-компании; Конкурентоспособная заработная плата (обсуждается по результатам собеседования); Соцпакет: программа ДМС со стоматологией, корпоративная мобильная связь, санаторно-курортное лечение; Возможность расти как вертикально, так и повышать уровень своих профессиональных и деловых компетенций; Внутреннее обучение: конференции, тренинги, мастер-классы, корпоративный университет. Внешнее обучение по направлению профессиональной деятельности; Возможность присоединиться к нашим спортивным командам по мини-футболу, баскетболу, волейболу или чирлидингу; Корпоративная электронная библиотека; Комфортный офис в бизнес-центре «NordStar» с удобным расположением (5 мин пешком от метро «Беговая», МЦД-1).