Lead Data Engineer

Описание

• Проектирование архитектуры DWH (выбор подхода: Data Vault, Kimball, гибрид)
• Выбор и обоснование технологического стека
• Настройка инфраструктуры
• Разработка первых пайплайнов для интеграции с источниками данных (MSSQL, PostgreSQL, API)
• Участие в найме команды (Senior DE, Middle DE, System Analyst)

• Развитие и масштабирование:

• Развитие архитектуры хранилища, оптимизация производительности
• Построение ETL/ELT процессов, автоматизация data pipelines
• Создание витрин данных для аналитики и BI
• Руководство командой: code review, менторинг, распределение задач
• Взаимодействие с продуктовыми командами по вопросам интеграции
• Внедрение практик Data Quality
• Подготовка данных для ML-моделей (предиктивная аналитика, ценообразование)
• Развитие платформы до уровня полноценной Data Platform

• 5+ лет в data engineering, 2+ года в роли tech lead / team lead
• Опыт построения DWH или Data Platform (будет плюсом построение с нуля)
• Опыт найма и развития инженеров
• Глубокое знание SQL, оптимизация запросов на больших объёмах данных
• Опыт работы с Python (2+ года) для разработки data pipelines
• Колоночные СУБД: ClickHouse
• Оркестрация ETL/ELT: Airflow
• Моделирование данных: Data Vault, Kimball
• Kubernetes: развёртывание, Helm, настройка сервисов
• CI/CD для data pipelines
• Интеграция с источниками данных: REST API, реляционные СУБД (MSSQL, PostgreSQL)
• Опыт работы с Redash / Superset / PowerBI / Grafana
• Опыт работы с Kafka

• Современный офис в БЦ Виктори Плаза (2 мин. от ст. м. Аэропорт);
• График 5/2 , удаленный формат работы;
• Комфортное погружение в работу и поддержку руководства;
• Стабильный доход;
• Профессиональное развитие, карьерный рост и амбициозные цели