Data Engineer / Technical Lead
Описание
🧠😘😀😘😘🥰😀🫢
Data Engineer / Technical Lead
Проект:
Участие в миграции ИС на Apache стек
Проект: Телекоммуникации
- Длительность: от 6 месяцев, с возможным продлением
- Занятость: полная
- Локация: РФ
- Гражданство: РФ
- Формат: Удаленно- Роль: Data Engineer / Technical Lead
- Уровень: Senior / TeamLeadОбязательно:
- Опыт участия в проектах миграции ETL-систем (Apache стек);
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
- Опыт работы с Оracle;
- Опыт применения сложных SQL-запросов (оконные функции, джоины);
- Умение оптимизировать запросы для highload-среды;
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
- Опыт настройки потоковой обработки данных;
- Опыт работы с Hadoop и Hive (знание версий, источников данных);
- Опыт работы с PostgreSQL, Greenplum, Clickhouse;
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
- Опыт работы с биллингом;
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);
Желательно:
- Опыт в системном анализе ETL;
- Опыт TeamLead (управление командой) не менее 4 лет;
- Умение переводить бизнес-требования в технические спецификации;
- Опыт подготовки документации для пользователей и разработчиков;
- Опыт создания ER-диаграмм, инструкций, тест-кейсов.
Задачи:
- Участие в миграции ИС на Apache стек;
- Подготовка документации AS IS и TO BE;
- Написание SQL кода;
- Отслеживание метрик.- Ключевые компетенции: ETL, Apache стек, Spark, NiFi, Airflow, SQL-запросы, Grafana