Data Engineer / Technical Lead (Apache)

Описание

😐
🧠😘😀😘😘🥰😀🫢

Data Engineer / Technical Lead

Проект:
Участие в миграции ИС на Apache стекПроект: Телекоммуникации
- Занятость: полная
- Локация: РФ
- Гражданство: РФ
- Формат: Удаленно
Вилка: 250-270- Роль: Data Engineer / Technical Lead
- Уровень: Senior / TeamLeadОбязательно:
- Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД;
- Опыт разработки и сопровождения хранимых процедур / функций в СУБД;
- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных;
- Опыт участия в проектах миграции ETL-систем (Apache стек);
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
- Опыт работы с Оracle;
- Опыт применения сложных SQL-запросов (оконные функции, джоины);
- Умение оптимизировать запросы для highload-среды;
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
- Опыт настройки потоковой обработки данных;
- Опыт работы с Hadoop и Hive (знание версий, источников данных);
- Опыт работы с PostgreSQL, Greenplum, Clickhouse;
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
- Опыт работы с биллингом;
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);

Желательно:
- Опыт в системном анализе ETL;
- Опыт TeamLead (управление командой) не менее 4 лет;
- Умение переводить бизнес-требования в технические спецификации;
- Опыт подготовки документации для пользователей и разработчиков;
- Опыт создания ER-диаграмм, инструкций, тест-кейсов.

Задачи:
- Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры.
- Подготовка документации AS IS и TO BE;
- Написание SQL кода;
- Отслеживание метрик.

Важно, резюме должно отражать:
- Расписано, чем занимался на каждом проекте
- Указаны навыки и программы которые использовались
- Ключевые компетенции: ETL, Apache стек, Spark, NiFi, Airflow, SQL-запросы, Grafana/Prometheus