Инженер данных

Описание

Что нужно будет делать:

• Разработка, настройка и поддержка пайплайнов обработки данных;

• Создание и оптимизация ETL- и ELT-процессов для эффективной работы с данными;

• Разработка скриптов на Python для обработки и анализа данных;

• Работа с различными системами хранения данных, включая PostgreSQL, ClickHouse и S3-совместимые хранилища;

• Написание и оптимизация SQL-запросов для извлечения и трансформации данных;

• Мониторинг выполнения задач, обработка ошибок и обеспечение надежности пайплайнов;

• Взаимодействие с командой для интеграции data-решений в общую архитектуру проекта.

Для нас важно:

• Опыт разработки на Python версии 3.11 и выше с использованием библиотек для работы с данными, таких как Pandas;

• Практический опыт работы с Apache Airflow версии 2.10 и выше для оркестрации пайплайнов;

• Уверенные знания SQL и опыт работы с реляционными базами данных, в частности PostgreSQL;

• Опыт работы с системами хранения больших данных, например ClickHouse и S3-совместимые хранилища;

• Понимание алгоритмов, структур данных и принципов построения ETL-процессов;

• Аналитический склад ума, внимательность к деталям и ответственность;

• Умение работать в команде и открытость к изучению новых технологий.