Senior Data Engineer (в DS команду)

Описание

Мы ищем Senior Data Engineer в команду Data Science .

Обязанности:

• Проектирование, создание и поддержка витрин данных для задач Data Science и ML;
• Настройка и сопровождение процессов ETL/ELT;
• Мониторинг и повышение качества данных;
• Оптимизация хранения и обработки исторических данных;
• Взаимодействие с командой Data Science для формализации и сбора технических требований;
• Поддержка и развитие архитектуры данных.

Требования:

• Опыт работы Data Engineer от 4-х лет;
• Опыт в проектах, связанных с ML/DS;
• Глубокие знания в области хранения данных, управления их историчностью и построения архитектуры хранилищ для ML-решений;
• Практический опыт работы с инструментами: DBT ( большой плюс ), Airflow, Trino;
• Хорошие знания Python и SQL;
• Опыт использования GIT и Docker;
• Навыки работы с Hadoop экосистемой: HDFS, Hive, Spark;
• Опыт настройки систем мониторинга ETL-процессов;
• Умение собирать бизнес-требования и формализовывать ТЗ;
• Разговорный английский на уровне В1 (intermediate).