Senior Data Engineer

Описание

Data engineer Senior

Описание проекта: Технологическая компания
Продолжительность: 6+
Локация: РФ, РБ
Ставка: 2000, с НДС

Требования:
• Опыт работы в роли Data engineer от 5 лет ;
• Опыт работы с ClickHouse обязательно!
• Опыт работы с Trino обязательно!
• Опыт работы с Airflow ;
• Знание принципов построения хранилищ данных;
• Понимание архитектур MPP систем;
• Навыки Data Engineer (HDFS/YARN/Spark/kafka/Nifi/Sqoop/flume и т.д.);
• Опыт работы с SQL (MsSQL, DDL, DML), опыт оптимизации запросов;
• Опыт работы с Greenplum (будет плюсом), PostgreSQL;
• Опыт использования системам ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности;
• Навык работы с Git, Jira, Confluence;
• Опыт работы с Hadoop (будет плюсом);

Задачи:
• Проектирование и разработка потоков данных на ETL/ELT инструментах;
• Имплементация кастомных трансформаций;
• Проектирование и построение прототипов, витрин;
• Анализ производительности, масштабирование существующих систем;
• Оптимизация SQL запросов и структур баз данных;
• Разработка процедур на языке PL/pgSQL;
• Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов;
• Создание и актуализация базы знаний для пользователей DWH.

Откликнуться на запрос:
По вопросам партнерского сотрудничества: