Data Engineer DWH
Описание
Мы развиваем платформу данных, которая используется командами Data Engineering для построения и эксплуатации большого количества DWH и ETL-процессов. Ищем Data Engineer уровня Middle / Senior, который будет заниматься не только разработкой пайплайнов, но и созданием общих инструментов и сервисов для инженеров данных. Вам предстоит: Разрабатывать и развивать инструменты платформы данных; Разрабатывать и оптимизировать процессы импорта и экспорта данных между Greenplum, ClickHouse, PostgreSQL и S3; Работать с большими объемами данных и распределенными системами; Разрабатывать ETL/ELT-процессы на Python и Apache Spark; Участвовать в проектировании и развитии архитектуры платформы данных; Разбираться в производительности SQL-запросов и оптимизации работы MPP-систем; Взаимодействовать с Data Engineers, аналитиками и другими командами, использующими платформу; Поддерживать и развивать техническую документацию. Вы нам подходите, если: Владеете уверенным знание Python и имеете опыт промышленной разработки; Владеете продвинутым SQL; Имеете практический опыт работы с Apache Spark; Имеете опыт работы с реляционными СУБД: PostgreSQL, Oracle, MS SQL или аналогами; Имеете опыт работы с MPP / распределенными СУБД; Имеете опыт работы с одним или несколькими оркестраторами, желательно Apache Airflow; Имеете опыт работы с Git и командной разработкой; Имеете опыт работы с S3 или объектными хранилищами. Будет плюсом: Опыт работы с Greenplum; Опыт работы с ClickHouse; Опыт работы с dbt; Опыт проектирования и развития ETL/ELT-фреймворков; Опыт проектирования DWH и моделей данных; Опыт работы с Apache Iceberg; Опыт работы с другими MPP-системами: Vertica, Teradata и др; Опыт разработки внутренних платформенных сервисов и инструментов для Data Engineering.