Разработчик ETL / Data Engineer

Описание

Приглашаем в дружную профессиональную команду ETL разработчика.

Вам предстоит:

Настраивать процессинг данных в рамках принятой модели DWH;

Проектировать и разрабатывать целевые витрины для конечных пользователей и data продуктов;

Рефакторинг и оптимизация запросов;

Разрабатывать ETL ELT процессы;

Чинить ошибки, выявленные в ходе эксплуатации;

Разрабатывать общие шаблоны типовых трансформаций, инструментарий автодокументирования и линеджа;

тестировать свой код, рефакторить код и поддерживать читаемость кода и документации.

Наш стек: OpenMetadata, Python, Vertica SQL, MS SQL, Bitbucket/GitLab, SSIS, SSAS, Tabular, S3, Power BI, DataLens, ClickHouse, Apache AirFlow, SSRS, Kafka, Atlassian Jira, Confluence.

Ваш опыт, навыки и личные качества:

Знание python (практический опыт от 2х лет), обязательно опыт разработки промышленных приложений сложных ETL процессов;

Опыт работы с AirFlow;

Уверенное владение SQL, диалекты MPP RDBMS (желательно Vertica);

Знание принципов организации и типовых практик по загрузке и базовой трансформации (очистка, приведение типов и т.д.) данных;

Навыки получения данных с различных типов источников: БД, API, Web сервисы, e-mail, Kafka, различные форматы файлов (Excel, JSON, Xml, Parquet) на различных источниках (S3, папка, Sftp);

Понимание как работать в рамках организованного CI/CD процесса.

Как мы работаем:

• У нас in-house разработка;
• Долгосрочные проекты игра в долгую (не проектная занятость);
• Используем agile-подход с двухнедельными спринтами;
• Один на один с трудностями не оставляем, всё обсуждаем и помогаем друг другу.

Мы предлагаем:

• Удаленный график работы;
• Корпоративная программа лояльности, скидки на товары и услуги партнёров;
• Сильная команда специалистов по разным направлениям;
• График работы пн-пт 10:00 18:30;
• Официальное трудоустройство в штат аккредитованной IT компании по ТК РФ.

Спасибо за отклик! Если ваше резюме соответствует вакансии, мы свяжемся с вами в ближайшее время.