Data Engineer (Data Platform) / Дата-инженер

Описание

Чем предстоит заниматься:

• Писать фрэймворки на Python для решения сложных прикладных задач.

• Разрабатывать Python-код для оркестрации ELT-пайплайнов обработки данных.

• Интегрировать и улучшать существующие продукты команды.

• Оптимизировать SQL-запросы и писать их самим.

• Работать с аналитиками и проверять на корректность их SQL-запросы трансформаций данных.

• Работать в команде из 10 человек над проектами: LakeHouse, DataVault, SnowPlow Streaming, ML Platform.

• Реализовывать интеграции с различными источниками (API, DB, apps).

• Развивать LakeHouse.

• Развивать Self Served фреймворк для аналитиков (Миграция на SQLMesh).

• Развивать ETL фреймворк.

• Взаимодействовать с другими подразделениями компании для определения требований к архитектуре и обеспечения их реализации.

• Обеспечивать целостность, надежность и безопасность данных на платформе.

• Разрабатывать и поддерживать документацию, схемы данных и метаданных.

Ожидания от вас:

• Глубокие знания Python и умение применять их в реальных проектах.

• Продвинутый SQL: оптимизация запросов и работа со сложными конструкциями.

• Высшее образование в области информационных технологий, компьютерных наук или эквивалентной области;

• Опыт работы не менее 4 лет в области разработки и управления платформами данных;

• Глубокие знания архитектуры платформ данных, ETL/ELT процессов (батч/стрим) и методов обработки данных;

• Знание современных технологий и инструментов для работы с большими данными (Trino, Airflow, Kafka, Spark, BigQuery и др.);

• Высокий уровень владения SQL и Python (>3.8);

• Знание основных структур данных и алгоритмов;

• Готовность пройти алгоритмический этап собеседования;

• Cамостоятельность и ответственность за результат;

• Проактивность;

• Отличные коммуникативные навыки - важно уметь работать в команде;

• Умение работать в динамичной среде и адаптироваться к изменениям;

• Умение самостоятельно планировать ресурсы на выполнение поставленных задач в рамках спринта.

Будет плюсом:

• Опыт работы с облачными платформами (AWS, GCP, Azure);

• Знание принципов Data Vault и опыт их внедрения;

• Сертификаты в области управления данными, аналитики или облачных технологий;

• Опыт работы с инструментами для мониторинга и обеспечения качества данных.

Наши ценности

Забота и любовь

Наш продукт основан на желании людей радовать друг друга и быть вместе. Пока любовь жива, у Flowwow будут пользователи.

Развитие и рост

Flowwow быстро развивается и с радостью поддерживает инициативы сотрудников.

Культура взаимопомощи

У нас работают люди, вовлеченные в процесс и небезразличные к тому, что они делают.

Открытость к изменениям

Каждый может проявлять инициативу, предлагать и быстро видеть свой вклад в общий успех.

Благотворительность

Одна из целей Flowwow помогать людям. Нас объединяют социальная ответственность и готовность участвовать в специальных благотворительных мероприятиях.