Главный data-инженер

Описание

Ищем опытного играющего тренера (Senior Data Engineer / Technical Lead) для ключевой роли в проекте по построению корпоративного Lakehouse.

Вам предстоит возглавить миграцию с legacy-систем на Hadoop к современному стеку (S3 + StarRocks/Doris), совмещая hands-on разработку с техническим лидерством и наставничеством в кросс-функциональной команде.

Это роль для тех, кто хочет вырасти от технического эксперта до руководителя, влияя на архитектурные решения и развивая инженеров.

Основные задачи:

• участие в проектировании и практическая реализация нового корпоративного on-premise Lakehouse-хранилища на стеке S3-совместимое хранилище + StarRocks/Doris;
• настройка сквозных ETL/ELT-процессов для загрузки данных из Hadoop/Hive, Kafka, PostgreSQL и их трансформации по многослойной модели (raw агрегаты витрины);
• миграция данных из действующей систем Hadoop (HDFS, Hive), PostgreSQL) на новую платформу;
• разработка, оптимизация и поддержка высокопроизводительных витрин данных в StarRocks/Doris для аналитики и отчетности;
• организация процессов разработки и контроль качества;
• проектирование модели хранения и ролевой модели доступа;
• взаимодействие с аналитиками и бизнес-заказчиками для уточнения требований к витринам;
• техническое лидерство и наставничество команды (3-5 человек) - проведение код-ревью, планирование задач, развитие инженеров;
• документирование архитектурных решений, стандартов разработки и процессов.

Наши ожидания:

• 5 лет опыта в Data Engineering, проектирование и поддержку процессов загрузки и преобразования данных;
• опыт технического лидерства или наставничества (3+ человека);
• экспертный уровень владения SQL (сложные запросы и оптимизация);
• практический опыт миграции на on-premise S3 (MinIO, Ozone, Ceph);
• глубокий опыт работы с высоконагруженными и колоночными OLAP-системами (StarRocks, Doris, ClickHouse или аналогами);
• промышленный опыт построения ETL/ELT-пайплайнов с использованием Apache Spark (Scala)/NiFi/AirFlow/Informatica PC или аналогами;
• опыт работы с контейнерами (Docker) и оркестрацией в on-premise Kubernetes/OpenShift;
• понимание экосистемы Big Data (Hadoop, Kafka, Spark) и принципов работы с реляционными СУБД (PostgreSQL);
• опыт работы с форматами данных (Parquet, Avro) и понимание принципов организации данных в Lakehouse (Iceberg/Delta/Hudi) будет большим плюсом;
• системное и архитектурное мышление, готовность брать ответственность за комплексные решения и результат;
• опыт работы с Jira и Confluence.

Мы предлагаем:

• четкий путь роста : роль технического лидера в стратегическом проекте с возможностью вырасти до руководителя направления;
• современный стек и влияние: возможность построить платформу с нуля, влиять на ключевые архитектурные решения и сформировать команду;
• сильную команду : работа в заряженной кросс-функциональной среде с опытными коллегами.

Условия:

• официальный доход - оклад + бонус квартальный и годовой; условия с успешным кандидатом готовы обсуждать индивидуально;
• ДМС со стоматологией и международная страховка;
• кафетерий льгот (компенсация ОСАГО, спортивного инвентаря, ДМС близким родственникам и многое другое);
• гибридный график работы;
• офис находится в центре в шаговой доступности от ст. м. Новокузнецкая;
• динамично растущая команда полного цикла;
• возможность профессионального и карьерного роста.