Ведущий инженер данных / Lead Data Engineer
Описание
Blaze Analytics — команда, специализирующаяся на построении аналитических платформ и решениях в области управления данными.Мы помогаем крупным компаниям и государственным организациям трансформировать работу с данными: от legacy-систем к современной Data Platform. Сейчас мы расширяем команду и ищем Ведущего инженера данных (Lead Data Engineer) для участия в проекте построения Data Lakehouse для крупного государственного заказчика. Проект находится в активной фазе развития: мы переносим сотни потоков данных из legacy DWH в современную гибридную архитектуру. В перспективе предстоит возглавить группу из 3-4 инженеров данных. Стэк проекта: CedrusData (Trino) + Apache Iceberg, Spark, Airflow, Kafka + MinIO / VK Cloud Storage + Debezium + XML / XSD.Какой опыт и навыки для нас обязательные Понимание принципов функционирования распределенных систем/вычислений. Понимание основ проектирования эффективных приложений для СУБД и подходов к оптимизации. Опыт разработки PySpark и оптимизации Spark-приложений. Опыт разработки на Python. Опыт работы с одной из СУБД: Postgres, Oracle, Greenplum или аналогичной. Опыт работы с Airflow. Опыт работы с git. Уверенный пользователь Linux (типовые команды и утилиты). Желательно Опыт работы с Trino/Hive/Hadoop. Опыт работы с табличными форматами (предпочтительно Iceberg или DeltaLake/Hudi). Опыт работы с Docker и Kubernetes. Опыт разработки на Java (или понимание основ JVM). Опыт работы с инструментами мониторинга (Grafana, Prometheus и аналогичные). Задачи, которые тебя ждут Разработка программных модулей (преимущественно ETL) с использованием PySpark и Airflow. Создание модулей автоматизации ETL-процедур для переиспользуемого шаблонного кода. Оптимизация разработанных решений. Организационные и лидерские задачи: Управление командой 2-4 человека (постановка задач, соблюдение общих стандартов и валидация результатов) Декомпозиция высокоуровневых задач и делегирование разработчикам Выстраивание процессов разработки (стандарты, CI/CD, стенды, инструкции развертывания) Проведение технических демо разработанного функционала заказчику Что мы предлагаем Простор в реализации идей в рамках проекта. Мы за продуктовый подход - если ты знаешь предметную область заказчика, готов обосновать свои предложения и понимаешь, как они вписываются в цели проекта, то мы поддержим и дадим возможность их реализовать. Низкий уровень бюрократии, а также возможность влиять на процессы в компании. Рост до позиции руководителя группы инженеров данных. Работу в аккредитованной IT-компании. Своевременную белую зарплату дважды в месяц с возможностью роста. Гибридный формат (обязательно быть в Москве, 2-3 дня в офисе заказчика в неделю). Покупку техники (ноутбук + монитор). Различные варианты оформления - в штат или на ГПХ.