Data Engineer в команду Data Platform
Описание
Uzum - это крупная экосистема, данные тоже требуют экосистемности, поэтому мы работаем по Data Mesh подходу. Данными владеют домены — команды, которые эти данные создают. Домен публикует свои данные как data product с точным контрактом, SLA и метриками качества. Домен отвечает за них перед потребителями. Для этого мы строим с нуля две вещи. Первая — self-serve платформа: это набор инструментов, шаблонов и автоматизации. С их помощью домен сам выкатывает свой data product без заявки в нашу команду. Вторая — федеративный governance: это единые правила по контрактам, качеству, доступам, метаданным и стоимости запросов. Эти правила применяются автоматически на уровне платформы. Чем предстоит заниматься: Проектировать и строить self-serve платформу с нуля: путь домена от подключения источника до опубликованного data product без участия нашей команды. Автоматизировать жизненный цикл контрактов данных: описание схемы, версионирование, проверка обратной совместимости на CI, валидация данных на проде, генерация DDL и пайплайнов из контракта. Кастомизировать каталог данных и OpenMetadata под нашу модель: собственные сущности и custom properties, автоматическая регистрация data products, lineage от источника до витрины, связка каталога с контрактами, качеством и доступами, доработка API и UI под внутренние сценарии. Делать качество и наблюдаемость частью платформы: проверки данных, SLA на data products, алерты, метрики свежести и полноты, контроль стоимости запросов и хранения. Заходить в домены и работать вместе с их командами: разбирать модель данных, проектировать data products, переносить существующие пайплайны на платформу, доводить до production. Проводить обучения и онбординг доменов: воркшопы, документация, гайдлайны, разбор типовых ошибок, поддержка команд на первых итерациях. Работать с batch и streaming pipelines в production-среде. Стек: PySpark, Airflow, ClickHouse, Trino, PostgreSQL, Kafka Connect, Debezium, Kubernetes, Iceberg, dbt, OpenMetadata. Что для нас важно: Практический опыт в Data Engineering: Python, SQL, orchestration и production data pipelines. Опыт работы с Airflow или другими оркестраторами. Понимание batch и streaming processing, опыт работы со Spark / PySpark. Опыт работы с lakehouse- и аналитическим стеком: Trino/Presto, ClickHouse, Iceberg/Parquet/DeltaLake. Опыт с Kafka, Kafka Connect, Debezium или другими event streaming инструментами. Опыт разработки внутренних инструментов и сервисов, а не только пайплайнов: чистый код, тесты, CI/CD, Kubernetes. Инженерное мышление: умение думать про надёжность, стоимость, качество данных, поддержку и влияние изменений на пользователей. Умение работать с внутренними пользователями: собрать требования у домена, объяснить решение, провести обучение, написать документацию, которой будут пользоваться. Будет плюсом: опыт с data contracts, каталогами данных (OpenMetadata, DataHub, Amundsen), data quality фреймворками, dbt, а также опыт участия во внедрении Data Mesh или похожей децентрализованной модели. Почему это интересно: Платформа, контракты, автоматизация и governance проектируются сейчас, и вы будете влиять на то, какими они получатся. Даём широкую зону ответственности и возможность влиять на архитектурные решения, платформенные подходы и то, как команды внутри компании работают с данными. Здесь много сложных инженерных задач: надёжный streaming, CDC, Spark, Iceberg/Trino/ClickHouse, качество данных, наблюдаемость, стоимость запросов и production reliability. У нас современный стек: PySpark, Airflow, ClickHouse, Trino, PostgreSQL, Kafka Connect, Debezium, Kubernetes, Iceberg, dbt, OpenMetadata. Мы сохранили скорость и инициативность стартапа, но уже отстроили зрелые процессы: понятные цели, production-подход, ответственность за результат и прозрачную коммуникацию. Формируем измеримые цели всей командой и смотрим не только на факт выполнения задач, но и на их влияние на бизнес, пользователей данных и скорость работы продуктовых команд. Работаем в команде сильных специалистов, где ценится глубина экспертизы, инженерное мышление и способность предлагать улучшения. Команды слушают и слышат друг друга: мы работаем с бизнесом, аналитиками и продуктами как партнёры.