Data Engineer / SQL разработчик аутстафф

Описание

Компания: LIAN

Обязанности:
- Разработка и поддержка надежных ETL-пайплайнов в распределенной среде на базе современного open-source стека
- Работа с dbt (Data Build Tool) для управления трансформациями, тестирования и документирования SQL-логики.
- Работа с Apache Airflow для оркестрации, планирования и мониторинга выполнения задач.
- Участие в разработке пайплайнов на Apache Flink для расчетов в реальном времени.

Требования:
- Сильный и опытный SQL-разработчик. Способность писать эффективный, оптимизированный и понятный SQL-код.
- Опыт работы с распределенными системами: знание принципиальных отличий OLAP от OLTP, понимание, как выполняемый код работает в распределенной среде.
- Опыт работы с Apache Airflow для планирования и мониторинга пайплайнов.
- Опыт работы с dbt (Data Build Tool) для управления трансформациями.
- Понимать различия работы между BigData и с данными обычного размера.
- Опыт работы с SAP (понимание данных и логики SAP-систем).
- Опыт работы с Trino
- Опыт работы с Apache Flink
- Опыт работы с Java
- Опыт работы с Git (знание команд git pull/commit/push)
- Опыт работы системным аналитиком или data аналитик, навыки работы с бизнес-логикой от заказчика будет плюсом