Data Engineer
Описание
Обязанности: проектировать архитектуру дата-платформы на основе подходов Data Lakehouse и Data Mesh; выбирать и обосновывать технологический стек под бизнес-задачи и технические ограничения; разрабатывать архитектурные стандарты и best practices для команды; проектировать и развивать платформу оркестрации и мониторинга data-пайплайнов; проектировать решения для потоковой обработки данных и real-time пайплайнов; участвовать в проектировании безопасности данных; реализовывать принципы Data Governance и Data Lineage; развивать процессы управления метаданными; принимать архитектурные решения и объяснять их как техническим специалистам, так и бизнес-заказчикам. Требования: SQL — экспертный уровень, знание различных СУБД, понимание и использование оптимизаторов запросов; Python — продвинутый уровень; SQLMesh — экспертный опыт, в том числе разработка фреймворков; Apache Airflow — опыт проектирования платформы оркестрации; опыт работы с Apache Iceberg / Delta Lake / Trino; Kafka — понимание потоковой архитектуры и построения real-time пайплайнов; Kubernetes + Helm — опыт деплоя и управления data-сервисами; OpenMetadata — конфигурирование и кастомизация; понимание принципов Data Governance и Data Lineage; практический опыт построения Data Mesh-архитектуры. Условия: Оформление в штат в соответствии с ТК РФ. Конкурентоспособная заработная плата (обсуждается по результатам собеседования). Соц.пакет: программа ДМС со стоматологией, корпоративная мобильная связь, санаторно – курортное лечение. Внутреннее обучение: конференции, тренинги, мастер-классы, корпоративный университет. Внешнее обучение по направлению профессиональной деятельности.