Data Engineer
Описание
О компании «Полицифра» — управляющая компания цифрового дивизиона группы компаний «Полипластик», специализируемся на создании инновационных IT-решений для масштабных бизнес-задач. Объединяем экспертизу в области цифровой трансформации, внедряя технологии, которые меняют подход к управлению и оптимизируют процессы в компаниях. Наши ключевые направления: — Процессное управление и автоматизация «под ключ»: строим эффективные системы, которые упрощают работу бизнеса. — Управление данными: создаем структурированные и гибкие системы хранения информации — основу для точных решений. — Разработка собственных продуктов: предлагаем решения, адаптированные под специфику отраслей. Мы фокусируемся на комплексных интегрированных системах, которые связывают все уровни управления, ускоряют аналитику и обеспечивают слаженную работу на всех уровнях управления. О команде Мы — Data Office промышленного холдинга и сейчас с нуля строим направление операционной аналитики. Целевой стек: ClickHouse, Superset, Power BI и LLM-инструменты. Анализируем реальные процессы и затраты в производстве, логистике, закупках и других операционных областях. В структуре Data Office две основные команды: - Аналитическая команда отвечает за применение данных в бизнесе.- Техническая / платформенная команда отвечает за инфраструктуру данных - вакансия открыта в рамках платформенной команды Чем предстоит заниматься Разрабатывать и поддерживать ETL/ELT-процессы полного цикла; Строить и оптимизировать хранилище данных и витрины; Следить за стабильностью и производительностью data-пайплайнов; Участвовать в проектировании data-моделей и архитектуры; Внедрять проверки качества данных и мониторинг; Документировать решения и улучшать процессы разработки. Мы ждём Опыт работы на позиции Data Engineer от 2 лет; Высшее техническое или математическое образование; Хорошее знание SQL, включая оптимизацию сложных и ресурсоёмких запросов; Опыт работы с ClickHouse, понимание особенностей колоночных и MPP-хранилищ; Опыт работы с Airflow: построение и сопровождение DAG-ов, анализ и устранение ошибок; Знание Python для data-задач: обработка данных, разработка коннекторов и утилит, написание тестов; Опыт разработки ETL/ELT-процессов и работы с большими объёмами данных; Опыт обеспечения качества данных: логирование, мониторинг, проверки, алерты, соблюдение SLA; Опыт работы с Git, участие в code review, понимание CI/CD; Опыт работы с Docker. Будет плюсом Опыт работы с Kafka, dbt; Опыт работы со стриминговой обработкой данных; Знание подходов к моделированию данных Kimball / Data Vault; Опыт работы с GitLab CI. Что предлагаем Официальное трудоустройство по ТК РФ; Возможность оформления в ИТ-аккредитованной компании; Возможен полностью удаленный формат работы, либо гибрид/офис в Москве; Профессиональный и карьерный рост вместе с развитием направления; Направление и инфраструктура выстраивается с современным стеком с нуля (с минимумом legacy); Реальное влияние на эффективность производства, логистики и закупок и рост вместе с направлением.