Senior Data Egineer (Spark, Iceberg, StarRocks)
Описание
ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения. Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу. Проект связан с миграцией кода, который сейчас на Hadoop/Spark на StarRocks (переход от пакетной ETL/Data Lake архитектуры к высокопроизводительному MPP OLAP-хранилищу). Стек: SQL, Spark, Python, Iceberg, Airflow Что нужно делать: Активное взаимодействие с большим количеством команд и заказчиком по уточнению требований. Анализ чужого и написание своего кода на SQL, Python, Spark Опыт с Apache Iceberg и StarRocks / Trino Подтвержденный опыт миграции данных на Lakehouse Настройка и поддержка DAG-ов в Airflow для оркестрации процессов. Опыт работы с облаками Yandex/AWS/Azure Тестирование и отладка кода, обеспечение качества данных. Документирование (Confluence) Что мы хотели бы видеть: Глубокие знания SQL. Spark (в том числе оптимизации), Iceberg, Python Настройка и поддержка DAG-ов в Airflow для оркестрации процессов. Знание архитектуры хранилищ Опыт миграции данных Умение работать в команде и следовать процессам заказчика. Желательно: Kafka Scrum Знание экономики, финансов, банковской сферы Что ты приобретешь присоединившись к нам : Достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе; Работа в команде профессионалов готовых делиться экспертизой; Официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет: Компенсация затрат на фитнес и занятия английским языком; Обеспечиваем техникой для работы (ноутбук, наушники, мышь), Профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах); Возможность пройти проф.сертификацию; Прозрачную систему карьерного развития Performance Review; Персонального наставника с первого дня работы; Насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения;