Senior Data Egineer (Spark, office)
Описание
ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения. Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу. Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin. Что нужно делать:• Взаимодействие с командой и заказчиком по уточнению требований.• Анализ чужого и написание своего кода на SQL, Python, Spark• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.• Тестирование и отладка кода, обеспечение качества данных.• Документирование (Confluence)Что мы хотели бы видеть: Must have:• Глубокие знания SQL.• Spark (в том числе оптимизаци), Python• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.• Знание архитектуры хранилищ• Умение работать в команде и следовать процессам заказчика. Желательно:• Iceberg• Kafka• Scrum• Знание экономики, финансов, банковской сферы.