Data Engineer
Описание
Bell Integrator – аккредитованная ИТ-компания и являемся частью большой семьи ГК Softline. Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – крупнейшие системообразующие финансовые, телеком и ритейл компании страны.Команда реализует продукт кредитования юридических лиц сегмента малого и микробизнеса.Требования: Знание SQL на уровне аналитических запросов (подзапросы, агрегация, оконные функции);Умение обращаться с git, bash.Понимание языков программирования Java/Scala, Python;Понимание работы Hadoop, принципов распределенной обработки данныхОптимизация выполнения сценариев на Spark;Понимание процессов ETL, ELTСтек:Hadoop, Apache Spark, SQL, Python/Scala/JavaЖелательные требования:Опыт разработки на Spark/PySpark;Оптимизация выполнения сценариев на Spark;Опыт использования Apache Oozie;Понимание процессов ETL, ELTОбязанности:Исследование источников данных (внешних данных, реплик АС Банка, других витрин);Проведение EDAРазработка, тестирование витрин данных исходя из требований стейкхолдеров на Spark (Scala, Java, Python)Поддержка существующих витрин данныхCode Review изменений, предлагаемых коллегами. Условия:Возможность профессионального и карьерного роста в компанииВозможность поучаствовать в разных проектахОформление в соответствии с ТК РФФормат работы ОФИС: МСК/ Кутузовский проспект 32к1