Data Engineer (Big Data) Scala

Описание

Платформа ОФД - продуктовая IT-компания, крупнейший в России оператор фискальных данных. Мы создаем полезные и удобные сервисы для предпринимателей, анализируем рынок российского ритейла на данных из магазинных чеков.

Приглашаем в команду Дата инженера с опытом от 1 года на scala

Что у нас есть:

• Много данных: каждый 3-й чек, пробиваемый в России, находится на наших серверах. Мы принимаем до 60 млн чеков в день, имеем 5 млрд уникальных названий товаров в базе.
• Развитая инфраструктура: есть несколько кластеров Hadoop, у DS есть несколько мощных машин, GPU делают бр-бр
• Команда DE и сильная экспертиза
• 80% кода мы пишем на Scala
• Оформление только по ТК РФ, белая зп
• ДМС с госпитализацией, скорой и стоматологией
• Удобная кухня, релакс-зона с тренажером, массажным креслом, приставкой и караоке
• Пицца-пати и корпоративные праздники за счет компании

Наш стек:

Hadoop, Spark, SCALA , Python, Java, PostgreSQL, ClickHouse, Zeppelin/IntelliJ, AirFlow, ElasticSearch, Apache Superset

GitLab, k8s, Docker, Jira, Confluence

Чем предстоит заниматься:

• Разрабатывать ETL-процессы с использованием библиотеки Apache Spark на Scala
• Анализировать, проектировать и создавать витрины данных в соответствии с требованиями конкретного проекта
• Развивать инфраструктуру для обработки больших данных и кодовой базы Scala
• Работать с DS для внедрения математических алгоритмов и ML-моделей в промышленные процессы

Откликайся, если ты:

• От 1 года решаешь задачи в области сбора, хранения и анализа данных
• Пишешь код на Scala
• Отлично знаешь SQL
• Применяешь в работе инструменты BigData: Airflow, Hadoop, Spark, Hive, Zeppelin
• Будет плюсом опыт работы с Docker и k8s