Data engineer (Senior), финтех

Описание

Чем предстоит заниматься:

• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку.
• Работать с общебанковской data-платформой (data lake, dwh, streaming, etc.).
• Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений.
• Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов.
• Развивать архитектуру данных и внедрять новые технологические решения и сервисы.
• Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты.
• Настраивать и поддерживать процессы и инструменты интеграции Near-Real Time платформы с системами-источниками и потребителями данных.

Для нас важно:

• Опыт работы в роли дата-инженера от 4-х лет.
• Опыт работы с банковской предметной областью.
• Владение SQL на уровне оптимизированных сложных запросов.
• Понимание принципов функционирования традиционных СУБД и баз данных класса MPP.
• Опыт программирования на языках Python и/или Java, Scala.
• Опыт оркестрации ETL-пайплайнов с помощью Airflow.
• Наличие опыта взаимодействия с инструментом dbt.
• Умение работать с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• Владение технологией Apache Spark (Spark DataFrames, Spark SQL).

Будет плюсом:

• Опыт работы с Kafka, Trino.
• Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm.
• Знания и опыт CI/CD-практик и инструментов.

Главный принцип SkillStaff - Выбирай!

• РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
• КОМФОРТ. SkillStaff аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.
• РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.
• КУЛЬТУРА. Нашу культуру создают сами сотрудники мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!