Tech Lead Data engineer
Описание
Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейшего юнита банка Нами реализована загрузка, обработка и контроль качества разрозненных данных из сотен систем-источников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop. Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки. Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket. языки - Python, Java, Scala. Обязанности разработка DWH/DataLake/LakeHouse построение поставки данных в Batch оптимизация ETL разработка и валидация архитектуры данных people management – планирование релизов, ресурсов команды обеспечение надежности промышленных ETL потоков. Требования отличное знание SQL (join, CTE, оконные функции, фреймы и др.) опыт работы с Hadoop, Spark, Iceberg опыт работы с оркестраторами (например, Airflow) и CI/CD опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.) опыт кратной оптимизации spark приложений практический опыт разработки solution-архитектуры data-продуктов практическое знание python на уровне разработки ETL будет преимуществом практическое знание java/scala будет преимуществом практический опыт создания и защиты архитектуры данных будет преимуществом навыки работы с генеративными AI-моделями, опыт использования GigaChat, Kandinsky и аналогов в продуктах навыки создания и использования AI-агентов инструментальное владение AI для анализа, генерации и автоматизации. Условия ежегодный пересмотр зарплаты и годовая премия расширенный ДМС и льготное страхование для семьи уникальная система обучения Сбера для профессионального и карьерного развития выгодная ипотека для сотрудников подписка Прайм с возможностью совместного использования на трёх близких вознаграждение за рекомендацию друзей в команду Сбера корпоративная пенсионная программа.