Инженер данных (Hadoop)
Описание
ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя! Мы – новая команда в Блоке «Развитие клиентского опыта B2С, и мы ищем инженера данных, который присоединится к нашей команде и займётся разработкой и поддержкой витрин данных на базе Hadoop. Вам предстоит участвовать в разработке базовых и специальных витрин данных в Едином ПКАП B2C, готовить датасеты для обучения моделей в FeatureStore B2C, разрабатывать витрины данных на Hadoop в ПКАПе команды, реализовывать реплики в КАП Первичные данные. Обязанности проектирование, разработка и сопровождение витрин данных на базе Hadoop участие в разработке ETL-процессов для загрузки данных в витрины; поддержка и мониторинг работы витрин данных взаимодействие с командами разработки и системными/дата-аналитиками по вопросам сбора, обработки и хранения данных; разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality) документирование разработанных решений. Требования практический опыт в разработке витрин данных, выстраивании ETL-процессов уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности), готовность к созданию инструментов для нужд инфраструктуры и разработки; опыт работы с Hadoop (HDFS, YARN, Hive) и Spark знание Java/Scala и опыт разработки на нём опыт разработки на Python понимание инструментов и технологий Big Data знание принципов построения распределённых систем хранения и обработки данных опыт обработки и миграции больших объёмов данным между различными источниками опыт работы с системами контроля версий (Git) навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки. Будет плюсом: опыт работы с Kafka опыт работы с CI/CD инструментами (Jenkins, GitLab CI) базовые знания Docker и иных технологий контейнеризации опыт работы с системами Unix (bash). Условия комфортный современный офис рядом с м. Кутузовская возможность выбрать удобный график – офис/гибрид ежегодный пересмотр зарплаты, годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития программа адаптации и помощь руководителя на старте расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ подписка Прайм с возможностью совместного использования на трёх близких вознаграждение за рекомендацию друзей в команду Сбера.