Middle Data Analyst (команда Foundation Model)

Описание

Наша команда занимается внедрением нейронных сетей в бизнес-процессы банка. Мы строим не только SOTA алгоритмы, но и активно приземляем наши исследования, растим бизнес и клиентский опыт, исследуем новые источники данных и подходы к моделированию на них. Тебе предстоит влиться в команду, занимающуюся внедрением больших нейронных сетей в различные бизнес-вертикали Банка. У нас есть много железа, еще больше данных, крутая команда и много амбициозных задач.

Обязанности

• Обработка и анализ больших данных в PySpark: загрузка, фильтрация, агрегации, джойны, обогащение данных
• Разработка и поддержка витрин и дата-сетов в PySpark для продуктовых задач и моделей (фичи, агрегаты, исторические срезы)
• Проверка качества данных в кластере: поиск дубликатов, пропусков, аномальных значений, согласование логики с владельцами систем
• Исследование данных на основе существующих витрин: расчет метрик, поиск закономерностей, формулировка простых эвристик и аналитических правил
• Подготовка наборов признаков для дата саентистов и участие в обсуждении постановки задач для ML моделей
• Взаимодействие с бизнес-заказчиками: уточнение требований к витринам/отчетам, совместное определение метрик, объяснение ограничений данных и результатов анализов.

Требования

• Практический опыт регулярной работы с PySparkDataFrame API (select, filter, withColumn, groupBy/agg, join)
• Базовое понимание ленивых вычислений и разницы между трансформациями и действиями
• Уверенный SQL: сложные JOIN ы, оконные функции, подзапросы для агрегаций и выборки последних/первых записей
• Опыт построения витрин/пайплайнов в PySpark (batch-процессы, обновление витрин, работа с большим объёмом данных)
• Понимание принципов работы Spark кластера на базовом уровне (драйвер, executors, партиционирование данных, влияние этого на производительность)
• Опыт взаимодействия с продуктом/бизнесом: формулирование аналитических задач, определение метрик, поддержка решений цифрами.

Будет плюсом:

• Опыт оптимизации PySpark задач: работа с партициями, broadcast join, минимизация shuffle операций
• Понимание, как устроен полный путь данных: от сырого слоя до витрин для ML
• Опыт в финансовой/банковской сфере или других высоконагруженных продуктах.

Условия

• Комфортный современный офис в Москве
• Формат работы - возможен гибрид после испытательного срока
• Ежегодный пересмотр зарплаты, годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• Вознаграждение за рекомендацию друзей в команду Сбера.