Middle/Middle+ разработчик ETL/ELT (Антифрод)
Описание
Проект реализация DWH и BI в области противодействия мошенническим операциям. Цель проекта: обеспечение целевых подразделений антифрода инструментами аналитики и подготовки принятия решений для задач предотвращения мошенничества. ЧТО ВАС ЖДЕТ: Высокая автономность: вы будете исследовать и развивать сквозной процесс от множественных источников данных до форм представлений непосредственным пользователям. Разнообразие данных: для задач домена используются данные практически всех направлений внутри банка и много внешних специфичных данных. Передовой технологический стек и нетривиальные задачи: Графовая аналитика и Graf RAG; Feature Store с возможностью его переиспользования для in-line задач, интеграции результатов AI в бизнес аналитику и так далее. Влияние и бизнес-импакт: у нас высокий спрос на качественные данные как в аналитических задачах, так и в области машинного обучения. СТЕК: Greenplum (GPDB) Data Vault 2.0 Data Warehouse Data Architecture PowerDesigner SQL Data Modeling Banking Data Model General Ledger Data Governance MPP Database ETL Architecture ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Принимать участие в проработке архитектуры ETL и интеграций аналитического хранилища данных (DWH); Проектировать и обеспечивать реализацию потоков ETL в соответствии с выбранной методологией; Управлять физической моделью данных корпоративного хранилища; Формировать стандарты в области данных и контролировать их соблюдение, обеспечивать историзацию и правила качества данных; Взаимодействовать с владельцами данных, бизнес и системными аналитиками; Оптимизировать архитектуру хранилища и обеспечивать ее масштабируемость; Готовить и согласовывать обязательную документацию. НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА: Опыт работы главным/ведущим инженером ETL/ELT от 3 лет; Глубокое понимание архитектуры корпоративных хранилищ данных; Практический опыт проектирования хранилищ с использованием Greenplum (GPDB), Postgres, Hadoop; Понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных; Результативный опыт анализа проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации; Практический опыт работы с отечественными BI решениями; Отличное знание SQL и принципов оптимизации запросов в MPP-системах; Экспертиза и применение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа; Опыт в проектировании и применение Spark, Impala, Trino, Airflow, Java/Python в промышленном ландшафте данных; Понимание принципов CI/CD, работа с системами контроля версий; Уверенное владение инструментами проектирования:- разработка физических моделей;- управление репозиторием моделей;- поддержка корпоративных стандартов моделирования. БУДЕТ ПЛЮСОМ: Опыт работы с данными в антифрод-подразделении банка или фин. организации; Опыт проектирования CDM/LDM/PDM в крупных банках; Опыт построения Data Lake / Lakehouse совместно с DWH; Знание подходов Data Governance и Data Quality; Понимание принципов MDM; Опыт работы с StarRocks; Опыт работы с PXF; Знание Agile-подходов к разработке; Экспертиза в банковской предметной области. Вы должны хорошо ориентироваться в банковских данных и понимать структуру основных предметных областей. ЧТО МЫ ПРЕДЛАГАЕМ: Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.); Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы; Забота о вашем здоровье: ДМС с первого месяца работы, куда входит стоматология; Прозрачный доход: оклад (по итогам интервью) + ежеквартальные премии по результатам KPI; Гибридный формат работы (2 дня офис, 3 дня удаленно) в Сколково; Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.д.).