Архитектор хранилища данных
Описание
Мы ищем архитектора хранилища данных для работы в крупном банке с промышленным хранилищем данных и большими объемами финансовых и операционных данных. Вы будете разрабатывать и сопровождать ETL/ELT-пайплайны, обеспечивать надежность загрузок и качество данных на всех этапах: от источников до витрин и BI-отчетности.Технологический стек:• Хранилище данных и ETL: Greenplum, UI DWH (настройка ETL-загрузки), Airflow• BI-платформа: Power BI (DAX, ролевые модели доступа)• Управление данными и моделирование: Data Vault 2.0, OpenMetadata (каталог данных)• Инструменты и инфраструктура: SQL-клиент (DBeaver или аналог), Git, GitLab, Wiki (Eva или аналог)Обязанности: 1. Архитектурная ответственность• Отвечать за стратегию развития и целевую архитектуру КХД, интеграционные потоки, витрины, принципы моделирования и эксплуатационную устойчивость решения.• Принимать и обосновывать архитектурные решения, управлять техническими рисками.• Обеспечивать согласованность решений аналитиков, инженеров данных, ETL-разработчиков и BI-специалистов.• Руководить инициативами по улучшению решений управления данными: качество данных, дата-каталог, стандарты моделирования, эксплуатационные регламенты.• Преобразовывать сложные бизнес-задачи в устойчивые технические решения, которые одновременно поддерживают текущие цели бизнеса и развитие платформы данных.2. Моделирование и управление данными• Проектировать логические и физические модели данных, владеть Data Vault 2.0, подходами к построению банковских КХД и витрин.• Определять архитектурные паттерны загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа.• Формировать принципы качества данных, управления данными, SLA/SLO по загрузкам и отчетности.• Контролировать полноту и отслеживаемость данных на всех этапах.• Обеспечивать соответствие архитектуры требованиям финансового сектора, регуляторной отчетности, аудита, безопасности и разграничения доступа.• Задавать подходы к дата-каталогу, описанию происхождения данных, владельцам данных, критичности наборов данных и правилам использования данных.3. Платформа и технологии• Глубоко понимать архитектуру Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных.• Проектировать применение Apache Spark, Airflow, Java/Python, Liquibase, CI/CD и мониторинга в промышленном ландшафте данных.• Определять стандарты разработки, версионирования, развертывания, наблюдаемости и восстановления пайплайнов.• Оценивать применимость машинного обучения и продвинутых методов обработки данных для задач качества, классификации, обогащения или анализа данных.• Проектировать интеграции с банковскими системами-источниками: АБС, БКИ, скоринговые системы, мобильное приложение, веб- и продуктовая аналитика, внешние данные.4. Лидерство и взаимодействие• Вести архитектурные обсуждения с заказчиком, ИТ-командами, безопасностью и эксплуатацией.• Переводить бизнес-цели в реализуемую архитектуру данных.• Проводить ревью проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации.• Наставлять команду, формировать лучшие практики и обеспечивать развитие КХД с учетом масштабируемости, надежности, стоимости владения для банка и будущих изменений.• Выстраивать доверительное взаимодействие с заказчиком, информационной безопасностью, эксплуатацией и смежными ИТ-командами для согласования потребностей, ограничений и технических трендов. Требования: Опыт проектирования, развития или технического лидерства в КХД банка не менее 6 лет, включая не менее 4 лет в роли архитектора или технического лидера. Опыт модернизации DWH, миграции данных или масштабирования хранилища при быстром росте объемов банковских данных и количества потребителей данных. Опыт управления техническими рисками и обеспечения согласованности решений разных команд (аналитики, инженеры данных, ETL, BI). Опыт руководства инициативами по улучшению управления данными: качество данных, дата-каталог, стандарты моделирования. Глубокое понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных. Экспертное владение Data Vault 2.0: проектирование логических и физических моделей, подходы к построению банковских КХД и витрин. Определение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа. Обеспечение соответствия архитектуры требованиям финансового сектора, регуляторной отчетности, аудита, безопасности. Проектирование применения Apache Spark, Airflow, Java/Python, Liquibase, CI/CD и мониторинга в промышленном ландшафте данных. Определение стандартов разработки, версионирования, развертывания, наблюдаемости и восстановления пайплайнов. Проектирование интеграций с банковскими системами-источниками: АБС, БКИ, скоринговые системы, мобильное приложение, веб- и продуктовая аналитика, внешние данные. Оценка применимости машинного обучения и продвинутых методов обработки данных. Ведение архитектурных обсуждений с заказчиком, ИТ-командами, безопасностью и эксплуатацией. Перевод бизнес-целей в реализуемую архитектуру данных. Проведение ревью проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации. Наставничество команды, формирование лучших практик. Ответственность за корректность результатов. Умение занимать лидерскую позицию и вести других за собой. Навыки администрирования и мотивации. Ведение коммуникации на уровне бизнес-целей, архитектурных решений, приоритетов и рисков. Фасилитация сложных кросс-функциональных обсуждений с бизнесом, ИТ, ИБ, эксплуатацией и подрядчиками. Формирование единых правил взаимодействия, стандартов коммуникации и процесса принятия технических решений. Участие в найме, оценке кандидатов, развитии команды и разрешении конфликтных ситуаций.