Senior DWH Developer
Описание
НСИС (Национальная страховая информационная система) - это ядро страхового рынка. Мы - 100% дочерняя компания Центрального банка РФ. Через нас проходит все: ОСАГО, КАСКО, ДСАГО, страхование жилья, ДМС. Мы - центральный узел, который обеспечивает работу страхования в стране. Если мы остановимся - страхование остановится. У нас highload-система, микросервисная архитектура из более чем 100 приложений, SLA доступности - 99,95% (чуть больше 4 часов в год на простои, и то не одномоментно). Интегрируемся с такими контрагентами как ГИБДД, РСА, Минцифры, МВД, Госуслуги, работаем на стыке бизнеса, госрегуляторов и технологий. И да, мы также реализуем и коммерческие продукты.Сейчас мы в поиске Разработчика корпоративного аналитического хранилища данных (Senior DWH Developer) Вам предстоит: Разработка нового и развитие существующего функционала корпоративного аналитического хранилища данных на базе PostgreSQL + ClickHouse; Оптимизация, рефакторинг и сопровождение существующих решений; Проектирование, разработка и сопровождение ETL/ELT-процессов загрузки, трансформации и обработки данных, реализация бизнес-логики аналитического хранилища, разработка механизмов контроля качества данных; Анализ требований бизнес-заказчиков, исследование источников данных и участие в проектировании моделей данных; Участие в разработке архитектурных решений корпоративного хранилища данных, выборе технологий и инструментов ETL/DWH; Подготовка архитектурной, технической и эксплуатационной документации, документирование ETL/ELT-процессов и реализованных технических решений; Взаимодействие с командами разработки, аналитики, тестирования и эксплуатации при реализации проектов; Участие в выводе решений в промышленную эксплуатацию, приемо-сдаточных и нагрузочных испытаниях. Для этого Вам потребуется: Опыт разработки корпоративных аналитических хранилищ и ETL/ELT-процессов на PostgreSQL от 3 лет; Опыт разработки аналитических витрин на ClickHouse от 2 лет; Опыт проектирования слоев DWH: Staging, ODS, детальный слой и витрины данных; Практический опыт разработки ETL/ELT-процессов; преимуществом будет опыт работы с промышленными ETL/ELT-платформами и инструментами интеграции данных (Apache Hop, Pentaho Data Integration, Oracle Data Integrator и т.п.); Опыт реализации инкрементальных загрузок: CDC, Delta, SCD Type 2, обработка поздно поступающих данных; Понимание подходов Data Vault, Kimball и Anchor Modeling; Экспертное знание SQL и PL/pgSQL, внутреннего устройства PostgreSQL и методов оптимизации запросов и производительности; Уверенное знание ClickHouse: колоночное хранение, семейство MergeTree, фоновые слияния и выбор движка под задачу; Уверенное владение Python, опыт разработки надежных загрузчиков с логированием, обработкой ошибок и retry-механизмами; Практический опыт разработки DAG в Apache Airflow, понимание Scheduler, Executor, Hooks, Operators, Sensors, передачи параметров и идемпотентности задач; Понимание принципов работы и областей применения реляционных и колоночных СУБД, MPP-платформ, in-memory СУБД, Data Lake и SQL движков; Опыт работы с Git, Jira, Confluence и инструментами CI/CD, включая Jenkins, GitLab CI и Liquibase; Знание современных подходов к разработке, тестированию и документированию DWH; Опыт работы по Agile/Scrum или Waterfall. Soft skills:Управленческие способностиАналитическое мышлениеВнимательность к деталямУмение работать с документациейКоммуникабельностьСпособность работать в командеАрхитектурные навыки:Проектирование архитектуры DWHСоздание стратегии развития DWH Работа у нас: Оформление согласно ТК РФ; Уровень дохода обсуждается с успешным кандидатом (ЗП "белая") + премия по результатам работы; График 5\2, гибкое начало, в пятницу сокращенный день; Офисный, Удаленный или Гибридный формат работы; Расширенный пакет ДМС (стоматолог, психолог, телемедицина); Постоянное профессиональное внешнее и внутреннее обучение; Возможность участвовать в масштабных и разнообразных проектах; Насыщенная корпоративная культура (праздники, подарки, различные активности по интересам); Удобный и современный офис с зонами отдыха в центре Москвы (2 минуты от м. Павелецкая).