Системный аналитик DWH
Описание
На крупный проект требуются специалисты. Удалёнка! Требования: Уверенное понимание принципов построения дата-плафторм (DWH, OLAP, Data Lake, Lakehouse)- Знание методологий проектирования модели данных (Kimball, Data Vault), реальный опыт применения их на практике для проектирования моделей данных- Навыки работы с большими объемами данных (миллиарды записей, ТБ данных)- Экспертное знание SQL- Знание РСУБД (PostgreSQL, Oracle, MS SQL)- Понимание принципов и опыт работы с MPP-системами (GreenPlum, Clickhouse, Trino)- Умение анализировать существующие потоки данных, их зависимости (ETL/ELT, Airflow)- Умение систематизировать слабоструктрированные требования в формате описания витрин данных- Сильные навыки коммуникации для общения на одном языке с: бизнес-заказчиками, разработчиками, админами)- Опыт оптимизации сложных запросов- Навыки планирования и управления рабочим временем- Навыки постановки задач в смежные подразделения- Опыт работы с распределенными хранилищами (Hadoop, S3)- Грамотная устная и письменная речь Обязанности: Анализ потребностей бизнеса в подготовленных данных- Подготовка требований в части методологии расчета показателей- Проектирование модели данных презентационных и детальных слоев данных- Поиск релевантных источников данных, профилирование данных в источниках, а также в контуре платформы данных- Разработка алгоритмов построения витрин данных и объектов детального слоя- Разработка прототипов в витрин и согласование их с потребителем- Сопровождение разработки витрин на всех этапах рабочего процесса: разработка потоков, тестирование, UAT, передача на поддержку, решение инцидентов на 3-ей линии поддержки- Оценка вычислительных ресурсов, необходимых для решения задачи (сайзинг стораджа и компьюта)- Оценка трудозатрат на выполнение доработок- Определение логики проверки качества данных и имплементация ее для создаваемых витрин