Ведущий инженер данных
Описание
Ищем Senior инженера данных, который построит с нуля DWH, куда будут стекаться события об инцидентах кибербезопасности. У нас есть архитектурная гипотеза, и задача инженера данных — профессионально её проверить, укрепить или опровергнуть. У тебя будет свобода в разработке архитектуры и реализации хранилища, а наши инженеры помогут тебе в реализации этой сложной и интересной задачи! Чем предстоит заниматься: Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги); Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности; Нормализация и обогащение событий безопасности; Подготовка витрин данных под быстрые запросы и аналитику; Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование; Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill); Участие в разборе инцидентов и оптимизации производительности data платформы. Что мы ждем от кандидата: Опыт построения с нуля DWH или Data lake; Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в produckon среде; Уверенный SQL, включая оптимизацию запросов и анализ производительности; Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги); Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок); Опыт проектирования и оптимизации витрин и схем хранения данных; Уверенные знания Kubernetes и опыт эксплуатации сервисов в produckon среде; Понимание принципов надежности, масштабирования и наблюдаемости data систем. Будет плюсом: Helm, GitOps (ArgoCD / Flux), Terraform; Опыт работы со schema evolution и data contracts; Практики data quality (валидации, контроль пропусков и объёмов данных.