Senior Data Engineer
Описание
Мы проектируем и внедряем ключевые элементы архитектуры российского сегмента сети Интернет. Являемся разработчиком передовых программно-аппаратных комплексов для управления телеком-инфраструктурой. Входим в контур группы компаний ПАО «Ростелеком» и являемся стратегическим активом АО «Градиент». Наши аппаратные платформы развернуты на сетях передачи данных ведущих федеральных операторов связи. Разработка ведется в рамках стратегических государственных инициатив по цифровому суверенитету страны. Среди организаций, доверяющих нашим технологиям, — профильные ведомства федерального уровня: Роскомнадзор и Минцифры России. О проекте: Мы развиваем систему постанализа сетевого трафика, работающую с высоконагруженными потоками данных. Система агрегирует данные из сотен источников, обрабатывает входной стриминг на уровне сотен тысяч событий в секунду и продолжает масштабироваться — в ближайшее время планируется подключение более 10 дополнительных источников данных. Чем предстоит заниматься: Проектирование и реализация сложных batch и streaming пайплайнов в новом Lakehouse-стеке; Реализация и контроль технической части миграции Hadoop → S3/Iceberg; Проектирование схем хранения и оптимизация Iceberg-таблиц; Оптимизация Spark и Trino под highload и near-real-time требования; Разбор и устранение сложных инцидентов производительности; Внедрение и развитие практик Data Quality; Проведение код-ревью; Поддержка legacy-стека в части нестандартных или критичных кейсов. Что мы ожидаем: 1. Глубокая инженерная экспертиза.- 5+ лет опыта в Data Engineering;- Продвинутый опыт работы со Spark (batch и streaming);- Практический опыт построения streaming-обработки (Spark Streaming или Flink);- Отличное знание SQL и опыт оптимизации под большие объёмы данных;- Опыт работы с Kafka;- Уверенное владение Python (включая PySpark). 2. Работа с распределёнными системами.- Опыт работы с distributed storage (HDFS, S3 или аналоги);- Понимание принципов Data Lake / Lakehouse;- Опыт проектирования таблиц под большие объёмы данных (partitioning, compaction, storage layout);- Опыт работы с Iceberg / Delta Lake или понимание их принципов. 3. Миграция и модернизация платформ.- Опыт участия в миграции или модернизации хранилища данных;- Понимание рисков и подходов к поэтапной миграции без остановки продакшена;- Опыт работы с legacy-системами (Hadoop / Hive) и их оптимизации. 4. Производительность и надёжность.- Опыт оптимизации Spark-job’ов;- Понимание причин деградации производительности в distributed-среде;- Опыт работы с highload-потоками;- Опыт внедрения и поддержки Data Quality механизмов;- Понимание SLA витрин и требований к near-real-time обработке. 5. Техническое лидерство (execution-level).- Опыт проектирования сложных пайплайнов;- Опыт код-ревью;- Способность самостоятельно принимать технические решения в рамках архитектуры;- Умение декомпозировать сложные инженерные задачи. Будет плюсом: Опыт работы с Trino / Presto; Опыт работы с ClickHouse; Опыт работы с Kubernetes; Понимание практик Infrastructure as Code; Опыт работы с GitOps (Argo CD); Понимание различных моделей данных (Star/Snowflake, Data Vault, Anchor Modeling). Условия работы: Работа в аккредитованной IT компании; Трудоустройство в соответствии с ТК РФ; Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью); График работы: 5/2; Возможность работать удаленно; Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская); И плюшки ниже :) ↴