Data Engineer
Описание
В ноябре переезжаем в новый офис в Сколково. Сейчас работаем на Соколе - пожалуйста, учитывайте это при отклике на вакансию. RUTUBE — крупнейшая российская видеоплатформа с 15 млн DAU и 80 млн MAU. Мы строим новую рекламную платформу, будущего лидера на рынке видеорекламы.Мы ищем мидл продукт-менеджера, который усилит команду и поможет нам развивать рекламные продукты Rutube: от рекламного кабинета до алгоритмов показа и повышения монетизации. Тебе предстоит: Построение ETL-пайплайнов (Spark на Scala, Trino, DBT); Разработка ETL-инструментов для обработки данных (Scala, Python); Разработка внутренних API-сервисов (Python); Техническое сопровождение платформы данных. Мы ожидаем: Уверенное владение Python; Уверенные знания SQL (оконные функции, оптимизация запросов); Глубокое знание Apache Spark (Python/Scala); Опыт работы с S3 и понимание, чем оно отличается от распределенной файловой системы (HDFS); Опыт работы с форматами файлов: Parquet, ORC, AVRO - в чем различия, какой тип для какой задачи лучше подходит; Опыт работы с Kafka, Spark Streaming / Kafka Streams - понимание проблем в NRT-процессах и методы их решения; Опыт работы с табличными форматами Apache Iceberg / Hudi / Delta Lake; Опыт работы c Docker, K8s; Опыт работы с Airflow; Понимание принципов параллельной обработки данных, какие могут быть сложности и как они решаются; Умение находить "узкие" места в ETL-процессах и оптимизировать их; Понимание концепции хранилища DWH - какие слои выделяют и для чего + понимание концепции DataLakeHouse. Преимуществом будет:- Знание Scala или другого Java-подобного языка- Опыт работы с MPP системами (GreenPlum / Hadoop / StarRocks)- Опыт работы с DBT (Data Build Tool) Работать у нас комфортно: Офис, где приятно быть— Уютное пространство с зонами коворкинга — выбирай, где работать Здоровье под защитой— ДМС (стоматология включена)— Врач прямо в офисе Вкусно и бесплатно— Фреш-бар от Novikov Group— Кофе, чай, фрукты, снэки — каждый день Отдых без компромиссов— Обеденные зоны с настолками и массажными креслами Yamaguchi Оформление по ТК РФ— Всё официально