Data Engineer, ок, Москва

Описание

Компания: VK
Задачи
-Построение новых и оптимизация старых ETL-процессов
-Участие в доработках платформы и фреймворка расчётов (Java, Spark)
-Разработка новых витрин данных для задач аналитики и A/B-экспериментов
-Разработка отчётов в SuperSet

Требования
-Опыт работы с SQL и большими объёмами данных
-Опыт построения сложных ETL-процессов
-Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки
-Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
-Опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow