Junior Data Engineer

Описание

Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению моделей в сервисы, оптимизации запросов, а также сможет выстроить процесс код ревью, CI\CD Pipeline. Наш стек: MPP (Vertica, ClickHouse), Python+ Airflow, Hive, PySpark. Вам предстоит: Работать со слоями данных RAW, ODD, DDS: создавать их и развивать; Проектирование и разработка витрин данных для анализа и моделирования; Оптимизация процессов ETL, система мониторинга обновления витрин и источников данных; Изучение способов повышения качества и надёжности данных; Предоставление экспертной поддержки по оптимизации обработки данных на клиенте: Jupyter + Python; Поддержка и развитие базы знаний. Мы ожидаем: Отлично знаешь SQL, знаком с Vertica, Clickhouse, владеешь концепцией DWH; Умеешь программировать на Python; Знаком с командной строкой Unix-систем; Есть опыт работы с BI-инструментами: в идеале Superset, но опыт с другими BI тоже подойдет, если ты готов осваивать новый инструмент; Работал с Airflow, Hadoop, Spark (Pyspark), Gitlab; Хорошо представляешь, как работает e-com; Способен взять ответственность свое направление и готов к самостоятельному решению задач с большой степенью неопределенности.