Data Engineer (Москва)
Описание
Основные требования:SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности);Cтек технологий Big Data (Hadoop, Spark, Hive/Impala) и любой СУБД;Знание понятий и концепций DWH;Python (PySpark, Pandas, NumPy, REST API);Airflow/Dagster/Oozie;BitBucket\Git;Bash;Внимательность к деталям, аналитические навыки, коммуникационные навыки, ответственность. Будет плюсом:Опыт работы с веб-аналитическими данными, данными мобильных приложений, рекламных кабинетов (YandexMetrica, AppMetrica или др. кликстримы);Опыт работы с разметкой сайта через GoogleTagManager, базовые знания HTML, JavaScript;Знание банковского бизнеса;Опыт работы по Agile (SCRUM, Kanban, и т.д.); Обязанности:Загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы Hadoop);Проектирование и разработка аналитических витрин данных;Проектирование и разработка коннекторов для ETL процессов;Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин;Разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных;Разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных. Условия:Возможность профессионального и карьерного роста в компании;Возможность поучаствовать в разных проектах;Опыт работы в распределенной команде профессионалов;Уровень заработной платы обсуждается индивидуально;Формат работы: Офис в г. Москва.