Senior Data Engineer в MAX
Описание
Создаём единую коммуникационную платформу, которая станет универсальным решением для всех платформ группы по общению пользователей. Задачи Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разрабатывать DAG для автоматизации) Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений Требования Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов Умеете проектировать DWH: слои, модели хранения данных, процессы ETL Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse Использовали Airflow, Luigi или другой оркестратор Умеете выбирать технологии для решения конкретных задач Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными Эффективно общаетесь с людьми, находите общий язык с разными специалистами