Data Engineer (МТС Медиа, КИОН)
МТСОписание
КИОН это часть цифровой экосистемы МТС. Мы создаем оригинальный развлекательный контент развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. В пуле originals онлайн-кинотеатра KION такие известные кино-сериальные проекты как Хрустальный , Почка , Пингвины моей мамы , Секреты семейной жизни , Дуров , Клиника счастья и многие другие.
Описание проекта и команды:
Отдел платформеных данных занимается внедрение lakehouse нового поколения,в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.
Чем предстоит заниматься:
-
Разработка и рефакторинг ETL/ELT пайплайнов на pyspark;
-
Разработка и поддержка OLAP движков Starrocks/Clickhouse;
-
Поддержка текущих пайплайнов на Greenplum и Hadoop;
-
Миграция с HDFS на S3;
-
Оптимизация Spark-приложений;
-
Опыт работы с Python от 3 лет;
-
Глубокое знание SQL и опыт работы с большими данными;
-
Опыт работы с Apache Airflow
-
Опыт проектирования и разработки ETL/ELT процессов;
-
Опыт работы с колоночными БД (ClickHouse);
-
Знание принципов построения Data Warehouse и Data Lake;
-
Понимание разницы между OLTP/OLAP системами;
-
Уверенная работа c linux и git;
-
Понимание процессов ci/cd;
- Оклад + годовой бонус.
- Программа ДМС с первого месяца работы - это 100% покрытие расходов в частных клиниках, включая стоматологию. Застраховать близких родственников можно со скидкой 50%. Для любителей путешествий - страховка в поездках за границу. А еще есть страхование жизни.
- Очное и онлайн-обучение в Корпоративном университете, у внешних провайдеров, если это полезно для работы, обмен опытом во внутренних профессиональных сообществах, а также доступ к онлайн-библиотеке в полезными книгами и периодикой.
- Оплачиваемые выходные на значимые события в жизни сотрудника.
- Материальная помощь в сложных жизненных ситуациях.
- Корпоративная мобильная связь + интернет, а так же единая подписка МТС Premium (онлайн кинотеатр KION, сервис МТС Music, МТС Строки и т.д.)
- Предложения от партнёров для путешествий, развлечений и занятий спортом.
- Возможность участия в волонтерских программах: мы организуем благотворительные ярмарки, образовательные проекты для детей, конкурсы социальных проектов и экологические проекты.
- Внутренняя спортивная программа В движении : забеги, марафоны, турниры по разным видам спорта, медитации и занятия на баланс