Data Engineer

Описание

Проект для крупной компании в телеком секторе! Команда ведет развитие сервисов внутренней платформы, что включает создание новых функций и улучшение существующих инструментов для повышения эффективности внутренних процессов организации. Постоянное обновление и модернизация платформ способствует адаптации бизнеса к современным требованиям рынка и улучшению взаимодействия между подразделениями компании. Мы ищем Data Engineer к нам в команду!

Твои задачи:

• Разрабатывать ETL-процессы на базе прототипов и технических требований
• Изменять существующие ETL-процессы согласно меняющимся бизнес-требованиям
• Продуктивизировать код и DQ-проверки, ставить их на регламент, контролировать работу ETL-процессов
• Оптимизировать и проводить рефакторинг кода на уровне запросов и конфигураций (SQL/Python/Spark/HDFS)
• Взаимодействовать с системными аналитиками, инженерами данных, второй линией поддержки, DevOps и другими смежными подразделениями
• Оперативно решать инциденты на уровне третьей линии поддержки
• Работать с централизованным OLAP-хранилищем (Hadoop) и слоем репликации витрин данных (Greenplum). Также предусматривает работу с PostgreSQL, Teradata, Clickhouse и другими БД

Что мы ждем от тебя:

• Опыт работы с StarRocks
• Опыт работы с Iceberg
• Хорошие навыки владения SQL
• Опыт работы с Python
• Навыки работы с Hadoop, HDFS, HIVE, Spark
• Опыт работы с Airflow
• Опыт работы с Linux CLI
• Навыки работы с Greenplum или другая MPP-Database
• Навыки работы с YAML-нотация

Что мы обеспечиваем:

• Работа в гибкой методологии разработки
• Возможность расширить свою экспертизу, используя современный стек технологий
• Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
• Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
• Сообщества по интересам: Лига Спорта, Лига Интеллекта, Лига Шахмат, CyberЛига, ЛигаPerformance, Лига Добра, Лига Кошатников, а также возможность организовать свое сообщество и получить поддержку от компании
• Корпоративная культура со своими ценностями и традициями, в которой каждый человек чувствует себя частью команды
• Новая техника для комфортной работы