Data Engineer

Описание

Bell Integrator аккредитованная ИТ-компания и являемся частью большой семьи ГК Softline.
Bell Integrator активно реализует проекты по всей России, среди наших заказчиков крупнейшие системообразующие финансовые, телеком и ритейл компании страны.

Проект:
Развитие сервисов платформы MWS Data
MWS Data платформа, предоставляющая пользователям современные инструменты для потребления, хранения, преобразования и визуализации данных в соответствии с практиками DataOps.

Требования:
Опыт работы 3 года
Технический стек:
StarRocks
Iceberg
SQL
Python
Hadoop
HDFS
HIVE
Spark
Airflow
Linux CLI
Greenplum или другая MPP-Database
YAML-нотация

Обязанности:

Разработка ETL-процессов на базе прототипов и технических требований;

- Изменение существующих ETL-процессов, согласно меняющимся бизнес-требованиям;

- Продуктивизация кода, DQ-проверок, постановка на регламент, контроль работы ETL-процессов;

- Оптимизация и рефакторинг кода на уровне запросов и конфигураций (SQL/Python/Spark/HDFS);

- Взаимодействие с Системными аналитиками, Инженерами данных, Второй линией поддержки, DevOps, другими смежными подразделениями;

- Оперативное решение инцидентов на уровне третьей линии поддержки;

- Работа с Централизованным OLAP-хранилищем (Hadoop) и слоем репликации витрин данных (Greenplum). Также возможна работа с PostgreSQL, Teradata, Clickhouse и другими БД.

Условия:
Возможность профессионального и карьерного роста в компании
Возможность поучаствовать в разных проектах;
Опыт работы в распределенной команде профессионалов;
Уровень заработной платы обсуждается индивидуально;
Удаленный формат работы в локации РФ