Аналитик данных (дата инженер)
OzonОписание
Мы - команда аналитики маркетплейса. Каждый день мы обрабатываем сотни терабайт данных для проведения исследований, АВ-экспериментов, обучения ML-моделей и построения отчетности. Ищем в команду опытного инженера данных, который сможет усилить нашу экспертизу в построении ETL и хранилищ данных, а так же настройке кластеров для достижения максимального перфоманса.
Вам предстоит:
- Погружаться в данные, их природу, качество и способ поставки;
- Взаимодействовать от лица команды с платформой данных для организации транспорта и интеграций;
- Отвечать за качество данных, на основании которых формируется ключевая отчетность направления;
- Изучать и транслировать команде аналитики лучшие практики работы с данными;
- Разрабатывать платформенные решение для работы с качеством ml-моделей;
- Сопровождать проекты оптимизации ручного труда аналитиков с потенциалом поработать с AI-driven решениями.
Мы ожидаем:
-
Понимание особенностей работы распределенных систем вычислений;
-
Опыт написания ETL и DDL для Clickhouse;
-
Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark);
-
Опыт разработки пайплайнов на Airflow;
-
Понимание концепции якорной модели DWH будет преимуществом;
-
Опыт проектирования безопасных решений на основе Apache Iceberg будет являться плюсом;
-
Опыт написания и оптимизации ETL на Vertica и Trino будет преимуществом.