Big Data Engineer

Описание

Мы в поиске Инженера по работе с большими данными в команду дата-инжиниринга, который будет участвовать в ключевых проектах Lamoda, обеспечивая стабильную и масштабируемую инфраструктуру для обработки и анализа данных.

В рамках этой роли вы будете решать задачи продуктового направления навигации , которое:

• Развивает поиск, каталог, саджесты, ранжирование товаров и AI-инструменты навигации.

• Улучшает качество поиска и навигации через аналитику, работу с поисковыми запросами и ML-модели (DL, NLP, CV).

• Обеспечивает эффективную интеграцию алгоритмов с продуктовым дизайном.

• Реализует data-driven инициативы, помогая пользователю быстрее находить нужные товары и информацию.

Чем предстоит заниматься:

• Разрабатывать и развивать платформу данных электронной коммерции нового поколения;

• Проектировать и реализовывать ETL-пайплайны в Airflow для Spark, Streaming, Hive, Trino;

• Оптимизировать существующие пайплайны и Spark-джобы: следить за нагрузкой на кластер, ресурсами и производительностью;

• Взаимодействовать с аналитиками и ML-инженерами, оптимизировать SQL-запросы, развивать культуру осознанной работы с данными;

• Развивать Action Storage слой событий кликстрима, используемый в аналитике и моделях;

• Анализировать и внедрять новые инструменты для эффективной работы с данными.

Мы ожидаем:

• Опыт работы со стеком Hadoop (YARN, HDFS, Hive);

• Уверенные навыки в Spark;

• Опыт разработки на Python;

• Отличное понимание SQL и принципов работы с СУБД;

• Инженерный подход, интерес к системам данных и внимание к деталям.

Будет плюсом:

• Опыт с Docker;

• Знакомство с Kafka, Iceberg.