Data Engineer (команда RecSys)

Описание

Ищем Data Engineer в направление рекомендаций, который будет совместно с нами строить пайплайны и развивать платформу данных. В нашей команде коллеги быстро растут и получают опыт в разных задачах от классического ETL для аналитических витрин до потоковой обработки в реальном времени для ML.

В Okko хорошо развиты data-driven процессы: большое количество A/B экспериментов, источников и витрин делает работу Data Engineer особенно важной. Здесь ваш вклад реально виден: коллеги ценят результаты вашей работы, а ваши решения напрямую влияют на качество аналитики и эффективность ML-моделей.

В команде рекомендаций сейчас два Data Engineer, и мы ищем коллег, чтобы поддерживать текущий ритм разработки, а также развивать потоковую обработку данных и функциональность feature store.

Что предстоит делать:

• поддержка и разработка batch ETL-пайплайнов на Airflow для аналитических витрин и ML;

• потоковая обработка данных с использованием Spark Streaming , Kafka , MongoDB ;

• развитие feature store как инструмента, наполнение его фичами и интеграция данных для ML-моделей;

• документирование , оптимизация и мониторинг пайплайнов и потоков данных.

Наш стек:

• ClickHouse
• Airflow
• Spark (Spark Streaming, PySpark, Spark SQL)
• Kafka
• MongoDB
• Hive
• S3
• DataHub

Требования:

• уверенное знание Python и SQL;

• опыт построения ETL-процессов с использованием перечисленного стека;

• будет плюсом: опыт работы с CI/CD, Docker, Grafana, базовые знания в области ML (обучение и инференс моделей, работа с feature store).

Условия:

• работа в сильной команде, состоящей из топовых аналитиков, аналитиков-разработчиков и инженеров;
• работа организована по Scrum с двухнедельными спринтами, а перфоманс-ревью проводится каждые полгода;
• топовое оборудование и весь необходимый софт;
• официальное трудоустройство;
• ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки;
• льготные условия ипотеки в рамках зарплатного проекта;
• бесплатная подписка на сервисы партнеров;
• насыщенная корпоративная жизнь.