Ведущий разработчик по работе с данными
Описание
«Детмир Тех» — команда, развивающая цифровую экосистему группы компаний «Детский мир». Делаем продукты для миллионов клиентов и сервисы, которые помогают бизнесу работать быстрее. Нашему будущему коллеге предстоит работать над развитием Big Data Platform (hadoop + tooling in k8s) , которое является основным источником данных для всей группы компаний. Мы ищем эксперта с высокой ролью ответственности, умеющего самостоятельно и в команде принимать решение по архитектуре и реализации. Чем предстоит заниматься: Проектирование, разработка и поддержка витрины данных Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами Автоматизация процессов обновления данных Разработка правил и процедур контроля качества данных Помогать коллегам DA и DS Техническая поддержка наших инструментов Разворачивание helm chart Сборка docker образов Продуктивизация моделей машинного обучения от команды DS Что ожидаем от вас: Знания SQL Понимание жизненного цикла разработки ПО, культуры CI/CD Опыт создания и оптимизации Spark batch jobs Опыт разработки на Java (kotlin) Spring Service опыт работы с Airflow, умение создавать DAG'и, состоящие из Task и Sensor Отличное понимание устройства и принципов проектирования БД Опыт участия в проектах построения DWH и Data Lake в роли ETL-разработчика – от 3 лет Умение писать чистый поддерживаемый код и техническую документацию Опыт работы с Docker Будет плюсом: Понимание технологий DevOps, опыт работы с CI/CD-инструментами. Опыт работы с Hadoop Опыт работы с Kubernetes Опыт работы с современными брокерами и очередями сообщений Опыт работы с Nifi Математическое\инженерное образование Наш стек: последние версии Apache Spark (scala) и Apache Airflow Zeppelin Hadoop 3 Kafka Docker, Kubernetes GitLab для CI/CD Мы предлагаем: Официальное оформление в соответствии с ТК РФ в IT-аккредитованную компанию; Совокупный доход: оклад + годовой бонус; График работы: 5/2 (гибридный формат работы); Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается; Техника для работы; Полис ДМС; Программа Best Benefits; Внутреннее обучение; Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании. Присоединяйтесь к нам и станьте частью истории бренда с историей!