Data Engineer
Описание
Мы - MAREE, международный косметический бренд и бестселлер на Amazon. Наши продукты уже покорили сердца более 1 000 000 девушек в США, и мы продолжаем активно расти. Мы родом из СНГ, но работаем в первую очередь с рынком США (Amazon и другие площадки), а команда распределена по миру: СНГ, Европа и Азия. Мы быстро тестируем гипотезы, много экспериментируем с продуктами и упаковкой и ценим людей, которые любят скорость, системность и ответственность. Мы ожидаем, что вы Владеете Python на уровне написания коннекторов к внешним API Обладаете опытом работы с dbt на уровне разработки моделей, тестов и инкрементальных материализаций Владеете SQL на уровне сложных аналитических запросов и чтения плана выполнения Понимаете основные подходы и концепции построения DWH (Kimball, Data Vault) Понимаете процессы Data Quality и Data Governance Знакомы с принципами обработки данных (ETL, ELT, Batch, Streaming) Будет здорово, если вы Работали с self-hosted инфраструктурой Знакомы с IaC (Terraform) и Kubernetes Задачи Разрабатывать и поддерживать коннекторы к источникам данных Подключать новые источники: анализировать документацию API, учитывать лимиты и квоты, пагинацию и аутентификацию; проектировать структуру сырого слоя и контракт с потребителями данных Поддерживать инфраструктуру платформы: конфигурации окружений, управление секретами Настраивать мониторинг и алертинг сервисов платформы Ожидания по результатам 3 месяца - самостоятельно поддерживаете существующие пайплайны, подключили минимум один новый источник 6 месяцев - проектируете загрузки с нуля, предлагаете схему контрактов, настроили мониторинг и DQ-проверки по своим пайплайнам 12 месяцев - стали точкой входа по вопросам загрузки данных, участвуете в архитектурных решениях, проводите код-ревью Условия Возможность реализовать свои идеи в одной из самых успешных e-commerce команд СНГ; 100% удаленная работа из любой точки мира; Стабильная высокая заработная плата; Возможность в дальнейшем расти и развиваться в компании; Возможность поучаствовать в построении архитектуры современной data платформы; Мы поощряем использование open source продуктов, а не вендорских решений.