Data Engineer/Дата-инженер
Описание
Компания Zolla – крупная федеральная сеть магазинов мужской и женской одежды в связи с расширением отдела ищет себе в команду Data Engineer/Дата-инженера. ЗАДАЧИ, КОТОРЫЕ ПРЕДСТОИТ РЕШАТЬ: Разработка и поддержка ETL/ELT-пайплайнов для выгрузки данных из API внешних площадок (маркетплейсы, сервисы погоды, и прочие сервисы) в хранилище (MSSQL, PostgreSQL, ClickHouse); Оркестрация процессов с помощью Apache Airflow: миграция существующих cron-скриптов в управляемые DAG-и, настройка зависимостей, мониторинг и перезапуск процессов; Оптимизация производительности SQL-запросов и хранимых процедур: настройка индексов, партиционирование, анализ планов выполнения; Поддержка и в будущем миграция OLAP-кубов на базе Microsoft Analysis Services (SSAS Tabular) в DWH хранилище; Подготовка витрин данных для аналитиков и BI-систем: проектирование схем, наполнение данными, контроль качества; Настройка и сопровождение инфраструктуры для аналитиков: Jupyter Notebook/JupyterHub, обеспечение быстрого доступа к данным; Мониторинг состояния пайплайнов и отправка уведомлений (в различные каналы) о статусе выполнения задач. НАШИ ОЖИДАНИЯ: Высшее, неоконченное высшее образование; Опыт коммерческой разработки ETL-процессов от 2-х лет; Уверенное знание SQL (сложные запросы с оконными функциями, CTE, оптимизация, хранимые процедуры, триггеры); Опыт работы с реляционными СУБД: MSSQL, PostgreSQL (администрирование на уровне запросов, настройка производительности); Практический опыт разработки на Python: написание ETL-скриптов с использованием pandas, SQLAlchemy, requests; интеграция с REST API; Опыт оркестрации процессов: Apache Airflow (понимание архитектуры DAG, Operators, Scheduler, настройка подключений); Навыки работы с BI-инструментами на уровне подключения и оптимизации датасетов (Yandex DataLens: подключение к БД, создание датасетов, оптимизация производительности запросов); Понимание жизненного цикла данных, принципов построения DWH (схемы «звезда», «снежинка», медленно меняющиеся измерения); Опыт работы с Git (GitLab) и командной разработкой (Code Review, CI/CD); Ответственность, проактивность, умение работать как самостоятельно, так и в команде с аналитиками и разработчиками. Будет плюсом Опыт работы с ClickHouse (знание движков таблиц, оптимизация запросов, распределённые таблицы); Опыт администрирования JupyterHub в Docker-контейнерах; Опыт работы с NoSQL-базами (MongoDB); Понимание архитектуры потоковой обработки данных (Kafka, RabbitMQ). МЫ ПРЕДЛАГАЕМ: Работу удаленно или в комфортабельном и уютном офисе в БЦ Кунцево Плаза в 5 минутах пешком от м. Молодежная; График работы 5/2 (гибкое начало рабочего дня); Оформление в соответствии с ТК РФ, официальную заработную плату (выплата 2 раза в месяц), оплачиваемый больничный лист, оплачиваемый отпуск 28 календарных дней; ДМС включая стоматологию (условия в зависимости от стажа работы); Дисконтную карту на продукцию компании, участие в распродажах в офисе; Корпоративные скидки на фитнес; Реальные перспективы профессионального и карьерного роста; А еще уютные лаундж-зоны, технологичные переговорные, просторные кухни и вкусный капучино.