Data Platform Engineer
Описание
Компания "Retail Expert" - поставщик данных о ритейле, который берет на себя не только сбор, структурирование и подготовку информации к анализу, но и сам анализ. Мы специализируемся в IT разработках и продаже аналитики, исследований и консалтинга для ТОПов FMCG уже более 10 лет. Наша миссия — обеспечить нашим клиентам максимально точное определение настоящего и планирование их будущего. Наши эксперты всегда идут в ногу со временем и используют в своей работе передовые технологии, чтобы обеспечить сервис высокого уровня быстро, качественно и эффективно. В данный момент, в связи с расширением штата и увеличением объема работы мы находимся в поисках Data Platform Engineer, который совмещает data engineering, backend и platform: проектирует архитектуру, развивает ETL и Python-проекты, поддерживает сервисы и инфраструктуру - от MSSQL и Airflow до Docker/Kubernetes и мониторинга. Чем предстоит заниматься: Проектирование и создание баз данных на MSSQL Разработка и поддержка ETL/ELT-пайплайнов на Apache Airflow и PySpark Работа с S3-хранилищем и файлами Parquet, организация Data Lake Использование Apache Iceberg и Trino для аналитики по данным Доработка и улучшение backend-сервисов на FastAPI Рефакторинг существующих Python-проектов компании Настройка Elasticsearch для поиска и аналитики Потоковая передача данных через Kafka Автоматизация процессов в n8n Контейнеризация и оркестрация сервисов: Docker, Kubernetes Настройка CI/CD и мониторинга (Prometheus, Grafana, Zabbix, Netdata или аналоги) Проектирование архитектуры: схемы данных, пайплайнов, интеграций Требования Hard skills: Python (продвинутый): pandas, Polars, PySpark, FastAPI SQL / MSSQL / PG - проектирование БД, оптимизация запросов Apache Airflow - разработка и поддержка DAG-ов PySpark - трансформация и агрегация данных ETL/ELT: слои Raw → Staging → Data Marts, инкрементальная загрузка S3, Parquet, Iceberg, Trino FastAPI - доработка и рефакторинг API-сервисов Elasticsearch - индексы, маппинги, поиск Kafka, n8n Docker / Kubernetes - контейнеризация, деплой и оркестрация сервисов Инфраструктура - Windows и Linux. CI/CD (GitLab CI, GitHub Actions, Jenkins) Мониторинг и алертинг серверов и сервисов Soft skills: Архитектурное мышление: проектирование решений от схемы данных до интеграций Системный взгляд на инфраструктуру и пайплайны Умение рефакторить Python-код без риска для продакшена Самостоятельность в технических решениях Документирование архитектуры для команды Будет плюсом: Redis, MinIO, PostgreSQL, ClickHouse Pydantic, Celery, Alembic / SQLAlchemy dbt, Great Expectations - контроль качества данных Nginx, RabbitMQ Опыт с LLM-инструментами в разработке Мы предлагаем: Работу с современным data-стеком Офис на м. Бутырская Официальное трудоустройство Конкурентную зарплату по итогам собеседования