Разработчик ХД/Data Engineer (middle+/senior)
Описание
Rapporto – одна из крупнейших IT-компаний на рынке телекоммуникаций. Более 17 лет мы обслуживаем B2B-рынок. Наши продукты позволяют компаниям ежедневно общаться со своими клиентами через различные каналы коммуникаций: push-уведомления, мессенджеры, SMS-сообщения, IVR и другие. Среди клиентов: ВкусВилл, ЦУМ, Лэтуаль, Боксберри, Л’Окситан, ОТП Банк, Райффайзенбанк и другие. Нас 200 человек, у нас нет лишней бюрократии, работы ради галочки или микроменеджмента. Зато есть много сложных и интересных задач, быстрое принятие решений, а главное – у нас есть отличная команда! Чем предстоит заниматься в нашей команде: 1. Разработка и оптимизация сложных SQL-запросов: написание эффективных, масштабируемых и поддерживаемых запросов на SQL и PL/pgSQL для аналитических и операционных задач; диагностика и устранение узких мест в производительности: анализ планов выполнения (EXPLAIN ANALYZE), оптимизация JOIN-ов, агрегаций, подзапросов; работа с оконными функциями, рекурсивными CTE, материализованными представлениями, партиционированием. 2. Глубокая работа с СУБД: понимание архитектуры PostgreSQL: MVCC, WAL, vacuum, индексы (B-tree, GIN, GiST, BRIN), блокировки, транзакции, isolation levels; понимание архитектуры ClickHouse: движки таблиц (MergeTree, ReplicatedMergeTree), партиционирование, сэмплирование, движки агрегации, колоночная модель, векторизованные вычисления; настройка параметров СУБД для баланса между производительностью, надёжностью и ресурсопотреблением; мониторинг и тюнинг производительности на уровне СУБД. 3. Проектирование и развитие структуры баз данных разработка схем данных: нормализация/денормализация, выбор типов данных, проектирование первичных и внешних ключей; проектирование масштабируемых и отказоустойчивых решений (репликация, шардирование в ClickHouse); построение и поддержка Data Warehouse (DWH). 5. Интеграция с инструментами оркестрации и обработки использование Apache Airflow (или аналогов) для оркестрации DAG-ов: написание, тестирование, мониторинг задач; написание ETL-скриптов на Python (например, с использованием pandas, SQLAlchemy, clickhouse-driver, psycopg2). Что хотим видеть в Вас: 1.Экспертный SQL: свободное владение сложными запросами, CTE, оконными функциями, агрегациями; опыт написания и отладки PL/pgSQL (функции, триггеры, хранимые процедуры). 2. Глубокое понимание СУБД: PostgreSQL: архитектура, индексы, транзакции, репликация, vacuum, настройка производительности; ClickHouse: движки таблиц, колоночная модель, материализованные представления, оптимизация запросов под агрегации. 3. Опыт проектирования БД: умение проектировать как OLTP, так и OLAP-структуры; понимание компромиссов между нормализацией и производительностью. 4. Понимание архитектуры DWH: знание слоёв DWH, подходов к моделированию; опыт работы с измерениями и фактами. 5. Практический опыт ETL/ELT: реализация пайплайнов загрузки данных в продакшне; работа с инкрементальной загрузкой, обработка дублей, обновление исторических данных. Будет плюсом: 6. Apache Airflow: написание DAG-ов, работа с операторами, сенсорами, XCom, pools, retries. настройка и поддержка Airflow-кластера (опционально); 7. Python: умение писать скрипты для обработки данных, интеграции с API, автоматизации; знание библиотек: pandas, requests, pydantic, logging, асинхронность (при необходимости). 8. Инфраструктурные навыки: базовое понимание Docker, Linux, мониторинга (Prometheus/Grafana), CI/CD. Мы предлагаем: График работы: 5/2, удаленный формат работы на территории РФпо мск времени с 9.00 или 10.00ч; Работу в аккредитованной IT-компании, оформление по ТК; ДМС со стоматологией и психологом после ИС; Дружную команду профессионалов: ценим юмор, проводим крутые корпоративы, организовываем мастер-классы, квизы и другие мероприятия для неформального общения с коллегами; Наставничество со стороны руководства и поддержка коллег.