Data Engineer (PostgreSQL, ClickHouse, Trino)

Описание

thevisa.com продукт о визах и путешествиях. У нас есть сайты, интеграции с партнёрами и CRM, поэтому данных много и они приходят со всех сторон.
Нам нужен Data Engineer , который приручит эти данные и обезвредит кучу API , Airbyte, ClickHouse и Trino так, чтобы бизнес видел цифры, а не звёздочки в глазах.

Чем предстоит заниматься

- Проектировать и развивать хранилище данных: PostgreSQL (операционные/ODS данные) + ClickHouse (аналитика, витрины, отчёты).

- Настраивать и стабилизировать загрузки из кучи API (включая Bitrix24 CRM, партнёрские и продуктовые сервисы): ELT/ETL, инкремент, дедупликации, SLA на пайплайны.

- Приручить Airbyte: довести до продакшн-состояния (стабильность, ретраи, алерты) и/или написать кастомные коннекторы; сравнить с альтернативами и предложить план миграции при необходимости.

- Развернуть и обкатать Trino как единый слой запросов (federated SQL), настроить каталоги, безопасность, ресурсные группы.

- Оптимизировать ClickHouse: партиционирование, первичные/скученные ключи, TTL, материализованные представления, агрегирующие таблицы, компрессия.

- Спроектировать модель данных (слои raw staging marts), договориться о схемах именования, версионировании и SLA/SLI по данным.

- Настроить мониторинг и качество данных: алерты, проверки полноты/свежести, DQ тесты, техдолг-борд.

- Совместно с аналитиками и продуктом выпускать надёжные витрины/дашборды и отчёты.

Требования

- 3+ года опыта в Data Engineering или близких ролях.

- Сильный SQL: сложные запросы, оконные функции, оптимизация планов.

- Опыт продакшн эксплуатации ClickHouse: партиционирование, TTL, MV, агрегирующие таблицы, профайлинг запросов.

- Уверенный PostgreSQL: индексы, планировщик, репликация/бэкапы на уровне понимания, CDC как плюс.

- Реальная интеграция с живыми API: инкрементальные выгрузки, лимиты/квоты, ретраи, идемпотентность.

- Trino/Presto: базовая админка и тюнинг (или быстрый апскилл под менторством, если остальное закрываете сильно).

- Python для коннекторов/утилит и работы с API.

Будет плюсом

- dbt (моделирование и тесты), Airflow/Prefect/Orchest как оркестратор.

- Уверенное пользование linux, ssh, bash

- Kafka/Debezium/CDC подходы, очереди и событийная архитектура.

- Опыт с Bitrix24 API и/или CRM системами.

- Опыт выбора и миграции между Airbyte/Meltano/Fivetran/Hevo и т.п.

- Облака (Yandex Cloud/AWS/GCP), Terraform/Ansible, мониторинг (Prometheus/Grafana).

Формат работы и условия

- Формат работы - удаленный

- График: гибкий, синхронизации по договорённости.

- Конкурентная заработная плата

- Крутая команда

Почему это интересно

- Сильно повлияете на архитектуру данных: решения коротким путём, минимум бюрократии.

- Реальные, не книжные задачи: нестабильные источники, рост трафика, меняющиеся API.

- Можно и нужно спорить с Airbyte а если не выйдет, смело выбирать замену.