Руководитель группы разработки Go, платформа сверок
Описание
Привет! Это команда платформы сверок. Мы развиваем платформу, которая помогает проверять целостность данных в разных системах и убеждаться, что данные, которые одна система передаёт другой, не изменились по пути. Сейчас платформа используется в том числе для SOX-аудита и постепенно развивается в универсальный инструмент для контроля качества данных. Мы работаем с большими объёмами данных и развиваем несколько сервисов вокруг аналитического контура Ozon. Среди них — инструменты для управления репликациями между базами данных, прокси для Vertica и сервисы квотирования ресурсов Trino. Сейчас Trino становится целевой аналитической базой вместо Vertica, поэтому предстоит много задач по развитию платформы и миграции существующих процессов. Ищем технического лидера, который будет совмещать разработку с развитием команды и продуктов. Около 70% времени — инженерные задачи: написание и ревью кода, проектирование решений, развитие технического бэклога. Около 30% — планирование, синхронизация команды и развитие процессов. Наш стек Go, Python, Vertica, Trino, ClickHouse, Hadoop, Kafka, Kubernetes, Prometheus, Grafana, GitLab CI/CD, Git. Вы будете Развивать платформу сверок и связанные с ней сервисы для контроля целостности и качества данных. Проектировать и реализовывать сервисы для работы с большими объёмами данных, в том числе инструменты управления репликациями между Vertica и Trino. Писать и ревьюить код на Go, принимать технические решения и развивать архитектуру сервисов. Планировать развитие продуктов и формировать технический бэклог команды. Взаимодействовать со смежными командами, разбирать технические проблемы и развивать процессы эксплуатации платформы. Примеры задач Развивать оркестраторы, которые запускают задачи по сравнению и репликации данных между Vertica и Trino. Участвовать в переходе аналитических процессов с Vertica на Trino и адаптировать под него существующие инструменты. Развивать прокси и сервисы квотирования, которые управляют доступом сервисов к ресурсам аналитического контура. Проектировать способы физического сравнения больших объёмов данных между источником и приёмником, учитывая особенности конкретных баз данных. Разбирать проблемы производительности и надёжности сервисов, работать с метриками, логами и мониторингом. Нам важно Опыт коммерческой разработки на Go. Опыт работы с большими объёмами данных и распределёнными системами. Опыт работы с аналитическими или OLAP-базами данных. Опыт работы с Kubernetes. Понимание принципов работы PostgreSQL и SQL. Опыт технического лидерства: проектирование решений, code review, планирование технического развития или координация работы инженеров. Будет плюсом Опыт работы с Trino, Vertica, ClickHouse, Hadoop или Greenplum. Опыт работы с Kafka, Prometheus и Grafana. Опыт разработки инструментов для data quality, аудита данных или репликации.