Go-разработчик в команду разработки OneDWH
Описание
Мы — команда разработки OneDWH, единого DWH для всей компании. Он приходит на смену разрозненным решениям, которые команды строили каждая под себя: вместо множества обособленных хранилищ — одно общее. Данные живут в кластерах YTsaurus. В зоне ответственности команды — несколько доменов: Data Catalog — каталог, в котором поставщики данных публикуют метаинформацию о своих таблицах и зависимостях между ними. Благодаря этому можно проследить всю цепочку — от сырых логов до готовых витрин ETL-фреймворк — таблицы и работающие с ними процессы (YQL, Python и Spark) описаны декларативно в отдельном репозитории. У фреймворка собственный оркестратор и движок динамического распределения ETL между кластерами — это сокращает time-to-market поставок и оптимизирует потребление ресурсов. Также мы обеспечиваем доступность критичных данных даже при даунтайме одного из кластеров YTsaurus Data Quality (DQ) — следим за соблюдением сроков поставок критичных данных и уведомляем пользователей об их срывах. Развиваем проверки качества данных Задачи Развивать платформу DWH как продукт Делать удобные инструменты для дата-инженеров: поиск данных, заведение и сопровождение ETL Делать удобные инструменты для аналитиков, которые работают с данными в OneDWH Работать с графами зависимостей ETL-процессов: планирование выполнения, динамическое распределение по кластерам, оптимизация Строить отказоустойчивые решения для критичных данных Требования Опыт разработки сервисов на Go Уверенное владение PostgreSQL Опыт работы с Kafka Хорошее знание алгоритмов и структур данных, особенно графовых Будет плюсом Знакомство с Java, Python, Spark или YTsaurus Опыт в области DWH, ETL или дата-инженерии Опыт работы с Airflow Опыт работы с CI, CD-пайплайнами в GitLab или другой системе Желание тесно работать с дата-инженерами и аналитиками: вникать в их задачи и делать продукты, которые упрощают им жизнь