Senior Data Engineer/Инженер данных
Описание
giper.fm - технологическая компания, работающая на пересечении digital-маркетинга, e-commerce, аналитики и рекламных технологий. Сейчас мы развиваем единый контур данных, который должен связать информацию из клиентских проектов, CRM, рекламных систем, сайтов, брендшопов и внутренних сервисов. Наша цель - перейти от разрозненных выгрузок и отчетов к надежной платформе данных для управленческих решений, автоматизации аналитики и создания новых продуктов. Для реализации этой задачи мы ищем Data Engineer, который поможет спроектировать и построить технологический фундамент аналитической системы giper.fm. Что предстоит делать Провести аудит существующих источников данных, интеграций и процессов их обработки; Участвовать в проектировании целевой архитектуры платформы данных; Создавать и развивать ETL/ELT-процессы для сбора данных из CRM, баз данных, API, рекламных платформ, систем веб-аналитики и внешних файлов; Настраивать регулярную загрузку, очистку, трансформацию и консолидацию данных; Проектировать структуру хранилища и модели данных для аналитических и управленческих задач; Совместно с аналитиками формировать витрины данных для отчетности, BI-дашбордов и клиентской аналитики; Обеспечивать качество, полноту, актуальность и непротиворечивость данных; Настраивать мониторинг пайплайнов, логирование, уведомления об ошибках и контроль SLA; Оптимизировать производительность запросов и стоимость хранения и обработки данных; Документировать источники, модели данных, правила трансформации и интеграции; Участвовать в выборе технологического стека и внешних решений; Обеспечивать разграничение доступа и безопасную работу с коммерческими и персональными данными; В перспективе - готовить инфраструктуру для предиктивной аналитики, автоматизации и ML-продуктов. Мы ожидаем Уверенное владение SQL и Python; Практический опыт создания и поддержки ETL/ELT-пайплайнов; Опыт интеграции систем через API, базы данных, файлы и очереди сообщений; Понимание принципов построения DWH, Data Lake или Lakehouse; Знание подходов к моделированию данных и созданию аналитических витрин; Опыт работы с PostgreSQL, ClickHouse или сопоставимыми СУБД; Опыт использования Airflow, Dagster или других инструментов оркестрации; Владение Git, Docker и базовыми практиками CI/CD; Опыт подготовки данных для ML-моделей, работа с AI платформами; Понимание принципов мониторинга, тестирования и контроля качества данных; Способность самостоятельно разбираться в новой предметной области и переводить бизнес-задачи в технические решения; Умение взаимодействовать с аналитиками, разработчиками и бизнес-заказчиками. Большим преимуществом будет Опыт работы с dbt; Опыт построения платформы данных с нуля или участия в ее существенной переработке; Знание облачных платформ и managed-сервисов хранения и обработки данных; Опыт работы с Yandex Cloud и Yandex DataLens; Интеграции с CRM, e-commerce-системами, рекламными кабинетами и платформами веб-аналитики; Знание Kafka или других технологий потоковой обработки данных; Опыт работы с маркетинговыми и рекламными данными; Понимание базовых принципов продуктовой и клиентской аналитики. Что ждет в giper.fm: Возможность участвовать в создании платформы данных практически с нуля; Значимое влияние на архитектуру, технологический стек и процессы работы с данными; Задачи на пересечении маркетинга, e-commerce, рекламных технологий и бизнес-аналитики; Прямое взаимодействие с руководителями направлений и внутренними заказчиками; Минимум формальной бюрократии и возможность быстро внедрять работающие решения. Формат и график работы обсуждаются индивидуально. Уровень вознаграждения определяется по итогам интервью с учетом опыта и компетенций кандидата. Если Вы внимательно прочитали вакансию и готовы на неё откликнуться, пожалуйста, в сопроводительном письме кратко расскажите о проектах, в которых вы создавали или существенно перестраивали инфраструктуру данных: какие задачи решали, какой стек использовали и за какой результат отвечали. Что мы ценим Твое мнение Любое решение обсуждаемо. Ты сможешь влиять на постановку целей и предлагать идеи по улучшению процессов. Самостоятельность Ты сможешь принимать решения без долгих согласований и бумажной волокиты и нести за них ответственность. Новые идеи Мы регулярно запускаем новые проекты и даем путевку в жизнь малоизвестным брендам. Корпоративные инициативы Есть идеи, как сделать корпоративную жизнь еще лучше? Предлагай! Воплотим вместе!