Data Engineer / Инженер данных
Описание
Привет! Мы - команда продуктов и цифрового развития ГК "КИТ 1217", сейчас в поиске коллеги на позицию дата-инженера, который спроектирует и своими руками запустит платформу данных: хранилище, интеграции, единые справочники, правила обработки и предоставления данных. Чем предстоит заниматься: Определять целевую архитектуру вместе с ИТ-директором и командой и поэтапно воплощать её в работающую платформу Самостоятельно писать и запускать загрузки и преобразования на Python и SQL, подключать API, базы данных, 1С и файловые выгрузки Проектировать слои хранилища, модели данных и витрины в ClickHouse; выбирать структуру таблиц и оптимизировать запросы Разрабатывать и сопровождать DAG в Airflow: зависимости, расписания, повторные запуски, догрузки и обработка сбоев Настраивать проверки качества, мониторинг и уведомления; обеспечивать защиту от дублей, полноту и актуальность данных Совместно с бизнес-аналитиком согласовывать справочники и правила сопоставления; готовить данные для аналитики, сервисов и ИИ-сценариев Развёртывать и сопровождать компоненты платформы совместно с ИТ, документировать решения и принимать интеграции подрядчиков Какой опыт обязателен: Самостоятельное построение хранилища или его существенной части: от архитектуры до работающих загрузок и витрин Сильный SQL, уверенный Python, Git, тестирование и обработка ошибок Практический опыт Apache Airflow в эксплуатации: разработка DAG, диагностика сбоев и безопасные повторные загрузки Практический опыт ClickHouse: моделирование аналитических данных, загрузка, оптимизация запросов и понимание особенностей СУБД Понимание ETL/ELT, слоистой архитектуры, инкрементальных загрузок и контроля качества данных. Рабочие навыки Linux и Docker для запуска и диагностики компонентов Умение самостоятельно проектировать, писать код, запускать решения; обосновывать выбор технологий и обсуждать с бизнесом смысл данных Будет плюсом: PostgreSQL, S3 и Parquet, CI/CD; dbt, опыт с 1С, рекламными платформами, Mediascope, НСИ/MDM и подготовкой данных для ИИ-сервисов Мы рады предложить: Профессиональную команду Корпоративное обучение и развитие Классный офис в 1 мин от м. «Белорусская» (тут всегда есть чай\кофе\фрукты\снеки) График работы 10:00 – 19:00 ДМС после испытательного срока Оформление трудовых отношений по ТК РФ Кот Кузя :) Внимание!Наша задача – найти талантливых сотрудников. Мы всегда приглашаем кандидатов на очное знакомство в наш офис и никогда не просим отправлять нам данные банковских карт, коды из смс и пр.Если у тебя возникли сомнения — запроси у рекрутера подтверждение с официальной почты