Инженер данных, ETL
Описание
О нас: Главгосэкспертиза России – Учреждение, где масштабные проекты становятся реальностью. Мы проводим экспертизу ключевых объектов страны, работаем с лидирующими технологиями и формируем будущее строительной отрасли. Здесь инженерные решения встречаются с передовыми IT-разработками, а экспертиза становится важнейшим этапом на пути к безопасному и современному будущему. Мы ожидаем: Опыт коммерческой разработки в роли Data Engineer, Analytics Engineer или Backend-разработчика с упором на данные от [1-3] лет. Отличное знание SQL и PostgreSQL (понимание принципов работы индексов, планов запросов, оконных функций, проектирование схем данных). Уверенное знание Python (написание скриптов, кастомных операторов для Airflow, работа с API). Опыт работы с Apache Airflow (написание DAGs, работа с сенсорами, хуками, оптимизация расписаний). Понимание принципов контейнеризации (Docker, docker-compose). Опыт подготовки данных для BI-систем (понимание, как строить витрины под Power BI, Superset, Metabase). Умение переводить бизнес-требования в технические решения и выстраивать процессы работы с данными. Будет вашим преимуществом: Опыт работы с объектными хранилищами (S3, MinIO). Понимание принципов DataOps, CI/CD для кода и данных. Опыт настройки мониторинга, логирования и алертинга для пайплайнов. Ключевые навыки (Теги для hh.ru): Python, SQL, PostgreSQL, Apache Airflow, Docker, ETL, ELT, Power BI, Витрины данных, Apache Superset, Metabase Ключевые задачи: Проектировать, разрабатывать и поддерживать ETL/ELT пайплайны с использованием Apache Airflow. Развивать архитектуру реляционного хранилища данных на базе PostgreSQL, писать сложный SQL, оптимизировать запросы и проектировать витрины данных. Подготавливать и структурировать данные для систем бизнес-аналитики: Power BI, Apache Superset, Metabase. Контейнеризировать решения и обеспечивать бесшовный деплой с помощью Docker. Взаимодействовать с аналитиками, дата-сайентистами и бизнесом для сбора требований и превращения их в работающие data-продукты. Мы предлагаем: работу в стабильной государственной организации с соблюдением трудового законодательства полугодовое и годовое премирование (система целей и показателей) пакет ДМС после испытательного срока и страховку для тех, кто любит путешествовать корпоративное и внешнее обучение систему материальной помощи активную спортивную жизнь внутри Учреждения: бег, футбол, йога, волейбол, настольной теннис, шахматы, пулевая стрельба и много другое разнообразные возможности досуга: лекции на различные темы, кинопоказы, экскурсии и праздничные мероприятия с участием членов семьи современное офисное пространство по адресу: м. Октябрьская, ул. Большая Якиманка, д. 42, стр. 1-2 график работы 5/2, суббота и воскресенье - выходные дни