DWH Инженер (DevOps)
Описание
Обязанности: Проектирование и администрирование CI/CD пайплайнов в GitLab CI / Jenkins для полного жизненного цикла DWH: моделирование, разработка, тестирование, деплой, эксплуатация витрин и загрузочных процедур. Разработка скриптов автоматизации на Bash и Python для загрузки, трансформации данных, проверки качества и оптимизации запросов. Контейнеризация компонентов DWH-ландшафта (Docker), оркестрация в Kubernetes, настройка Helm-чартов и стратегий развертывания и масштабирования. Управление инфраструктурой как код (Terraform, Ansible): описание сетевой и серверной конфигурации, баз данных, очередей сообщений и сервисов DWH-ландшафта, поддержка единообразия сред, настройка ресурсов, резервирование, обновления и патчи, контроль доступности и производительности. Администрирование гибридного ландшафта: Arenadata Cluster Manager (ADCM) — установка, настройка и управление data-сервисами компании. Настройка и поддержка Apache Airflow для оркестрации ETL/ELT процессов. Администрирование инструментов ETL/ELT: Apache NiFi, Trino. Работа с Arenadata Streaming (ADS) на базе Apache Kafka и Apache NiFi для потоковой обработки данных в режиме реального времени. Администрирование Apache Iceberg для больших хранилищ данных. Работа с S3-совместимыми хранилищами. Реализация механизмов контроля качества данных: валидаторы, тесты данных, контроль историчности, аудит загрузок, data lineage в рамках CI/CD и эксплуатационных пайплайнов. Настройка систем мониторинга Prometheus и построение дашбордов Grafana для DWH: метрики загрузок, задержки, объёмы, производительность запросов, использование ресурсов, алерты по SLA/SLO. Внедрение централизованного логирования и наблюдаемости (Elasticsearch/Logstash/Kibana или альтернативные стеки): трассировка ETL пайплайнов, корреляция событий и аналитика инцидентов. Автоматизация типовых операционных процедур: ротация логов, очистка временных таблиц, реиндексация, анализ планов выполнения запросов, пересчёт агрегатов. Управление доступом, настройка SSL/шифрования, обновление и патчинг компонентов. Обеспечение аутентификации, авторизации и применения протоколов шифрования. Требования: Высшее техническое / ИТ образование. Опыт работы в роли DevOps-инженера от 2 лет. Уверенное знание Linux и Bash. Опыт написания скриптов автоматизации на Python. Опыт работы с системами контроля версий (Git), понимание Gitflow. Опыт работы с CI/CD системами (GitLab CI, Jenkins или аналоги). Понимание подходов: pipeline stages, artifacts, caching. Опыт работы с Docker, понимание принципов контейнеризации. Понимание работы реляционных СУБД (MS SQL Server или PostgreSQL). Знание принципов работы REST API. Знание сетевых взаимодействий: TCP/IP, DNS, VPN, Firewalls. Понимание основ аутентификации, авторизации и протоколов шифрования. Будет преимуществом: Опыт работы с Kubernetes и Helm. Опыт работы с Terraform, Ansible. Опыт работы с Apache Airflow, Kafka, NiFi, Trino, Iceberg. Опыт работы с Prometheus, Grafana, ELK. Понимание методологии Data Vault 2.0. Опыт работы с Big Data стеком (Hadoop, Greenplum, ClickHouse) или продуктами Arenadata. Опыт использования принципов GitOps. Опыт работы с Low-Code платформами и инструментами кодогенерации. Опыт работы с BI-серверами и инструментами визуализации. Условия: Участие в инновационных, амбициозных проектах и задачах. Возможность профессионального развития и роста. Внутрикорпоративная культура, наполненная традициями. Трудоустройство в полном соответствии с ТК РФ. Добровольное медицинское страхование согласно внутренней Политике Банка. Корпоративные скидки на товары и услуги партнеров в городах присутствия. Место работы в шаговой доступности от ст. м Кожуховская. График работы: пятидневная рабочая неделя (пн-чт с 9:00 до 18:00, в пятницу с 9:00 до 16:45); формат работы обсуждается индивидуально; Условия оплаты обсуждаются индивидуально.