DevOps Middle (Big Data)

Описание

DevOps Middle

Ставка: до 1700, с НДС
Локация: РФ
Гражданство: РФ
Срок привлечения: на 1 месяц, (старт: 05.11.2026)

Требования:
Инфраструктура и Cloud:
- Опыт развертывания и настройки managed-кластеров Spark (Yandex Data Proc, Google Dataproc, AWS EMR).
- Владение Terraform (или Ansible) для автоматизации инфраструктуры.
- Настройка сетевого взаимодействия (VPC, VPN, Security Groups) между Greenplum и Spark.
- Опыт работы с Docker и Kubernetes (если Spark запускается на K8s).

Big Data стек:
- Понимание архитектуры Greenplum и способов выгрузки данных (gpfdist, PXF, JDBC).
- Знание архитектуры Spark (Driver, Executor, History Server), умение управлять ресурсами кластера.
- Настройка оркестрации пайплайнов (Apache Airflow).
- Работа с форматами данных (Parquet, ORC, Avro).

Мониторинг и CI/CD:
- Настройка мониторинга и логирования для Spark-джобов (Prometheus, Grafana, ELK).
- Настройка CI/CD для деплоя Spark-приложений (GitLab CI, Jenkins).

Языки и утилиты:
- Python (PySpark) или Scala — для написания инфраструктурных скриптов и отладки.
- Bash-скриптинг

Откликнуться на запрос:
По вопросам партнерского сотрудничества: