Auto QA Python (Hadoop, Spark)
Описание
Что нужно делать: Автоматизировать тестирование компонентов Arenadata Hyperwave (ADH) и Arenadata Hyperwave Cloud (ADHC): Spark, Impala, Trino, Kyuubi, Hive, HBase, Ozone, HDFS, YARN, Airflow, Flink; Тестировать развёртывание и эксплуатацию платформы на bare metal, VM и в Kubernetes; Разрабатывать и развивать тестовые фреймворки на Python для распределённых Big Data-систем; Писать интеграционные и e2e-тесты на реальных кластерах: функциональность, отказоустойчивость, производительность; Поддерживать и развивать CI/CD-пайплайны автотестов; Работать с разработчиками, архитекторами и QA над качеством релизов; Делать код-ревью тестового кода. Мы ждем, что вы: Имеете опыт коммерческой разработки на Python от 4 лет; Понимаете SOLID, DRY, KISS и умение применять их при проектировании тестовых фреймворков; Понимаете паттерны проектирования (Factory, Strategy, Builder, Resource Object) для гибких и масштабируемых решений; Знаете Pytest на экспертном уровне: сложные фикстуры, параметризация, плагины (pytest-xdist и другие); Знаете Linux (Core Utils, Bash): файловые системы, права, процессы, сетевые утилиты; Имеете опыт тестирования систем развёртывания и конфигураций распределённого ПО, плюсом будет Ansible, Terraform или Puppet; Имеете опыт настройки и поддержки CI/CD-пайплайнов (Jenkins, GitLab CI, TeamCity, GitHub Actions); Имеете опыт работы с Docker и Kubernetes на уровне эксплуатации и отладки; Понимаете развёртывание stateful и stateless Big Data-сервисов в Kubernetes; Имеете опыт тестирования Kubernetes-операторов, работа с kubectl, Helm, kind/minikube. Будет плюсом: Опыт работы с дистрибутивами Hadoop (Arenadata, Cloudera CDP/CDH, Hortonworks HDP, MapR); Практический опыт с Apache Spark, Trino, Impala, Kafka — запросы, джобы, разбор инцидентов; Опыт работы с аутентификацией и авторизацией в распределённых системах: Kerberos, LDAP, Ranger, TLS/mTLS.