Инженер BigData
Описание
Обязанности: Администрирование, развертывание и масштабирование продуктов на базе Hadoop, Kafka, NiFi (предпочтительно стек Arenadata: ADH, ADS) от установки и первичной настройки до вывода в production; Обеспечение стабильной работы, поддержка и глубокий troubleshooting (поиск и устранение неисправностей) инфраструктуры Big Data на стороне заказчиков, взаимодействие с вендором по сложным инцидентам; Оптимизация производительности (Performance Tuning) и конфигурация кластеров под высокие нагрузки, участие в проведении нагрузочного тестирования совместно с командами разработки; Обеспечение безопасности данных: настройка и управление Kerberos/LDAP (Active Directory/FreeIPA), разграничение прав доступа через Apache Ranger; Настройка сквозного мониторинга, алертинга (Prometheus/Grafana) и централизованного сбора логов (ELK/EFK) для всего Big Data стека; Обеспечение отказоустойчивости (HA) и резервного копирования (Backup/Disaster Recovery) распределенных систем. Требования: Релевантный опыт администрирования, конфигурирования и эксплуатации (от 1 года) распределенных систем (не менее одного-двух ключевых блоков): Hadoop (HDFS, YARN, Hive), Apache Kafka, Apache NiFi. Плюсом будет опыт работы со стеком Arenadata(ADH,ADS, ADB); Глубокое понимание архитектуры распределенных систем, принципов высокой доступности (High Availability), репликации и шардирования данных; Уверенные знания Linux (Ubuntu / Astra Linux) на уровне системного администратора (управление памятью, дисковой подсистемой, сетью, тюнинг ядра под Big Data); Опыт развертывания инфраструктуры Big Data в российских облаках (Yandex Cloud / Selectel / Cloud.ru); Опыт автоматизации развертывания и управления конфигурациями кластеров с помощью Ansible; Опыт практического внедрения Kerberos и FreeIPA/AD для безопасной интеграции со стеком Big Data (включая настройку Ranger); Базовые навыки написания скриптов автоматизации (Bash, Python); Умение конструктивно коммуницировать в команде, самостоятельность, готовность оперативно принимать решения при локализации и устранении инцидентов. Условия: Оформление по ТК РФ в ИТ-аккредитованную компанию Годовой бонус до 15% от годового дохода ДМС, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой; Выстроенная система работы с персоналом: индивидуальный план развития, выделенный бюджет на обучение у сторонних подрядчиков, регулярные 1:1 с руководителем Работа на проектах с крупнейшими Российскими заказчиками - банки, ритейл, телеком