DataOps инженер
Описание
Медиалогия занимается разработкой продуктов по сбору и анализу данных из СМИ и соцмедиа. Мы разрабатываем высоконагруженные системы, которые в режиме реального времени сканируют весь текстовый сегмент Интернета (100+ млн. сообщений в сутки, 1.7 млрд. метрик) и, используя уникальные лингвистические технологии, позволяют осуществлять мгновенный анализ упоминаний наших клиентов в социальных сетях, блогах, форумах и управлять их репутацией. Обязанности: обеспечивать полный цикл жизни реляционных (PostgreSQL, MySQL) и колоночных (Clickhouse) баз данных: от установки до тюнинга и масштабирования; проектировать и поддерживать отказоустойчивые кластеры брокеров сообщений (Kafka, RabbitMQ) под высокие нагрузки; управлять инфраструктурой BigData и системами потоковой обработки (Hadoop, NiFi, AirFlow), оптимизировать их производительность; настраивать и поддерживать системы кэширования и поиска (Redis, Elasticsearch); управлять S3-совместимым объектным хранилищем (MinIO), обеспечивать георезервирование и консистентность данных; настраивать надежные системы резервного копирования (бэкапы, PITR) и регулярно проверять планы аварийного восстановления (DR); выступать «куратором» 1-2 проектов: погружаться в бизнес-логику, помогать разработчикам с профилированием сложных запросов и проектированием схем данных. Наш стэк: БД: PostgreSQL, MySQL, Clickhouse. Очереди и брокеры: Kafka, RabbitMQ. BigData & ETL: Hadoop, Apache NiFi, Airflow. Смежные системы: Redis, Elasticsearch, MinIO. Требования: глубокое понимание внутреннего устройства реляционных БД (особенно PostgreSQL или MySQL): механизмы блокировок, индексы, репликация (streaming, logical); реальный опыт эксплуатации Apache Kafka в Production (настройка партиций, retention, решение проблем с лагом консьюмеров); опыт работы с Clickhouse (шардирование, репликация, движки таблиц); уверенное администрирование Linux (настройка ядра, дисковой подсистемы, сети под высокие нагрузки баз данных); опыт настройки высокодоступных (HA) конфигураций для БД (Patroni, PXC и т.д.). Будет плюсом: опыт эксплуатации стека Hadoop (HDFS, YARN) и инструментов ETL (Apache NiFi); навыки работы с Elasticsearch (управление индексами, ILM, масштабирование кластера); опыт деплоя стейтфул-приложений (баз данных, очередей) внутри Kubernetes с использованием Operators; навыки написания Ansible-ролей для автоматизации раскатки БД; умение писать скрипты на Python или Bash для автоматизации рутинных задач DBA. Условия: удаленный или гибридный формат работы; заработная плата обсуждается по итогам собеседования с успешным кандидатом; ДМС после испытательного срока; специальные условия для сотрудников на страхование для членов семьи; скидки в компаниях-партнерах (фитнес-центры, обучающие курсы, изучение иностранных языков и многое другое); бесплатное онлайн-обучение на корпоративном портале и корпоративная; офис в пешей доступности от ст. м. Дмитровская (БЦ «Савеловский Сити»).