Data Engineer (Hadoop, Scala)

Описание

Медиалогия лидер в разработке продуктов для мониторинга и анализа данных из СМИ и социальных медиа.

Наши системы обрабатывают 100+ млн сообщений в сутки (1.7 млрд метрик), сканируя интернет в режиме реального времени. С помощью уникальных лингвистических технологий мы помогаем клиентам анализировать упоминания в соцсетях, блогах, форумах и управлять репутацией.

Чем предстоит заниматься:

• Разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных.

• Настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase).

• Оптимизация распределенных вычислений и запросов.

• Работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).

• Участие в проектировании и масштабировании архитектуры данных.

• Автоматизация процессов с использованием DevOps-практик (Docker, CI/CD).

Ключевые требования:

• Опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop).

• Глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet).

• Опыт оптимизации производительности распределенных систем.

• Работа с потоковой обработкой (Kafka, Spark Streaming).

• Навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB).

Будет плюсом:

• Опыт с PySpark, Flink, Airflow.

• Знание Elasticsearch, ClickHouse, Vertica.

• Навыки настройки кластеров и инфраструктуры.

Что мы предлагаем:

• Официальное оформление по ТК РФ, белую зарплату.

• Гибкий график и удалённый формат работы.

• ДМС (включая международную страховку после испытательного срока).

• Массажист в офисе.

Развитие и возможности:

• Участие в сложных Big Data-проектах с высокой нагрузкой.

• Карьерный рост в сильной data-команде.

• Посещение профильных конференций за счет компании.

• Система лояльности с партнёрами.