Data Engineer в команду обработки данных

Описание

Чем предстоит заниматься:

• Разработка скриптов для проведения обработки и анализа данных с использованием нейронных сетей и облачных фреймворков;
• Разработка скриптов для автоматизации процессов разработки;
• Разработка пайплайнов для решения прикладных задач, в частности, поиска и фильтрации данных.

Что мы ждем от кандидата:

• Уверенное знание Python (опыт от 4-х лет);
• Базовое знание SQL;
• Опыт обработки данных с использованием Python (Pandas/Polars);
• Знакомство/знание Spark и Airflow (в зависимости от уровня);
• Опыт работы/знакомство с Clickhouse (в зависимости от уровня).

Будет плюсом++

• Опыт работы с Airflow/Luidgi/Dagster, с S3 подобными системами хранения и с большими данными (PySpark etc);
• Опыт работы с BI инструментами (Metabase, Superset, DataLens).