Senior Data Engineer

Описание

• Контроль качества данных, внедрение проверок и мониторинг корректности витрин.
• Разработка и поддержка витрин данных
• Проектирование и оптимизация SQL-запросов для формирования витрин и проверок качества данных.
• Взаимодействие с командами продуктовой аналитики и бизнес-подразделениями для уточнения требований.
• Подготовка документации и описание логики витрин и проверок
• Разработка ETL-процессов и пайплайнов (Airflow/Oozie/Spark).

1. SQL:
Уверенное владение SQL, опыт применения различных типов JOIN и оптимизации запросов.
Опыт работы с базами данных: PostgreSQL, Oracle, MSSQL, Cassandra, Redis, Greenplum.
Понимание принципов data quality (контроль, мониторинг, валидации).
Знание HDFS-стека: Hive, Spark (PySpark), Hue, Oozie, Airflow.
Навыки работы в терминале с HDFS.
Базовые навыки оптимизации хранения и доступа к данным.

2. Знание Python и опыт анализа и обработки данных.

3. Опционально:
Опыт разработки проверок качества данных
Имеет опыт решения задач с Bl-инструментами (PowerBl/Tableau)
Потоковая обработка данных с помощью Kafka/Flink
Опыт работы с feature store/market инструментами
Опыт работы с внешними источниками данных (создание ETL процессов)
Понимание принципов работы ML/AI-моделей и требований к данным для их обучения.