Data Quality Engineer
Описание
Основные задачи: Разрабатывать автоматизированные проверки качества данных (SQL, PySpark, SparkSQL) Проектировать и поддерживать правила Data Quality для новых источников данных Разрабатывать и сопровождать Data Contracts Анализировать схемы данных, RFC и бизнес-правила Интегрировать проверки качества в существующие ETL -пайплайны (Airflow) Настраивать мониторинг качества данных (Grafana, PostgreSQL Metadata Store) Анализировать инциденты качества данных и искать первопричины Развивать библиотеку повторно используемых DQ-проверок Взаимодействовать с Data Engineers, аналитиками и заказчиками данных Наши ожидания: Хорошее знание SQL (сложные запросы, оптимизация) Опыт работы с Python (Pandas, PySpark) для анализа данных и автоматизации Понимание устройства DWH, ETL/ELT, Data Lake, Data Lakehouse (слои bronze/silver/gold) Опыт тестирования данных (ETL testing, DWH testing, Data Quality) Опыт работы с Git. Базовое понимание CI/CD Опыт работы с инструментами Big Data (S3, Spark, Airflow) Будет плюсом: Опыт работы с Great Expectations, dbt tests, Soda или кастомным решением Опыт работы с OpenMetadata или другими дата-каталогами (DataHub, Arenadata Catalog, Apache Atlas) Опыт работы с Data Contracts Что мы предлагаем: Здоровье и спорт: ДМС + стоматология Корпоративные скидки в фитнес-клуб World Class Корпоративный тариф на абонементы FITMOST Программа корпоративных скидок Best Benefits – на спорт и не только Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы) Обучение и развитие: Курсы английского языка, в том числе с носителем языка Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами Билеты со скидкой в Музей криптографии для сотрудников и их семей А также: Работа в гибридном формате Комфортные офисы с кофе-поинтами и разнообразными снеками каждый день Насыщенные и яркие корпоративные праздники Классный мерч