Инженер данных
Описание
Сейчас мы в поисках Инженера данных для регулярного исследования проводимых мероприятий и охваченной аудитории. Чем предстоит заниматься: Развивать новое корпоративное хранилище данных на ClickHouse. Проектировать архитектуру таблиц, слоев данных и витрин.Подключать новые источники данных.Актуализировать загрузки при изменениях в существующих источниках. Разрабатывать и поддерживать ETL/ELT-процессы в Airflow. Использовать dbt для хранения логики трансформаций, документации и воспроизводимости КХД. Создавать витрины данных для BI-дашбордов в DataLens. Поддерживать существующие пайплайны и витрины и оптимизировать SQL-запросы и существующие скрипты. Настраивать проверки качества данных, алерты и мониторинг. Работать с проблемами дублей, NULL, расхождений между источниками, ошибок в справочниках и задержек загрузок. Вести документацию по структуре и содержимому данных в КХД. Взаимодействовать с аналитиками, backend-разработчиками и DevOps. Стек технологий: PostgreSQL, Clickhouse, DataLens, Python, Airflow, Dbt, gitlab, docker, bash. Что мы ожидаем от кандидата: Релевантный опыт работы Data Engineer / Analytics Engineer / SQL Developer от 3-х лет. Уверенное владение SQL, понимание особенностей строчных и колоночных баз данных. Знание Python на уровне pandas/скриптов. Опыт оптимизации ClickHouse под BI-нагрузку. Знание основ математической статистики. Умение самостоятельно разбираться в бизнес-процессе, искать слабые стороны и придумывать решения. «Знание» заботится о тебе: ДМС со стоматологией после 3-х месяцев работы, врач и дни здоровья в офисе. Психолог в офисе/ онлайн. Обучение: тренинги, мастер-классы, онлайн-курсы и другие ресурсы для развития. Доступ к программе лояльности BestBenefits. Карьерный рост с программой «Знание.Лидеры». Яркая корпоративная жизнь: квизы, тимбилдинги дважды в год, спортивные команды по футболу и волейболу, волонтерские проекты, дни донора, летний проект «Каникулы в Знании» и новогодние праздники для детей сотрудников. Для твоей семьи – посещение наших мероприятий: кинопоказы, марафоны и встречи с известными лекторами. Отдых всей семьей со скидкой 20% в санаторно-курортном комплексе «Знание» в Сочи.