Data Engineer
Описание
Обязанности: Разработка и поддержка единого хранилища мастер-данных (НСИ), обеспечение сквозной целостности справочников для всех отделов. Проектирование модели данных для консолидации информации из ERP, CRM, 1С, логистических и кадровых систем. Построение автоматизированных пайплайнов по сбору, очистке, трансформации и загрузке данных. Настройка мониторинга ETL-процессов с использованием метаданных для оперативного отслеживания аномалий и ошибок (рекомендация по внедрению). Внедрение правил дедупликации и валидации для поддержания высокого качества данных. Самостоятельное проектирование и создание интерактивных дашбордов и отчетов в BI-инструментах Визуализация ключевых метрик по направлениям: Логистика и закупки, Продажи, Производство, HR, Финансы, IT Формирование чистых размеченных датасетов на основе исторических данных для построения прогнозных моделей. Подготовка данных для оценки рисков, генерации рекомендаций и стратегий (в т.ч. с использованием ИИ на базе мастер-данных). Обеспечение пайплайна для выгрузки результатов моделей в витрины и отчеты. Настройка прав доступа к данным на уровне строк (RLS) согласно ролевой модели. Оптимизация производительности запросов для обеспечения быстрой работы дашбордов и отчетов. Резервирование и обеспечение бесперебойной работы хранилища данных. Требования: Глубокое знание SQL (PostgreSQL, ClickHouse, T-SQL): написание сложных запросов с CTE, оконными функциями, хранимыми процедурами. Опыт оптимизации запросов: чтение планов выполнения, настройка индексов, работа с большими объемами данных (миллионы+ записей). Проектирование витрин данных и моделирование хранилищ (DWH) под конкретные бизнес-задачи. Разработка ETL/ELT-пайплайнов на Python (Pandas, SQLAlchemy, коннекторы к БД). Опыт оркестрации процессов: Apache Airflow — проектирование DAG'ов, настройка расписаний, мониторинг выполнения. Автоматизация обновления витрин и отчетов с контролем ошибок. Разработка дашбордов в Power BI и/или Yandex DataLens (желательно знание обоих инструментов). Понимание принципов построения эффективных визуализаций: выбор типов графиков, работа с фильтрами, управление производительностью отчетов. Настройка алертинга (мессенджер, почта) при сбоях ETL и аномалиях в данных. Работа с метаданными для отслеживания происхождения данных (Data Lineage) и контроля качества. Опыт работы с MDM: понимание подходов к управлению нормативно-справочной информацией, дедупликация, валидация справочников. Data Science / ML: базовое понимание машинного обучения, умение готовить датасеты для моделей (feature engineering), опыт взаимодействия с Data Scientist'ами Системное мышление: видит картину целиком — от источника данных до конечного пользователя. Проактивность: предлагает улучшения архитектуры и процессов, а не просто исполняет задачи. Самоорганизация: готов работать в новом формирующемся отделе, где процессы еще выстраиваются. Ориентация на результат: дашборды должны быть не "красивыми", а полезными и быстрыми. Английский язык на уровне чтения технической документации Условия: Удаленный формат работы; График работы 5\2 с 8:00 - 16:30; 9:00 - 17:30; Возможность карьерного роста в современной,быстрорастущей компании.