Data Engineer
Описание
Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде! Обязанности: Исследование источников данных: анализ назначения и структуры таблиц и полей, ключей, связей, кардинальности и гранулярности; документирование моделей и схем данных Оценка потребностей в получении, обработке и хранении данных; выбор и обоснование архитектурных и технологических решений с преимущественным использованием open-source программного обеспечения Организация получения структурированных и неструктурированных данных из баз данных, API, файлов и иных разрешённых источников; разработка SQL-запросов и механизмов извлечения с учётом прав доступа, ограничений систем-источников и требований информационной безопасности Проектирование, разработка и сопровождение процессов интеграции и преобразования данных (ETL/ELT), включая очистку, нормализацию, объединение, обновление и автоматизацию обработки Создание и развитие аналитических моделей, наборов данных, хранилищ и витрин по мере возникновения обоснованной потребности; организация хранения, версионирования и, при необходимости, историзации данных Обеспечение качества данных (Data Quality): профилирование, проверки полноты, корректности, согласованности и уникальности, предотвращение дублирования, автоматизация проверок и контроль результатов загрузки Настройка расписания выполнения, журналирования, мониторинга и диагностики процессов обработки данных; участие в обеспечении их надёжности и восстановлении работоспособности во взаимодействии с ответственными за инфраструктуру Ведение технической документации, словаря и каталога данных, описаний происхождения и преобразования данных (Data Lineage); применение контроля версий и принципов воспроизводимой разработки Совместная работа с аналитиком данных и заинтересованными подразделениями: согласование требований к данным и витринам, устранение технических проблем, развитие аналитических решений Требования: Опыт работы от 3 -х лет в инженерии данных и/или аналитической инженерии. Опыт самостоятельного проектирования, разработки и сопровождения процессов интеграции данных и аналитических моделей. Преимущество — участие в создании аналитических решений с нуля при ограниченных инфраструктурных ресурсах Высшее образование, предпочтительно высшее техническое, информационно-технологическое, математическое или иное профильное образование SQL — продвинутый/экспертный уровень (сложные запросы, JOIN, CTE, оконные функции, анализ планов и оптимизация выполнения).Python — уверенный уровень (обработка данных, API, автоматизация и разработка скриптов) Условия: Пятидневная рабочая неделя, гибридный формат работы Чистый, современный, просторный офис со всей необходимой для работы орг. техникой. Находится в пешей доступности (ст. метро Арбатская) Значимая роль в команде экспертов, в которой коллеги всегдаподдерживают друг друга Развивающие задачи и карьерные вызовы, реальные возможности для роста Развитая корпоративная культура: постоянные корпроративные обучения, мероприятия, онбординг