Senior Data Engineer / Старший инженер данных

Описание

Мы находимся в поисках Инженера данных, который будет отвечать за выстраивание технического говернанса процессов, а также поддерживать загрузки потоков данных от источников в корпоративное хранилище.

Вы будете:

• Работать с лидером направления по интеграции, дата архитекторами, инженерами и руководителями по созданию продуктов на основе данных.
• Участвовать в реализации стратегии по внедрению стандартов и лучших практик в области хранения, обработки и анализа данных.
• Формировать требования к процедурам сбора, преобразования и загрузки данных, изменений физической структуры данных, внедрять их в процессы разработки продуктов на уровне отдела аналитики данных.
• Интегрировать системы-источники в единое корпоративное хранилище в соответствии с корпоративными политиками по безопасности хранения данных
• Работать совместно с архитектором данных над созданием и развитием структуры единого корпоративного хранилища данных.
• Участвовать в разработке и поддержке информационной модели данных хранилища (логической структуры данных, модели информационных потоков).
• Создавать алгоритмы валидации и дедупликации данных.
• Работать над процессами по улучшению качества данных и над их автоматизацией.
• Документировать требования по созданию витрин данных.
• Разрабатывать и документировать потоки данных от источников в корпоративное хранилище
• Разрабатывать регламенты загрузки данных в корпоративное хранилище из систем-источников.

Мы ожидаем:

• Высшее образование.
• Опыт работы в области управления и обработки данными от 3 лет.
• Профессиональное владение SQL.
• Более 2 лет практического опыта работы с Python, Spark.
• Опыт работы с технологиями на основе Hadoop (HDInsight, Spark, Hive, Pig, Scala).
• Опыт работы с инструментами ETL, такими как Azure Data Factory, SSIS, Pentaho и т.д.
• Опыт работы с технологиями хранения Azure (Azure Data Lake, Azure SQL Data Warehouse).
• Практический опыт использования инструментов управления конфигурацией и автоматизации (Azure DevOPS, Ansible, DSC, Puppet, Chef, Salt).
• Навыки работы с JIRA/ADO.
• Высокий уровень владения английским языком (устный и письменный).

Мы предоставляем:

• Гибридный график работы.
• Помощь в построении карьеры с учетом твоих профессиональных интересов, используя лучшие инструменты и передовой опыт.
• Конкурентную заработную плату и годовые премии.
• Ежегодный пересмотр заработной платы (с учетом рыночной ситуации и индивидуальной результативности сотрудника).
• Корпоративную программу софинансирования долгосрочных накоплений.
• ДМС со стоматологией для сотрудников и членов семьи с первых рабочих дней.
• Страхование жизни с первых рабочих дней.
• Компенсацию питания, оплату мобильной связи и интернета.
• Уникальную корпоративную культуру с заботой и уважением к каждому сотруднику.
• Работу в современном дружелюбном к домашним питомцам офисе.
• Корпоративную программу по поддержке здоровья и благополучия сотрудников (консультации с финансовыми специалистами, юристами и психологами, экспертами по здоровому образу жизни).
• Систему бонусов и скидок от компании и партнеров.