Data инженер (интеграционные среды) Senior, финтех
Описание
Мы находимся в поиске Data инженерa в команду развития интеграционной среды и корпоративных данных. Вы будете участвовать в построении единого интеграционного слоя, развитии витрины DMDC и автоматизации подключения источников данных. Чем предстоит заниматься: Развивать интеграционную среду: подключать метаданные информационных систем к Единому интеграционному слою и витрине DMDC. Создавать шаблоны в платформе управления метаданными для подключения ключевых типов СУБД: PostgreSQL, Oracle, MS SQL, ClickHouse, DB2, Elasticsearch, Tarantool. Проектировать и разрабатывать Python-скрипты для автоматической генерации DDL/DML-запросов. Разрабатывать и поддерживать Airflow DAG для процессов загрузки и обслуживания данных. Исправлять ошибки существующих потоков и повышать их надежность. Разрабатывать Airflow DAG для обслуживания таблиц Iceberg, в том числе с использованием кастомных операторов для оптимизации чтения при большом количестве delete-файлов. Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных. Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных. Для нас важно: Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow. Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop). Практические навыки конфигурации и оптимизации Spark-приложений, управления ресурсами Spark. Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3. Навыки работы с контейнеризацией и оркестрацией в Kubernetes. Опыт проведения нагрузочного тестирования систем обработки данных. Экспертное владение SQL и навыки оптимизации сложных запросов. Понимание основ математической статистики, анализа данных и машинного обучения (PyTorch, TensorFlow). Умение работать с распределенными системами и обеспечивать консистентность данных при автоматическом определении типов схем. Главный принцип SkillStaff - Выбирай! РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса. КОМФОРТ. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке. РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами. КУЛЬТУРА. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!