Дата-инженер (интеграционные среды)
Описание
Группа Компаний Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания. Масштабный технологический проект с глубокой экспертизой в цифровизации бизнеса. Ключевые отрасли: государственный сектор, FinTech, HRTech, коммуникации и медиа, услуги, рынок недвижимости, travel. Нам доверяют крупнейшие компании РФ, среди них: Т1, ВТБ, Иннотех, Альфа Банк, ОИС и другие. Более 6 лет мы ведем собственную продуктовую и заказную разработку высокоэффективных цифровых решений. В связи с расширением команды мы ищем Дата-инженера (интеграционные среды) в команду банка Стек технологий:СУБД: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive).Data Stack: Hadoop, S3, Impala, Hive, Spark, Iceberg, Kafka, Elasticsearch.Языки программирования: Python (Pandas, NumPy, Matplotlib), C#, SQL.Инструментарий: Git, Jira, Kubernetes. Требования: Профессиональные навыки и опыт: Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow. Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop). Практические навыки конфигурации и оптимизации Spark-приложений и управления ресурсами Spark. Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3. Навыки работы с контейнеризацией и оркестрацией в среде Kubernetes (K8s). Опыт проведения нагрузочного тестирования систем обработки данных. Общие компетенции: Экспертное владение SQL и навыками оптимизации сложных запросов. Знание основ математической статистики, анализа данных и основ машинного обучения (PyTorch, TensorFlow). Умение работать в условиях распределенных систем и обеспечивать консистентность данных при автоматическом определении типов схем. Задачи: Развитие интеграционной среды: Разработка потоков подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC. Автоматизация и шаблонизация: Создание шаблонов в платформе управления метаданными для обеспечения подключения ключевых типов СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool). Разработка инструментов автоматизации: Проектирование Python-скриптов для автоматической генерации DDL/DML запросов и Airflow DAG для процессов загрузки и обслуживания данных. Поддержка и оптимизация: Исправление ошибок существующих потоков, а также разработка Airflow DAG для обслуживания таблиц Iceberg с применением кастомных операторов (оптимизация чтения при наличии значительного количества delete-файлов). Модернизация витрины: Доработка функциональности витрины DMDC для обеспечения полной поддержки возможностей каталога данных. Документирование: Подготовка и ведение проектной документации по результатам разработки. Мы предлагаем: Удаленный формат Белую заработную плату, оформление согласно Трудовому кодексу РФ; Комфортный старт: 3 месяца плавного погружения под присмотром HR; Поддержку: IT-отсрочку и консультации HR/юристов; Прозрачные процессы и открытую коммуникацию; Работу на лучшем оборудовании без логирования времени, с фокусом на доверии и результате; ДМС: медицинское страхование за счет компании; Развитие: индивидуальный план обучения, посещение конференций и митапов, поддержка в развитии карьеры; Личный бренд: возможность выступать на конференциях, митапах, публикация статей; Бенефиты: ежеквартальное обновление корпоративных скидок; Движ: организация вечеринок оффлайн и онлайн, предоставление мерча, проведение конкурсов и челленджей. Откликайтесь, будем рады познакомиться лично!