Data Platform Engineer
Описание
Чем предстоит заниматься: Проектировать и разрабатывать batch- и streaming processing сервисы, удовлетворяющих требованиям Business Critical; Реализовывать интеграции с системами-источниками и системами-потребителями в части клиентских данных; Внедрять DQ-проверки на этапах обработки данных; Выстраивать мониторинг, логирование и сбор метрик системы; Реализовывать CI/CD, требования ИБ, компоненты для повышения надежности и стабильности сервисов. Наши ожидания: 3+ года опыта в роли Data Engineer/Backend Developer; Java: уверенное владение для streaming processing; Python: для написания DAGs Airflow (DAG, операторы, сенсоры); Airflow: DAG, операторы, сенсоры; SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse; Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков; СУБД: Redis/ClickHouse/PostgreSQL или подобные системы; CI/CD: Gitlab CI, Runners, Docker, Bash; Опыт использования AI-инструментов (ChatGPT, Claude, Cursor) для ускорения разработки, отладки и тестирования кода; Применение AI для анализа логов, алертов и автоматизации CI/CD-пайплайнов. Мы предлагаем: Доступ к современным AI-инструментам; Работу в стабильной и активно развивающейся компании – лидере инвестиционного рынка; Современный стек технологий, амбициозные проекты, возможность профессионального развития; Гибридный режим работы: возможность работать удаленно (частично или полностью); Работу в аккредитованной Минцифры России ИТ-компании, резиденте Сколково; ДМС с первого месяца работы.