Data Engineer (GigaEye)
Описание
Мы развиваем платформу данных для подготовки датасетов «общих знаний» о внешнем мире. Эти данные напрямую используются в развитии ИИ: для обучения моделей, retrieval/search и других сценариях. Обязанности разрабатывать batch-пайплайны на Spark для трансформации данных из сырых источников (raw) в готовые витрины и датасеты для ML-команд. обеспечивать качество данных: реализовывать алгоритмы дедупликации, очистки, фильтрации и обогащения. оптимизировать хранение в S3 + Iceberg: настраивать партиционирование, компактизацию, управлять жизненным циклом снепшотов для работы с сотнями петабайт данных. разворачивать и оркестрировать пайплайны с помощью Airflow и Kubernetes (деплой своих Spark-джоб и сервисов без хардкорного DevOps). организовывать быстрый и удобный доступ исследователей к данным через Trino/Presto. Требования опыт работы Data Engineer от 3 лет. глубокое понимание под капотом Spark (настройка потребления памяти, борьба со skew, оптимизация планов запросов). практический опыт с S3-совместимыми хранилищами и табличными форматами (Iceberg, Delta или Hudi), нас Iceberg. уверенное владение SQL и Python. опыт контейнеризации и запуска задач в Kubernetes. умение проектировать пайплайны, устойчивые к падениям и дублям (идемпотентность). Будет плюсом Опыт администрирования или оптимизации Trino/Presto. Работа с форматами web архивов (WARC, Common Crawl). Опыт подготовки текстов или данных специфично под задачи ML/LLM. Условия стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты комфортный современный офис рядом с м.Кутузовская гибридный формат работы: встречаемся очно в офисе 1 раз в неделю корпоративный спортзал и зоны отдыха уникальная система обучения Сбера для профессионального и карьерного развития программа адаптации и помощь руководителя на старте расширенный ДМС и льготное страхование семьи гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ бесплатная подписка СберПрайм, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера корпоративная пенсионная программа