Middle Data Engineer (Москва)
Описание
КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России. В связи с активным развитием внутренних проектов в компании открыта вакансия Middle Data Engineer (Опыт работы с Greenplum/ hadoop)-СТД НА 3 МЕС. СТРОГО ОКОНЧЕННОЕ ВЫСШЕЕ ОБРАЗОВАНИЕ!!! Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если тыготов(а) работать с нашим Scala-ядром) СТД ДО КОНЦА ГОДА! Наши ожидания от тебя:Опыт работы от 3х лет.• Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения (execution plans), знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы).• Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты готов(а) работать с нашим Scala-ядром).• Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач.• Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов.• Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач.• Уверенная работа с Git, понимание принципов CI/CD для данных.Дополнительным плюсом будет:• Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink.• Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi).• Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в K8s).• Опыт работы с инструментами Data Quality (dbt, Great Expectations и аналоги).• Базовое понимание ML-процессов (как модели потребляют данные, feature store). МЫ ПРЕДЛАГАЕМ: Работу в стабильной компании, "белую" заработную плату; Оформление в соответствии с ТК РФ с первого дня работы; Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции; Профессиональное обучение и развитие; Яркая и насыщенная корпоративная жизнь; Снабжаем всей необходимой современной техникой: мощный ноут привезут прямо в день оформления; СТД НА 3 МЕС ✅ ОТКЛИКАЙСЯ =) ЖДУ КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)