Middle Data Engineer (Москва) Опыт работы с Greenplum/ hadoop
Описание
КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России. В связи с активным развитием внутренних проектов в компании открыта вакансия Middle Data Engineer (Опыт работы с Greenplum/ hadoop) СТРОГО ОКОНЧЕННОЕ ВЫСШЕЕ ОБРАЗОВАНИЕ!!! Наши ожидания от тебя: Опыт работы от 3х лет. Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения (execution plans), знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы). Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты готов(а) работать с нашим Scala-ядром). Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач. Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов. Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач. Уверенная работа с Git, понимание принципов CI/CD для данных. Дополнительным плюсом будет: Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink. Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi). Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в K8s). Опыт работы с инструментами Data Quality (dbt, Great Expectations и аналоги). Базовое понимание ML-процессов (как модели потребляют данные, feature store). МЫ ПРЕДЛАГАЕМ: Работу в стабильной компании, "белую" заработную плату; Оформление в соответствии с ТК РФ с первого дня работы; Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции; Профессиональное обучение и развитие; Яркая и насыщенная корпоративная жизнь; Снабжаем всей необходимой современной техникой: мощный ноут привезут прямо в день оформления; ✅ ОТКЛИКАЙСЯ =) ЖДУ КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)