Data Engineer (офис, Москва)
Описание
КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России. В связи с активным развитием проектов в компании открыта вакансия Data Engineer ОФИС В МСК ФОРМАТ РАБОТЫ: ОФИС, МСК Стек технологий: SQL, Hadoop, Spark, Hive Основные обязанности: - Построение логических и/или физических моделей данных; - Опыт построения таблиц с версионированием данных (бизнес/техническая история , ескд2); - Знание etl процессов; - Проектирование алгоритмов загрузки (инит/архив, инкремент, выделение дельты изменений); - SQL - уверенные знания ; - Опыт работы с инструментарием Hadoop (Spark, Hive, HDFS, YARN); - разработка java дистрибутива etl процесса; - Работа с БД с использованием Spark java framework; - настройка параметров spark фреймворка (оптимизация Spark контекста); - Работа с датафреймами и датасетами; - Оптимизация плана запросов. - опыт со scala будет преимуществом МЫ ПРЕДЛАГАЕМ: Работу в стабильной компании, "белую" заработную плату; Оформление в соответствии с ТК РФ с первого дня работы; Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции; Профессиональное обучение и развитие; Яркая и насыщенная корпоративная жизнь; Снабжаем всей необходимой современной техникой: мощный ноут привезут прямо в день оформления. ФОРМАТ РАБОТЫ: ОФИС, МСК