Data Engineer / ETL-разработчик
Описание
IT-компания GNIVC- партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга. Компания входит в ТОП-100 лучших работодателей страны и на 9-м месте в категории «IT-компании» 2025 года по рейтингу работодателей hh среди крупных компаний Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job У нас есть ИИ-песочница - среда для экспериментов и реальных проектов на современных опенсорс-больших языковых моделях. Здесь можно применять ИИ для оптимизации своей работы, автоматизации процессов и реализации собственных идей от гипотезы до результата Являемся аккредитованной ИТ-компанией Обязанности: разработка и сопровождение процессов обработки данных; проектировать, разрабатывать и сопровождать ETL/ELT-процессы загрузки данных из источников в Озеро данных на базе Hadoop; разрабатывать и поддерживать пайплайны загрузки и трансформации данных, обеспечивать их стабильную работу и мониторинг; обеспечивать согласованность, полноту и качество данных на всех этапах жизненного цикла (сбор → хранение → трансформация → представление); работа с СУБД и хранилищами Проектировать и оптимизировать схемы хранения данных в PostgreSQL: таблицы, индексы, транзакции, процедуры; разрабатывать и сопровождать модели данных в ClickHouse: схемы таблиц, партиционирование, тиры хранения, материализованные представления; разрабатывать и сопровождать SQL-конфигурации для сборки цепочек событий процессов по задачам от аналитиков; заниматься тонкой настройкой тяжелых Spark-расчетов на кластере: искать узкие места через Spark UI, убирать лишние пересчеты и бороться с перекосами данных; поддерживать витрины данных для отчётов и аналитики заказчиков. Устранять узкие места производительности, выявлять и исправлять ошибки в данных; контролировать актуальность, корректность и доступность данных для потребителей; участвовать в проектировании архитектуры новых данных и хранилищ (ClickHouse, PostgreSQL, Elasticsearch) , выборе форматов и схем; Вести техническую документацию по схемам данных, процессам и регламентам. Соблюдать требования информационной безопасности и регламенты компании при работе с данными; автоматизировать рутинные операции по обработке и контролю данных. Участвовать в настройке мониторинга пайплайнов и своевременной реакции на сбои загрузки данных. Требования: уверенное знание SQL (JOIN'ы, подзапросы, оконные функции, CTE, настройка планов выполнения); опыт работы с PostgreSQL: проектирование БД, оптимизация запросов, работа с индексами, транзакциями и нагрузкой; опыт работы с ClickHouse: моделирование таблиц, партиционирование, тиры хранения, оптимизация распределённых запросов; опыт работы с Озером данных на базе Hadoop: понимание архитектуры HDFS и форматов хранения (Parquet, ORC, Avro); опыт разработки ETL/ELT-процессов и пайплайнов данных; понимание принципов обработки больших данных и жизненного цикла данных (сбор → хранение → трансформация → предоставление); знакомство с Spark / Hive / HDFS на практическом уровне; опыт с инструментами оркестрации (Airflow, NiFi и т.п.). Знакомство с потоковой обработкой (Kafka, ClickHouse); базовое понимание Docker, Linux, Git. Опыт с BI-инструментами и витринами данных для аналитики. Навыки работы с Python (для скриптов обработки/автоматизации). Активно использовать ИИ-инструменты (ассистенты для написания и проверки кода) в повседневной работе; применять ИИ для ускорения рутинных задач: написание/рефакторинг SQL, генерация и проверка ETL-сценариев, объяснение ошибок. Владеть практикой промптирования: формулировать задачи для ИИ-ассистентов и критически проверять их выдачу; использовать ИИ для анализа данных и самопроверки результатов. Соблюдать требования информационной безопасности при работе с ИИ (не передавать чувствительные данные. Мы предлагаем: гибкие форматы работы: возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ; рабочий график: пятидневная рабочая неделя (Пн. – Чт. с 09:00 до 18:00, Пт. с 09:00 до 16:45); достойное вознаграждение: конкурентная заработная плата по результатам собеседования, а также премии за эффективную работу и достигнутые результаты; официальное трудоустройство: полное соблюдение требований ТК РФ, включая оплачиваемые отпуска (с дополнительной выплатой 50% от оклада после 11 месяцев работы в Компании) и выплату заработной платы дважды в месяц; заботу о здоровье: компенсация больничного листа продолжительностью до 7 дней с сохранением полной оплаты, эквивалентной рабочему дню, добровольное медицинское страхование (ДМС) по окончании испытательного срока, с широким перечнем ведущих медицинских учреждений, включая качественную стоматологию, возмещение до 50% затрат на занятия спортом; развитие и обучение: профессиональное обучение и сертификация за счет компании, организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов, партнерские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox, доступ к корпоративной библиотеке на платформе Alpina Digital; дополнительные выходные: возможность взять 5 дополнительных оплачиваемых выходных (ресурсных) дней в течение календарного года (с 1 января до 31 декабря) для сотрудников, проработавших в компании более 11 месяцев.