Data Engineer (Стажер)
Описание
Чем предстоит заниматься Проектирование и разработка отказоустойчивых ETL/ELT процессов в экосистеме Hadoop и Oracle Оптимизация и сопровождение пайплайнов данных (Spark, PySpark, Airflow) Интеграция новых источников данных и построение витрин для бизнес-заказчиков Обеспечение качества и актуальности данных в продуктивных системах Участие в архитектурных решениях по хранению и обработке больших данных Ad-hoc аналитика и поддержка команд аналитиков и data scientist Что для этого нужно Высшее техническое образование (или завершающая стадия обучения) Опыт разработки на Python (написание скриптов, работа с библиотеками pandas, requests) от 6 месяцев (в т.ч. в рамках учебных проектов или стажировок) Уверенное знание SQL (написание сложных запросов, оконные функции, понимание планов выполнения, нормализация БД) Понимание основ архитектуры больших данных (понятия ETL/ELT, колоночные и реляционные хранилища, форматы хранения Parquet/ORC) Знакомство с концепциями оркестрации (Airflow) или опыт настройки простых пайплайнов в учебных целях Понимание принципов работы с системами контроля версий (Git) и умение работать в команде над кодом Базовые навыки работы в Linux (навигация по файловой системе, права доступа, простые bash-скрипты) Готовность к быстрому освоению технологий экосистемы Hadoop/Spark Навыки самостоятельного поиска информации и решения технических задач Опыт использования LLM-агентов и AI-ассистентов (например, Cursor, Claude Code) для генерации, рефакторинга и отладки инженерного кода