Программист группы BI и отчетность по направлению Data Engineer
Описание
ЭТМ — это комплексный федеральный поставщик инженерных систем, входящий в список 200 крупнейших* компаний России Обязанности: Проектирование таблиц для фиксации первичных данных и производительных витрин данных для последующего BI-анализа (Vertica) с учетом требований на загрузку данных . Поддержка и расширение формата имеющихся таблиц и витрин. Настройка ETL/ELT процессов с акцентом на эффективность и отказоустойчивость. Мониторинг и оптимизация производительности (ETL/ELT процессов; выборки данных) . Проведение тестирования по итогу разработки таблиц/витрин. Сопровождение бизнес-тестирования витрин данных. Подготовка описаний ETL/ELT процессов. В качестве дополнения - формирование фоновой отчетности на основе данных аналитической СУБД. Участие в проектных совещаниях, предусмотренных по проектам. Участие в процессе ревью проектирования таблиц в разных ролях (автор или рецензент). Требования: Глубокие знания SQL, опыт работы с реляционными/не реляционными БД. Знание Python (базовые алгоритмы и структуры данных, работа с БД, с файлами). Понимание принципов построения хранилищ данных (Data Warehouse, Data Lake) на Vertica. Опыт работы с большими данными (Clickhouse, Greenplum, Vertica). Опыт работы с ETL/ELT инструментами (Apache AirFlow, NiFi и тд). Наличие минимальных представлений о cmd/bash shell (scheduler/cron). опыт работы с инструментами потоковой загрузки данных (Apache Kafka, Apache Spark Streaming). Навыки программирования Python (опционально JAVA, php). Опыт обеспечения надежности систем: обработка ошибок, мониторинг, тестирование. Использование инструментов командной разработки . Знание систем ведения задач проектов. Опыт сбора БТ на данные. Условия: Работа в аккредитованной российской IT-компании. Работа над масштабными, интересными проектами в управляющем центре крупной компании. Официальное трудоустройство с первого дня работы. Гарантии и льготы в соответствии с трудовым законодательством РФ. Современный офис в центре города (выделенные зоны приема пищи, обособленные места отдыха, корпоративный кофе). График: 5/2 с 08:30 до17:30 (в пятницу до 16:30); Бесплатные тренировки по футболу, тег-регби, настольному теннису, членство в беговом клубе. Скидки на матчи клуба "Зенит". Корпоративные скидки на изучение английского языка. Бесплатные билеты в Мариинский театр на ежемесячной основе.