Data Engineer (Графовая база данных)

Описание

Вы будете работать над одним из ключевых проектов Сбербанка разработкой современного ситуационного центра кибербезопасности (SOC). Ежедневно SOC обрабатывает более 500 миллиардов событий кибербезопасности, что требует уникальных инженерных решений и глубокой компетенции в работе с большими данными. Цель проекта заключается в создании инструментов графовой аналитики, позволяющей эффективно обрабатывать огромные объемы информации и оперативно реагировать на возникающие угрозы.

Вам предстоит:

• проектирование и реализация надежных и производительных ETL-конвейеров с использованием Apache Airflow
• подготовка и очистка данных из различных источников (ClickHouse, HDFS)
• организация эффективного процесса выгрузки и загрузки данных в графовые базы данных, такие как Neo4j, DGraph, FastGraph
• повышение производительности и отказоустойчивости процессов загрузки данных
• участие в развитии архитектуры хранения и обработки данных, улучшение существующих процессов и внедрение лучших практик индустрии.

Что для нас важно:

• продвинутый уровень владения Python (разработка промышленного кода)
• практический опыт работы с Apache Airflow, ClickHouse и HDFS
• опыт работы с графовыми базами данных
• отличное знание SQL и понимание специфики работы с NoSQL-решениями
• понимание принципов оптимизации производительности и масштабируемости систем обработки данных.

Мы предлагаем:

• комфортный современный офис
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.