Инженер данных (потоковая загрузка)

Описание

Наша команда развивает Единое хранилище данных по всем процессам Центрального банка Российской Федерации. В нем консолидируется почти вся информация о финансовом рынке, необходимая для контроля, регулирования и прогнозирования развития экономики страны.

Мы создаем на базе Единого хранилища данных приложения для анализа и визуализации информации, которая необходима для принятия решений о денежно-кредитной политике Российской Федерации.

На проект реализации Комплексной системы мониторинга финансового рынка приглашаем дата инженера (потоковая загрузка данных).

Технологический стек :

Oracle, Click House, Hadoop, Informatica. В ближайшем будущем Postges Pro, ArenadataDB / Arenadata Hadoop, Apache Kafka, Apache Spark Streaming, Apache NiFi

Обязанности:

• построение и развитие витрины данных для аналитических задач с учетом требований на загрузку данных в витрину, а также требований политик доступа к данным;
• поставка данных в режиме реального времени с учетом высокой нагрузки
• контроль решения подрядчика в области потоковой загрузки данных на основе имеющихся документов, определяющих требования к разрабатываемому/модернизируемому решению (функциональные требования, техническое задание, запрос на изменение и пр.);
• участие в работах по проектированию архитектуры решения, обеспечивающей соответствие целевой ИТ-архитектуре БР;

• высшее техническое образование;
• релевантный опыт работы от 3-х лет;
• экспертные знания в области разработки и проектирования высоконагруженных потоков данных, обеспечивающих поставку данных в режиме реального времени (в сжатые временные отрезки);
• экспертные знания в области различных методов и технологий построения хранилищ и витрин данных;
• приветствуется опыт работы в финтехе;
• опыт работы с инструментами потоковой загрузки данных (Apache Kafka, Apache Spark Streaming);
• опыт работы с платформами для хранения и распределенных вычислений данных в режиме реального времени (такие как Hazelcast, Redis или аналоги);
• опыт работы с PostgreSQL, ClickHouse , HDFS;
• базовые знания по архитектуре и инструментам построения ETL для ХД (Informatica, MS SSIS, иное);
• навык работы с любым ER-средством;
• знание XML и XSD-спецификаций;
• знание процесса непрерывного развертывания и опыт установки изменений в рамках конвейера CI/CD
• навык работы со средствами версионного контроля;

• гибридный режим работы;
• компенсация релокации