Системный аналитик
Описание
Проект крупного банка ТОП3! Команда создает и развивает корпоративную распределенную аналитическую СУБД на основе Trino (PrestoSQL), которая используется разработчиками и аналитиками банка для выполнения интерактивных SQL-запросов к разнородным источникам данных (Data Lake, Data Warehouse, NoSQL-хранилища) в масштабе всей организации. Твои задачи: Проводить анализ, проработку ТЗ и приемку реализаций механизмов подключения новых источников данных: разработку требований к коннекторам, поддержку партиционирования создаваемых таблиц, реализацию новых типов данных (например, NUMBER) Проектировать решения по вендорозамещению: обеспечивать совместимость чтения форматов данных (например, .parquet) с поведением, аналогичным Spark, включая корректную обработку некорректных статистик Разрабатывать требования к интеграции Trino с корпоративными системами: аутентификация и авторизация (R0/R1/R2/R3), секрет-менеджеры, системы логирования (ELK), метрики (Prometheus/Grafana) Проектировать механизмы управления доступом и изоляции команд в личных кабинетах (ЛЗ) по уровням доступа, обеспечивать соответствия требованиям информационной безопасности Прорабатывать требования к системе мониторинга производительности Trino-кластеров: метрики координатора, воркеров, запросов (время выполнения, потребление памяти, стадии выполнения). Анализировать и проектировать процессы управления жизненным циклом кластеров (деплой, масштабирование, обновление версий) через специализированный корпоративный портал управления сервисами Разрабатывать требования к реализации Data Lineage: обеспечивать прослеживаемость данных от источников до потребителей с учетом влияния на показатели КП DL Проектировать механизмы создания и управления View через Trino, обеспечивать удобства работы аналитиков и разработчиков Выявлять и формализовать потребности внутренних команд-аналитиков, data-инженеров и разработчиков по работе с Trino Создавать подробную техническую документацию, чек-листы, best practices по написанию оптимальных SQL-запросов и использованию возможностей Trino Тестировать реализованные функции: разратывать тест-планы, сценарии (включая негативные и нагрузочные), проводить приемо-сдаточные испытания Что мы ждем от тебя: Опыт работы системным или бизнес-аналитиком от 4 лет, из них не менее 2 лет в области аналитических СУБД, Big Data или интеграционных платформ Опыт проектирования и описания интеграций через REST API и SQL-интерфейсы. Глубокое понимание архитектуры распределенных SQL-движков: координатор, воркеры, планировщик запросов, оптимизатор, коннекторы Знание принципов работы систем мониторинга: Prometheus, Grafana. Умение читать и интерпретировать метрики Продвинутый уровень SQL, умение работать с технической документацией (RFC, официальная docs), понимание планов выполнения запросов (EXPLAIN) Навыки декомпозиции сложных задач, построения процессов, отличные коммуникационные навыки для работы с техническими командами (разработчики, DevOps) и потребителями (аналитики, data-инженеры) Умение четко и структурно документировать требования в виде ТЗ/User Stories с критериями приемки Будет плюсом: Практический опыт работы с Trino, Presto или аналогичными распределенными SQL-движками (ClickHouse, Greenplum, Hive) Понимание форматов колоночного хранения данных: Parquet, ORC, Iceberg, Delta Lake. Опыт работы с Data Lake на S3 Знание экосистемы Hadoop/Big Data: HDFS, Hive, HBase. Понимание принципов работы с объектными хранилищами Опыт работы с Kubernetes: понимание основных концептов (Pods, Deployments, Services, ConfigMaps) Знакомство с задачами вендорозамещения и миграции с проприетарных СУБД на open-source решения Опыт проектирования систем управления доступом и разграничения прав в корпоративных хранилищах данных Что мы обеспечиваем: Внутренние семинары, митапы, мы очень любим учиться новому ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи Технику для комфортной работы Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника