Тимлид команды разработки DWH
Описание
Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7. Что нужно делать: Управлять кросс-функциональной командой. Обеспечивать эффективное взаимодействие между БА, СА, дата-инженерами, дата-аналитиками, тестировщиками и разработчиками. Распределять задач с учётом профиля специалистов и приоритетов проектов. Участвовать в найме, онбординге и менторстве новых членов команды. Осуществлять декомпозицию задач, оценку трудоёмкости, формирование спринтов и бэклога. Контролировать сроки и качество реализации (ETL/ELT-процессы, витрины данных, отчётность, API-слои). Предоставлять отчётности по метрикам команды: скорость, загрузка, качество данных. Проектировать и развивать архитектуру ДВХ (Data Lake, Data Warehouse, Data Marts). Выбирать и внедрять технологии: СУБД (ClickHouse, Greenplum, PostgreSQL, MongoDB), оркестрация (Airflow), обработка данных (Spark, Python/Java/Scala). Обеспечивать методологию Data Vault 2.0, оптимизировать запросы, репликация и шардинг. Управлять интеграциями через брокеры сообщений (Kafka), REST API. Координировать работу БА и СА по сбору, анализу и документированию требований к данным. Участвовать в разработке ТЗ, функциональных спецификаций, API-спецификаций. Контролировать соблюдение нотаций BPMN, UML, моделей данных. Проводить код-ревью для Python-разработок и SQL-скриптов. Контролировать тестовое покрытие (unit, интеграционные тесты), работы с DBT, валидации данных. Настраивать CI/CD (GitLab CI) для пайплайнов обработки данных. Внедрять мониторинг качества данных, логирования (Grafana, Rancher). Инициировать рефакторинг, оптимизации запросов и пайплайнов. Участвовать в разборе инцидентов на production-среде (остановка пайплайнов, потеря данных), проведение post-mortem. Организовывать дейли, планирование, ретроспективы, грумминг бэклога. Взаимодействовать с заказчиками, стейкхолдерами, смежными командами (разработка приложений, администрирование БД). Какие знания и навыки нам важны: Опыт разработки или анализа данных от 5 лет, из них не менее 2 лет в роли Team Lead / Tech Lead. Успешное управление командой от 5 человек (включая аналитиков и инженеров данных). Опыт построения процессов работы с данными в высоконагруженной среде (микросервисы, большие объёмы). Языки программирования: знание Python (pandas, PySpark, FastAPI/Flask, DBT) и дополнительно Java/Scala – для понимания стека инженеров. SQL: уверенное владение (сложные запросы, оконные функции, CTE, оптимизация) – для код-ревью и помощи аналитикам/инженерам. СУБД и хранилища: опыт с ClickHouse, Greenplum, PostgreSQL, Oracle, MongoDB. Оркестрация и ETL: практический опыт с Apache Airflow, DBT, понимание ETL/ELT-подходов. Моделирование данных: знание методологии Data Vault 2.0, Data Lake / Data Warehouse. Брокеры сообщений: Kafka (потоки данных, интеграции). CI/CD и Git: GitLab CI, Git (ветвление, ревью). Знание BI-инструментов (Tableau, Power BI, Apache Superset) - желательно. Опыт с системами потоковой обработки (Spark Streaming, Flink) - желательно. Условия: официальное трудоустройство в аккредитованную ИТ-компанию график работы гибрид 5/2 (офис в 3 минутах от станции метро Таганская) ежегодное премирование по результатам работы материальную помощь в случае важных событий в жизни корпоративное обучение и доступ к онлайн-библиотеке скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д. корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие