Python Developer (DWH)

Описание

Команда занимается развитием и поддержкой корпоративного хранилища данных в Лаборатории Касперского.

Мы создаем ядро современной Customer Data Platform (CDP) систему, которая становится единым источником правды о клиентах для всего бизнеса. Платформа предназначена для сбора, унификации и обработки near real time больших объемов клиентских данных из различных источников данных (брокеры сообщений, реляционные БД, REST API).

Вам предстоит:

• Участвовать в разработке и поддержке ядра CDP;
• Проектировать и реализовывать высоконагруженные микросервисы на Python для приема и обработки данных;
• Проектировать схемы хранения и оптимизировать запросы в MS SQL Server и Clickhouse;
• Предлагать технические решения и внедрять передовые практики в области качества кода, безопасности, отказоустойчивости и производительности сервисов;
• Работать с системами потоковой обработки данных;
• Разрабатывать unit-тесты и мониторинг для обеспечения стабильности и прозрачности работы сервисов;
• Участвовать в CI/CD процессах, релизах, деплоях и операционной работе от первых запусков до масштабирования;
• Оказывать наставничество и поддержку бэкенд-разработчикам, проводить код-ревью.

Мы ожидаем от Вас:

• Уверенное владение Python 3.11+ ;
• Опыт работы с реляционными базами данных: MS SQL Server или PostgreSQL ;
• Опыт работы с SQLAlchemy, Pydantic ;
• Опыт работы с контейнеризацией - Docker, ;
• Опыт интеграции с системами через Kafka, RabbitMQ, REST API;
• Понимание архитектурных паттернов: CQRS, Saga, Event Sourcing, CDC, Transactional Outbox ;
• Опыт использования Apache Airflow для оркестрации процессов;
• Умение писать интеграционные, функциональные и unit-тесты;
• Опыт работы с большими объемами данных и оптимизации производительности.

Будет плюсом:

• Опыт работы с С# ;
• Опыт работы с Hadoop, S3, Clickhouse ;
• Опыт работы с Spark ;
• Опыт работы с Prometheus , Grafana .
• Опыт работы с Kubernetes.