Data Engineer ClickHouse
Описание
Наша команда разрабатывает продукт для сбора, хранения и анализа данных о пользовательском окружении с целью выявления проблем пользователей и своевременного реагирования на них. Аналитика проводится на основе собираемой в NRT режиме информации по рабочему окружению и данных различных внутренних продуктов. Обязанности поддержка, развитие и оптимизация кластеров ClickHouse проектирование и реализация ETL-процессов с использованием Kafka и Bash мониторинг, анализ и повышение производительности баз данных разработка и поддержка скриптов автоматизации на Bash участие в проектировании архитектуры хранения и обработки данных Будет плюсом опыт работы с другими СУБД (PostgreSQL, MySQL) знание Python или других скриптовых языков для автоматизации опыт работы с системами CI/CD, контейнеризацией (Docker, Kubernetes) опыт работы с системами мониторинга (Prometheus, Grafana, Zabbix) и логирования. Требования ClickHouse: опыт проектирования таблиц, понимание движков таблиц (MergeTree, ReplicatedMergeTree, Kafka), оптимизация хранения данных, партиционирование и шардирование Kafka: настройка, разработка пайплайнов обработки данных уверенное владение Bash: написание и поддержка скриптов для автоматизации рутинных задач Linux: опыт работы в консоли навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом. Условия локация: Москва, БЦ "Даниловский форт" (м.Тульская / Нагатинская / МЦК "Верхние котлы") возможен гибридный формат работы гибкий график начала рабочего дня уровень заработной платы определяем по итогам собеседования бесплатный спортзал ДМС с 1го дня работы работы обучение и сертификацию за счет компании бесплатная подписка Прайм с возможностью совместного использования на трёх близких выстроенные процессы по адаптации, оценке и понятную систему роста в компании наставника на период адаптации и богатую корпоративную жизнь, в которой можно участвовать по желанию.