Data Engineer (финтех)
Описание
В нашей компании Decart IT мы относимся к специалистам как к партнёрам, и помогаем им не только зарабатывать, но и участвовать в проектах, которые мотивируют и вдохновляют. Все детали берём на себя: подбираем проект на основе твоих предпочтений, договариваемся с заказчиком о ставке, организовываем интервью и помогаем успешно пройти его, а также забираем на себя формальный документооборот. С тебя - только твоя экспертиза!Сейчас мы ищем кандидатов на позицию Data Engineer! Что нужно будет делать? Зависит от проекта и этапа его жизненного цикла, но в целом: Проектировать и разрабатывать production data pipelines для сбора, обработки и трансформации больших объемов данных (ETL/ELT); Настраивать и поддерживать оркестрацию пайплайнов с использованием Apache Airflow; Разрабатывать высоконагруженные обработчики потоковых данных на Spark/PySpark и Kafka; Выполнять запросы и оптимизировать хранение данных в промышленных СУБД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL); Поддерживать и развивать Data Warehouse (хранилища данных), работая со слоями DDS, DM (моделирование данных); Обеспечивать надежность и отказоустойчивость существующих пайплайнов: мониторинг, отладка, рефакторинг и оптимизация производительности; Участвовать в миграциях ETL/DWH систем (при наличии соответствующих проектов); Внедрять практики Data Quality и контроля целостности данных на всех этапах обработки. Что нужно уметь, знать, какими навыками обладать: Уверенный коммерческий опыт разработки на Python (от 3–4 лет) с написанием поддерживаемого и документированного кода; Глубокое знание SQL и опыт работы с промышленными БД (обязательно хотя бы с одной из: PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL); Опыт разработки и сопровождения production data pipelines в продакшене; Практическое использование Apache Airflow для оркестрации задач; Опыт работы с Apache Spark/PySpark и потоковой обработкой Kafka; Знание экосистемы Hadoop/Hive. Будет плюсом: Опыт с ETL-инструментами (Informatica/SAS DIS); Работа с NiFi для построения потоков данных; Хранение данных в форматах Parquet/ORC и работа с табличными форматами (Iceberg); Опыт работы с облачными объектными хранилищами ( S3 или аналоги); Навыки моделирования данных (Data Vault, Kimball, 3NF); Опыт миграций ETL/DWH систем; Настройка мониторинга и визуализации метрик (Grafana/Prometheus); Контроль качества данных (Data Quality). Что мы предлагаем: Возможность выбирать проекты и заказчиков под твой запрос: будь то громкое имя компании для портфолио, интересные задачки, чтобы не терять хватку, или просто спокойная работа в привычном режиме; Оформление ИП, самозанятость; Можешь работать из любого места, где тихо и есть интернет (на территории РФ) Присоединяйся к нашей команде, чтобы узнать, что такое по-настоящему человекоцентричный аутстаффинг. Ждём тебя!