Аналитик-разработчик в Группу расширенной аналитики данных

Описание

Мы работаем с уникальной базой данных по российскому бизнес-сектору. Решаем сложные задачи на стыке Big Data, ML и Graph Theory, результаты которых напрямую влияют на ключевые бизнес-процессы компании. Строим команду экспертов, где ценится инициатива и глубокое погружение в предметную область. Вы сможете поработать с передовыми технологиями (LLM, графовыми БД) на реальных промышленных объёмах данных.

Какие задачи вас ждут:

Разработка пайплайнов обработки Big Data
Чтобы строить и развивать обширную базу данных, нужно настраивать и поддерживать оптимальные алгоритмы обработки Big Data из внутренних и внешних источников.

ML-сопоставление (мэтчинг) и оценка (скоринг) входного потока клиентов
Для look-alike-оценки аудиторий и бизнесов мы внедряем и улучшаем ML-модели, пользуясь разметкой асессоров.

Внедрение LLM для обработки бизнес-информации
Новый вызов для нас внедрение LLM на полном потоке наших данных для классификации бизнесов, обогащения их атрибутного состава, генерации текстового описания.

Графовые алгоритмы и задача Entity Resolution
Максимальная полнота данных достигается за счёт использования графов и их обработки передовыми алгоритмами в парадигме MapReduce. Также для извлечения полезного сигнала по графу предстоит улучшить подходы к решению задачи Entity Resolution выделения связных сущностей.

Мы ждем, что вы:

• Уверенно программируете на Python
• Знаете SQL, понимаете работу с множествами
• Умеете самостоятельно проверять результаты, находить и обрабатывать корнер-кейсы
• Знаете основные алгоритмы обработки данных

Будет плюсом, если вы:

• Работали с LLM
• Работали с Яндекс Краудом и разметками данных
• Имеете базовые навыки работы с фронтендом
• Знакомы с парадигмой MapReduce и распределёнными вычислениями
• Знаете классические ML-алгоритмы