LLM Data Evaluation Engineer
Описание
Мы помогаем государству проводить disrupt госуправления через внедрение AI/GenAI и ускорять национальное развитие AI/GenAI, организуем одно из крупнейших в мире профильных мероприятий – AIJourney, объединяем бизнес, государство и международное научное сообщество, чтобы обеспечить GenAI-трансформацию страны. Обязанности • cтроить и развивать систему оценки качества LLM, RAG и агентов: тестовые наборы, метрики, автоматические прогоны, отчёты • проводить регрессионное тестирование в CI при смене моделей, промптов и настроек, контролировать качество перед релизами и показами • оценивать агентов по траекториям: успешность задач, ошибки вызова инструментов, лишние шаги • калибровать автоматическую оценку (LLM-as-a-judge) против экспертной разметки • строить пайплайны обработки документов: PDF, сканы, OCR, таблицы, восстановление структуры • готовить датасеты для дообучения, включая синтетические данные и траектории вызова инструментов. Требования • от 3 лет в Data Science, Data Engineering или ML, из них не менее года с LLM-проектами • опыт построения с нуля системы оценки качества LLM или RAG • знание метрик поиска (recall@k, MRR, nDCG) и метрик ответов (faithfulness, полнота, корректность) • опыт оценки агентных систем или многошаговых сценариев • прикладная статистика: доверительные интервалы, значимость различий, размер выборки • опыт обработки реальных документов в продакшене, включая OCR • Python на уровне production-кода, уверенный SQL • оркестрация пайплайнов (Airflow, Prefect, Dagster или аналоги), версионирование данных и трекинг экспериментов (DVC, MLflow или аналоги). Будет плюсом: • работа с юридическими, нормативными или канцелярскими текстами на русском языке • классический NLP: NER, классификация, извлечение сущностей • опыт с русскоязычными бенчмарками • работа с персональными данными по 152-ФЗ • Elasticsearch, OpenSearch, векторные базы данных. Условия гибридный формат работы (м Кутузовская) ежегодный пересмотр зарплаты, годовой бонус корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ подписка Прайм с возможностью совместного использования на трёх близких вознаграждение за рекомендацию друзей в команду Сбера корпоративная пенсионная программа.