Научный сотрудник (Data Scientist)
Описание
Мы разрабатываем агентную систему и инструменты для объективной оценки её качества. Ищем middle-инженера на стыке ML и Python, который понимает принципы работы агентных систем и имеет инженерную базу для их развития. Обязанности: Проектировать evals для LLM-агентов, tool calling, поиска и итоговых ответов. Определять единицу оценки: ответ, вызов инструмента, trace/trajectory или итоговый артефакт. Создавать и поддерживать тестовые датасеты, разметку и ground truth. Разрабатывать детерминированные метрики и LLM-as-a-Judge evaluators. Калибровать автоматические оценки на человеческой разметке. Запускать и анализировать эксперименты, находить регрессии и недостатки покрытия. Работать с traces и наблюдаемостью в Langfuse. Совместно с командой определять quality gates для изменений агентов, моделей и промптов. Развивать агентов и агентную платформу: инструменты, навыки, интеграции. Развивать программную инфраструктуру на Python и интегрировать её с рабочей агентной системой, работать с существующими API и внешними сервисами. Разбираться в полном пути запроса через несколько сервисов и диагностировать проблемы по логам и traces. Проектировать явные контракты данных и устойчивую обработку ошибок. Писать unit- и интеграционные тесты, участвовать в code review. Работать с CI/CD и контейнеризированным окружением. Использовать coding agents для реализации задач и отвечать за качество итогового решения. Требования: Production-Python: типизированный код, явные модели данных (dataclasses, Pydantic), понятная декомпозиция модулей. Практический опыт unit- и интеграционного тестирования, включая проверку ошибок и граничных случаев. Понимание `async`/`await`, HTTP API и корректной обработки сетевых ошибок. Опыт работы в сервисной или event-driven архитектуре. Умение ориентироваться в незнакомой кодовой базе и находить причину проблемы по коду, логам и трассам. Git и командная разработка через code review. Понимание принципов работы LLM и агентов, использующих инструменты. Умение превратить продуктовое требование в проверяемую гипотезу и дизайн эксперимента. Практика классификационных метрик и базовой статистики: precision/recall, срезы, уверенность в выводе. Понимание различий между детерминированными проверками и LLM-as-a-Judge. Умение задавать уточняющие вопросы, фиксировать критерии приёмки и объяснять результат разработчикам и владельцам продукта. Будет преимуществом: Опыт с Langfuse, Phoenix, LangSmith, Opik или другой платформой наблюдаемости и оценки LLM-систем. Опыт с RAG, поисковыми системами или агентными фреймворками. Опыт работы с FastAPI, Pydantic и асинхронным Python. Знание Docker, CI/CD, S3-совместимых хранилищ, NATS или других event-driven систем. Опыт разработки eval- или regression-pipelines. Опыт эксплуатации распределённых сервисов. Опыт разработки агентных инструментов и навыков, доработки вычислительного окружения (harness) агентов. Опыт организации человеческой разметки и анализа согласованности экспертов. Опыт использования coding agents: постановка задач, проверка результата и доработка сгенерированного кода. Условия: Работа на переднем крае технологий совместно с научной командой; Возможность влиять на архитектуру и развитие системы; Оформление по ТК, "белая" заработная плата; ДМС с 1 недели работы; Работу в аккредитованной IT-компании с полагающимися льготами; Благотворительные и эко-активности; Компенсацию обучения; Все необходимое для работы, комфортный офис и корпоративную технику.