QA Engineer / LLM Evaluation
Описание
В команду AIFA ищем QA-инженера, который будет отвечать как за классическое качество программного продукта, так и за оценку результатов работы LLM и финансового агента. Роль подойдёт технически сильному специалисту или QA-инженеру, который хочет развиваться в автоматизации тестирования AI-продуктов. Обязанности проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов автоматизировать API- и UI-тесты проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования формировать бенчмарки и метрики качества LLM-компонентов проверять воспроизводимость результатов и анализировать причины деградации качества участвовать в разборе дефектов и контролировать их исправление. Формировать quality gates для выпуска релизов организовывать валидацию результатов совместно с финансовыми экспертами. Требования опыт в роли QA от 2х лет понимание основных видов и методик тестирования опыт тестирования REST API базовые знания Python и готовность развиваться в автоматизации базовый SQL умение работать с логами и локализовывать источник ошибки понимание клиент-серверной и микросервисной архитектуры внимательность к деталям и способность системно описывать дефекты опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM будет преимуществом глубокая финансовая экспертиза не обязательна — необходимую предметную часть поможет освоить команда. Условия комфортный современный офис рядом с м. Ленинский проспект гибридный формат работы ежегодный пересмотр зарплаты, квартальная и годовая премия (премия указывается в зависимости от должности и системы премирования) корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития программа адаптации и помощь руководителя на старте (для вакансий уровня Junior) расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ подписка Прайм с возможностью совместного использования на трёх близких вознаграждение за рекомендацию друзей в команду Сбера.