AQA Engineer (Java + ML/LLM, Middle+/Senior)
Описание
Ищем опытного QA-автоматизатора на Java, который умеет не просто писать автотесты, а тестировать алгоритмы на базе LLM: генерацию вопросов, ответов и кратких пересказов, участвовать в оценке качества модели, настройке фактчекинга и улучшении промптов. Что будет в работе Тестирование алгоритмов на базе LLM для генерации вопросов, ответов и кратких пересказов. Разработка автотестов на Java по имеющимся тестовым спецификациям в рамках фреймворка. Анализ неисправностей, рефакторинг и улучшение существующих автотестов. Помощь в настройке инструментов исполнения автотестов на сервере (Jenkins, Selenoid). Работа по улучшению и оптимизации тестового фреймворка. Участие в развитии виртуального ассистента и сценариев свободного диалога с пользователем. Настройка фактчекинга, фильтрации и оценки качества ответов модели. Сравнение результатов, подготовленных моделью, с редакционными версиями материалов. Тестирование промптов, гипотез и подходов к улучшению качества ответов. Что важно Коммерческий опыт автоматизированного тестирования на Java от 3 лет, уровень Middle+ / Senior. Java: базовый синтаксис, типы данных, управляющие конструкции, принципы ООП — уверенное владение. Опыт работы со стеком: JUnit 5, Selenium / Selenide, Allure, Maven. Умение работать с системами контроля версий — Git, GitLab. Умение строить локаторы по XPath и CSS, знание и понимание паттерна Page Object. Опыт тестирования веб-приложений, UI-автотесты, интеграция с CI/CD. Понимание принципов работы ML-моделей, интерес к тестированию LLM и NLP-задач. Умение анализировать неисправности, рефакторить код и улучшать качество автотестов. Умение работать автономно, брать задачу целиком и доводить до результата. Будет плюсом Практический опыт работы с Jenkins и Selenoid. Опыт тестирования API (REST Assured, OkHttp) и микросервисов Участие в развитии виртуального ассистента, чат-ботов, сценариев свободного диалога Настройка фактчекинга, фильтрации и оценки качества ответов модели, сравнение с редакционными версиями Тестирование промптов, гипотез и подходов к улучшению качества ответов LLM Понимание метрик качества LLM: hallucination detection, factual consistency, prompt injection, bias/fairness. Опыт работы с Docker, Kubernetes, базовое понимание инфраструктуры и деплоя. Английский язык для работы с зарубежной документацией, командами и стейкхолдерами. Английский Для проектов без английского язык не требуется. Для европейских и американских проектов нужен английский от B2+. Процесс Короткое общение с рекрутером. Техническое интервью / TechCertify-скрининг. Передача на подходящие проекты клиентам. Если вам близок инженерный подход к автоматизации, нравится не просто «покрывать кейсы», а тестировать сложные ML-системы и влиять на качество модели — будем рады пообщаться.