Тестировщик Naimus
Описание
Тестовая вакансия Обязанности: Тестирование ML-модели: Проверка точности, полноты и recall модели на различных наборах данных. Анализ метрик качества (accuracy, precision, recall, F1-score, AUC-ROC и др.) и понимание, что каждая из них означает в контексте конкретной задачи. Проведение A/B тестов разных версий моделей. Смещение (Bias) и Дисперсия (Variance): Умение распознавать случаи переобучения (overfitting) и недообучения (underfitting). Тестирование на смещенных данных (Bias & Fairness): поиск сценариев, где модель работает несправедливо по отношению к определенным группам (например, по полу, возрасту, расе). Тестирование данных (Data Testing): Проверка качества входных данных: их полноты, консистентности, корректности форматов. Валидация данных, используемых для обучения и валидации модели. Тестирование функциональности AI-фич: Проверка корректности и уместности ответов, работы с контекстом. Проверка релевантности выданных рекомендаций. Работа с "Пограничными случаями" (Edge Cases) и "Составлением яда" (Data Poisoning): Целенаправленный поиск и создание входных данных, которые могут сломать или обмануть модель (adversarial examples). Тестирование модели на данных, сильно отличающихся от обучающей выборки (out-of-distribution data). Функциональное тестирование Требования: Анализ метрик качества (accuracy, precision, recall, F1-score, AUC-ROC и др.) и понимание, что каждая из них означает в контексте конкретной задачи. Базовые знания: Разработка и поддержка тест-кейсов, чек-листов, тест-планов. Активное использование техник тест-дизайна для покрытия функциональности. Качественное оформление баг-репортов с четкими шагами воспроизведения, логами, скриншотами. Умение декомпозировать сложную проблему на составляющие. Анализ корневых причин (Root Cause Analysis) Технические навыки: Умение работать с системами баг-трекинга (Jira, Bugzilla, Redmine) Уверенное написание SQL запросов: SELECT, WHERE, JOIN (как минимум INNER и LEFT), GROUP BY, ORDER BY Инструменты: опыт работы с инструментами тестирования и БД (Postman, Swagger, Kafka, ELK, DevTools, PostgreSQL, MySQL, SQL Server.) Знание форматов данных: JSON, XML. Понимание типов API: REST (обязательно), знакомство с GraphQL (будет плюсом). Базовое понимание одного из языков программирования (Java или JavaScript/Python). Умение прочитать и понять чужой код. Личные качества: Внимательность, аналитическое мышление, умение работать в команде Самостоятельное планирование Принятие решений Инициатива Английский язык: технический уровень для работы с документацией Условия: Опыт работы от 3х лет. График работы: полный рабочий день, 5/2 Формат работы: удаленная работа Зарплата: до 160 000 рублей (в зависимости от уровня) Бонусы: премии за успешное выполнение проектов Обучение: возможность профессионального роста и обучения Карьерный рост: перспективы развития до Senior QA Engineer или автоматизатора Соцпакет: оплачиваемый отпуск и больничный Дополнительно: корпоративные мероприятия, тимбилдинги, печеньки