Senior QA Engineer
Описание
Кто мы? EVO AI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта. Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу для создания и оркестрации AI-агентов. Работаем с крупным российским и международным бизнесом. Чем предстоит заниматься Разрабатывать и поддерживать QA-стратегию и процессы тестирования продукта. Тестировать как классическую веб-часть продукта — Flask API, Next.js UI, так и AI-функциональность. Развивать автоматизацию тестирования: Python + pytest на backend; testcontainers для интеграционных тестов; Vitest / Jest + React Testing Library на frontend; Playwright / Cypress для E2E. Проводить API-тестирование REST API и проверять соответствие OpenAPI-контрактам. Работать с unit / integration / E2E тестами, фикстурами, параметризацией и моками. Тестировать распределенные сценарии: Celery, Redis, асинхронные процессы, очереди, eventual consistency. Проверять работу с PostgreSQL, миграциями Alembic и корректностью tenant-scoping. Настраивать и поддерживать quality gates в CI/CD: coverage, type-check, линтеры, автоматический прогон тестов и E2E. Тестировать AI-функциональность: LLM-агентов, RAG-пайплайны, промпты, tools и интеграции с LLM-провайдерами. Участвовать в создании eval-наборов и регрессионных тестов для AI-агентов, оценивать качество ответов и RAG-ретривала. Находить узкие места в текущем тестировании и предлагать способы сделать процесс надежнее и быстрее. Взаимодействовать с разработчиками и продуктовой командой на всех этапах разработки — от постановки задачи до релиза. Участвовать в code review тестов и помогать повышать качество разработки. Что мы ожидаем 5+ лет опыта в QA / тестировании для Senior уровня. Опыт построения или развития автоматизированного тестирования. Уверенный Python и практический опыт с pytest. Опыт работы с фикстурами, параметризацией, моками и интеграционными тестами. Опыт тестирования backend на Flask / FastAPI / Django или аналогичном стеке. Опыт автоматизации frontend с Playwright / Cypress и Vitest / Jest + React Testing Library. Хорошее понимание API-тестирования, REST и OpenAPI. Опыт работы с PostgreSQL и понимание принципов работы миграций. Понимание CI/CD, Docker и GitHub Actions. Понимание принципов тестирования распределенных и асинхронных систем. Умение самостоятельно разбираться в продукте, находить риски и предлагать решения. Понимание того, как балансировать качество, риски и скорость разработки. Будет большим плюсом Опыт тестирования LLM-приложений, AI-агентов или ML-продуктов. Практический опыт с RAG и оценкой качества AI-систем. Опыт работы с Langfuse, Opik, Weave или аналогичными инструментами для eval и observability. Опыт с vector DB: pgvector, Qdrant, Weaviate, Pinecone и др. Опыт нагрузочного, security или chaos-тестирования. Опыт работы с Celery / Redis и другими очередями. Опыт работы в продуктовой команде и участия в формировании QA-процессов с нуля. Условия Удаленный формат работы. Рабочий график: 09:00–18:00 по МСК. Работа над собственным AI-продуктом, который активно развивается. Сильная техническая команда и возможность влиять на процессы и качество продукта. Возможность профессионального роста в направлении QA Automation и тестирования AI-систем. В сопроводительном письме расскажите, пожалуйста: о вашем опыте автоматизации тестирования; какие инструменты и технологии используете; был ли у вас опыт работы с AI / ML / LLM-продуктами.