LLM Fine-Tuning Engineer (Middle)

Описание

Ищем специалиста по дообучению (Fine-Tuning) и адаптации открытых LLM под наши задачи.

Фокус SFT (Supervised Fine-Tuning), подготовка датасетов и оптимизация моделей.

Ключевое требование - Понимание процесса обучения моделей: как выбрать базовую модель, как подготовить данные, чтобы модель не поглупела (catastrophic forgetting), и как оценить, что она действительно научилась новому.

Что предстоит делать:

- Проектировать и вести пайплайны обучения:

- Собирать и чистить датасеты (Data Engineering для LLM).

- Выбирать подходящие Open Source модели (Llama, Mistral, Qwen и др.).

- Настраивать гиперпараметры обучения.

- Проводить Fine-Tuning:

- Использовать эффективные методы (LoRA, QLoRA) для адаптации весов.

- Экспериментировать с Full Fine-Tuning.

- Разрабатывать метрики качества для проверки обученной модели.

- Квантовать модели для запуска на ограниченном железе.

Программирование и Техническая часть: Python уверенный уровень.