ML/LLM-инженер (on-prem, агентные системы)
Описание
О проектеNWIRE разрабатывает систему автоматизированного документооборота для крупной компании. Языковая модель проверяет и исправляет документы п и корпоративным шаблонам (текст, таблицы, рисунки, формулы), сверяет данные между главами и собирает итоговый пакет. Интерфейс - плагин для Яндекс Трекера, серверная часть на Go, модель работает на GPU-сервере в контуре заказчика. Обязанности: Выбор открытой языковой модели (Qwen, DeepSeek, GLM и др.) и бенчмарк на контрольном наборе реальных документов. Развертывание и оптимизация инференса on-prem: vLLM / SGLang, квантизация (FP8/INT4), длинный контекст, настройка под нагрузку. Проектирование агентного пайплайна: промпты, tool calling, разбиение задач между моделью и детерминированными скриптами. Работа с DOCX: разбор и правка структуры документа, связка с рендерингом (LibreOffice) для контроля верстки. Метрики качества и регрессионные тесты: доля найденных ошибок, отсутствие ложных исправлений. Сопровождение опытно-промышленной эксплуатации, доработка по обратной связи пользователей. Оборудование Целевая платформа: on-prem сервер Huawei Atlas 650E - 8× Ascend 950DT, 1 152 ГБ памяти HBM. Окончательный выбор будет сделан позже. Этот сервер проще всего привезти. На старте: разработка и подбор модели на арендованных GPU NVIDIA в Яндекс Облаке, затем перенос на собственный сервер заказчика. Стек на Ascend: CANN, MindIE / vLLM-Ascend. Нужна готовность разбираться с его особенностями: поддержка моделей, квантизация, производительность. Требования: От 3 лет в ML/NLP, из них от 1 года - практическая работа с LLM в продакшене. Опыт self-hosted инференса открытых моделей (vLLM, SGLang, TGI или аналоги); понимание влияния памяти GPU, KV-кэша и контекста на производительность. Опыт построения LLM-агентов или пайплайнов с tool calling. Уверенный Python, Linux, Docker. Умение выстроить оценку качества модели на собственных данных. Условия: Проект на 6 месяцев с возможностью продолжения (поддержка, развитие, тиражирование) Удаленный формат работы Оформление: ИП или самозанятость по ставке в час Вознаграждение - ежемесячно по факту затраченного времени