Middle LLM Researcher (диффузионные текстовые модели)

Описание

Команда текстовых диффузионных моделей занимается прикладными исследованиями в области языковых моделей с альтернативными архитектурами и подходами к генерации текста: диффузионные текстовые модели, креативный генеративный ИИ. Обязанности Организация SFT и RL дообучения моделей для агентного креативного ИИ Улучшение моделей спекулятивного декодирования для ускорения инференса LLM, доработка архитектур, пайплайна обучения и протокола оценки. Подготовка датасет для агентного сценария генерации русскоязычной поэзии. Требования Владение инструментами и экосистемой: Linux, Python, torch, transformers, vllm. Практический опыт проведения экспериментов в ML: планирование, сбор обучающих данных, оценка моделей, включая человеческую разметку, статобработка результатов, масштабирование. Опыт работы с языковыми моделями: архитектурные модификации трансформера, распределенная тренировка, бенчмаркинг, оптимизация инференса. Опыт работы с данными для обучения LLM: генерация синтетики, очистка данных, подготовка датасетов для обучения. Будет плюсом Практический опыт запуска распределенных задач в вычислительном кластере. Опыт научных публикаций по темам CS и ML. Опыт доведения ML решений до прода. Условия комфортный современный офис рядом с м. Кутузовская гибридный формат работы ежегодный пересмотр зарплаты, годовая премия от 3х окладов большой спортзал и зоны отдыха система обучения для профессионального и карьерного развития расширенный полис ДМС с первого дня работы и страхование для семьи программа ипотеки для сотрудников со скидкой -1/3 от текущей ставки подписка Прайм с возможностью совместного использования на трёх близких вознаграждение за рекомендацию друзей в команду Сбера.