Senior ML Engineer (Multimodal LLM; Video Understanding)

Описание

Мы core команда, которая отвечает за машинное обучение для понимания аудиоданных во всем Сбере. В прошлом году мы выложили в открытый доступ SOTA модель для распознавания речи на русском языке GigaAM (https://arxiv.org/abs/2506.01192), а этой весной первыми в России запустили нативное понимание звука в LLM: GigaChat Audio (https://habr.com/ru/companies/sberdevices/articles/904894/). Сейчас мы активно работаем над улучшением мультимодальных свойств GigaChat: рост качества на сложных контекстах из аудио и картинок; понимание видео не только по звуковому потоку, но и кадрам.

Обязанности

• создание пайплайна генерации синтетических Audio+Vision+Text данных из внутренних и открытых моделей
• создание бенчмарков: llm-as-a-judge, авто-метрики
• проведение экспериментов по обучению LLM: тестирование данных и стадий обучения, методы смешивания модальностей

Требования

• python: модульный код, ООП, concurrency, pep, тесты
• понимание этапов обучения и современных архитектур LLM
• понимание методов оценки качества ML-систем
• глубокие теоретические знания в DL
• опыт отладки/обучения в multi-gpu режиме

Будет плюсом

• опыт в Computer Vision / Audio

Условия

• комфортный современный офис рядом с м. Кутузовская
• возможность выбрать удобный график офис/гибрид (офисы Москва / Санкт-Петербург)
• ежегодный пересмотр зарплаты и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера