NLP Engineer (GigaChat Pretrain)

Описание

Мы в GigaChat делаем core-технологию генеративной языковой модели: она пишет тексты, генерирует изображения, пишет код, отвечает на вопросы и ведёт диалоги.

Прошлой осенью мы выпустили сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики в статье на Habr). Зимой выложили в открытый доступ одну из наших MoE-моделей. И на этом не остановились двигаемся дальше!

Сейчас у нас фокус в несколько направлений:

1. Исследования и эксперименты

стабилизация и развитие архитектур (новые виды attention, улучшение тестового стенда изменений)

методы улучшения обучения (оптимизация, лоссы и режимы вроде FIM/MTP, балансировка MoE)

скейлинг-законы (для гиперпараметров, качества и стоимости)

постоянный разбор свежих статей и идей индустрии

2. Инфраструктура и параллельные тренировки

5-D параллелизм, ускорение мультимодальных и гигантских MoE-моделей на больших кластерах.

3. Фреймворк распределённого обучения

Разработка GigaFSDP, эксперименты с FP8/mixed-precision, устойчивость и эффективность обучения на больших масштабах.

4. Низкоуровневые оптимизации

Оптимизация операций на уровне CUDA/triton ядер, улучшение производительности NCCL, профилирование и устранение узких мест.

5. Качество и метрики

Развитие оценки GigaChat: от международных олимпиадных задач до метрик, специфичных для русского языка.

Обязанности

• доводить качество на русском до уровня ChatGPT и выше
• придумывать и проверять идеи, которые дают практический выигрыш
• помогать решать задачи внутренних клиентов Сбера с прицелом на внешних пользователей
• следить за индустрией: читать статьи, быстро проверять гипотезы, делиться результатами.

Требования

• уверенный Python и PyTorch
• база по алгоритмам и математике (линейная алгебра, оптимизация, вероятности)
• опыт обучения DL-моделей: от просто моделей до больших
• теоретическое понимание алгоритмов распределенного обучения
• представление о текущем ландшафте LLM и трендах.

Будет плюсом:

• опыт с распределённым обучением (DDP/FSDP/параллелизмы), CUDA/NCCL/профилирование, MoE/FP8, мультимодальные модели, построение метрик качества

Даже если у тебя нет опыта с LLM, но ты много занимался NLP исследованиями или инженерными оптимизациями не стесняйся откликнуться!

Условия

• удалённо по России
• возможность оформления в акктеритованную IT-компанию
• годовая премия по итогам работы до 6 окладов
• регулярный пересмотр зарплат
• корпоративный спортзал и зоны отдыха
• более 400 программ СберУниверситета для роста
• программа адаптации и помощь руководителя на старте
• крупнейшее DS&AI community более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы
• расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа
• ипотека для сотрудников по дисконтной программе
• СберПрайм+ и скидки у партнёров
• бонус за рекомендации в команду.