NLP Engineer (GigaChat Pretrain)

Описание

Эта вакансия участник пилота по использованию AI.

После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры.

ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным.

Попробуйте и вы станете одним из первых, кто познакомится с ГигаРекрутером Сбера!

Мы в GigaChat делаем core-технологию генеративной языковой модели: она пишет тексты, генерирует изображения, пишет код, отвечает на вопросы и ведёт диалоги.

Прошлой осенью мы выпустили сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики в статье на Habr). Зимой выложили в открытый доступ одну из наших MoE-моделей. И на этом не остановились двигаемся дальше!

Сейчас у нас фокус в несколько направлений:

Исследования и эксперименты.

• Стабилизация и развитие архитектур (новые виды attention, улучшение тестового стенда изменений).
• Методы улучшения обучения (оптимизация, лоссы и режимы вроде FIM/MTP, балансировка MoE).
• Скейлинг-законы (для гиперпараметров, качества и стоимости).
• Постоянный разбор свежих статей и идей индустрии.

Инфраструктура и параллельные тренировки.

• 5-D параллелизм, ускорение мультимодальных и гигантских MoE-моделей на больших кластерах.

Фреймворк распределённого обучения.

• Разработка GigaFSDP, эксперименты с FP8/mixed-precision, устойчивость и эффективность обучения на больших масштабах.

Низкоуровневые оптимизации.

• Оптимизация операций на уровне CUDA/triton ядер, улучшение производительности NCCL, профилирование и устранение узких мест.

Качество и метрики.

• Развитие оценки GigaChat: от международных олимпиадных задач до метрик, специфичных для русского языка.

Ищем NLP Engineer, с которым будем делать GigaChat умнее. Для экспериментов у нас кластер с большим числом A100/H100.

обязанности

Обязанности

• Доводить качество на русском до уровня ChatGPT и выше.
• Придумывать и проверять идеи, которые дают практический выигрыш.
• Помогать решать задачи внутренних клиентов Сбера с прицелом на внешних пользователей.
• Следить за индустрией: читать статьи, быстро проверять гипотезы, делиться результатами.

Требования

• Уверенный Python и PyTorch.
• База по алгоритмам и математике (линейная алгебра, оптимизация, вероятности).
• Опыт обучения DL-моделей: от просто моделей до больших.
• Теоретическое понимание алгоритмов распределенного обучения.
• Представление о текущем ландшафте LLM и трендах.

Плюсом будет:

• Опыт с распределённым обучением (DDP/FSDP/параллелизмы), CUDA/NCCL/профилирование, MoE/FP8, мультимодальные модели, построение метрик качества.

Даже если у тебя нет опыта с LLM, но ты много занимался NLP исследованиями или инженерными оптимизациями не стесняйся откликнуться!

Условия

• Удалённо по России.
• Возможность оформления в аккредитованную IT-компанию.
• Годовая премия по итогам работы до 6 окладов.
• Регулярный пересмотр зарплат.
• Корпоративный спортзал и зоны отдыха.
• Более 400 программ СберУниверситета для роста.
• Программа адаптации и помощь руководителя на старте.
• Крупнейшее DS&AI community более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы.
• Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа.
• Ипотека для сотрудников по дисконтной программе.
• СберПрайм+ и скидки у партнёров.
• Бонус за рекомендации в команду.