NLP инженер в GigaChat Alignment
СБЕРОписание
Мы GigaChat Alignment. Делаем модель полезной и надёжной: SFT/DPO, дистилляция в маленькие модели, LoRA-сервис, метрики и валидирующие пайплайны. Быстро проверяем гипотезы, ускоряем обучение и выкатываем улучшения в прод сначала для внутренних клиентов, потом для всей России.
Направления
Улучшение SFT / DPO: тестирование новый подходов к обучению, ускорение пайплайнов, генерация новых данных, дистиляция знаний из больших LLM в маленькие.
Развитие метрик качества GigaChat-а, например, через оценку способности решать задачи олимпиад международного уровня. Развитие внутреннего LLM-AS-A-JUDGE
Разработка сервиса Lora обучения GigaChat и GigaEmbeder. Повышение стабильности и воспроизводимости запусков, создание пайплайнов валидации и генерации данных с помощью ЛЛМ.
На эти роли мы ищем талантливого NLP Engineer, с которым будем вместе совершенствовать и развивать GigaChat. Для всех этих экспериментов у нас есть кластер с большим числом A/H 100'ых.
Обязанности
- Улучшать качество работы GigaChat на русском и английском языках
- Помогать решать бизнес-задачи с помощью нашей технологии сначала для внутренних клиентов в Сбере, а потом и внешним.
- Придумывать и внедрять новые применения для LLM.
- Помогать выводить в прод всё, что мы обучим.
- Постоянно держаться up-to-date со свежими статьями.
Требования
- Уверенное владение Python, PyTorch.
- Знание базовых алгоритмов и математики.
- Знания в DL, опыт обучения простых и больших моделей.
- Опыт обучения моделей для продакшена.
- Понимание текущего состояния эволюции больших LLM'ов.
- Будет плюсом наличие публикаций.
Условия
* Удалённо по России.
* Возможность оформления в акктеритованную IT-компанию.
* Годовая премия по итогам работы до 6 окладов.
* Регулярный пересмотр зарплат.
* Корпоративный спортзал и зоны отдыха.
* Более 400 программ СберУниверситета для роста.
* Программа адаптации и помощь руководителя на старте.
* Крупнейшее DS&AI community более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы.
* Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа.
* Ипотека для сотрудников по дисконтной программе.
* СберПрайм+ и скидки у партнёров.
* Бонус за рекомендации в команду.