Senior Vision Language Agents Expert (VLA)

Команда GigaVision развивает мультимодальные и агентные модели нового поколения — GigaChat Vision и другие модели семейства GigaChat. Мы строим foundation-модели, способные решать задачи восприятия, понимания, планирования и действия в сложных средах — от симуляторов до реального мира. Мы расширяем команду для разработки Vision Language Agents Expert (VLA) моделей в приложениях к робототехнике, автономному вождению и интерактивным агентам. Обязанности разрабатывать и масштабировать пайплайны претрейнинга VLA моделей на базе Vision-Language моделей (VLM) подбирать и подготавливать мультимодальные датасеты (изображения, видео, текст, действия, сенсорные данные) интегрировать знания и механизмы LLM/VLM в агентную архитектуру с поддержкой восприятия и действия разрабатывать архитектуры, методы обучения и токенизации действий проводить прикладные эксперименты, направленные на реализацию и доведение моделей до рабочего прототипа и продакшн-уровня работать в связке с инженерами и специалистами предметной области для построения end-to-end решений Требования практический опыт работы с Vision-Language моделями: Flamingo, LLaVA, BLIP, IDEFICS, InternVL и др. опыт претрейнинга или масштабного дообучения VLM/VLA моделей глубокое понимание одной из прикладных областей: робототехника, autonomous driving, embodied AI владение фреймворками: PyTorch, HuggingFace Transformers, FSDP опыт построения мультимодальных пайплайнов (видео, изображения, текст, действия) знание подходов к обучению агентов по демонстрациям и с использованием мультимодальных сигналов умение работать с распределённым обучением и inference пайплайнами Будет плюсом опыт работы с симуляторами (CARLA, Isaac Gym, Habitat, MuJoCo) знание современных подходов к action modeling, video-language alignment, temporal reasoning опыт внедрения моделей в прототипы и взаимодействия с downstream-сценариями опыт с reinforcement learning для мультимодальных агентов Условия комфортный современный офис рядом с м. Кутузовская формат работы обсуждается ежегодный пересмотр зарплаты, квартальная и годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития программа адаптации и помощь руководителя на старте расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа ипотека выгоднее до 7% для каждого сотрудника бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера