Тестировщик AI

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя! Наша команда строит мультиагентную систему, управляющую множеством агентов и умеющую решать под ключ целый ряд задач клиентов. Ваша роль будет заключаться в контроле качества работы этой системы. В первую очередь в изучении логов общения этой системы с людьми. В том числе, в проверках на эмпатию, правильный tone of voice, учет контекста и удержание цели диалога. Вы будете общаться с DS командой, разработчиками, а также консультировать коллег из смежных бизнес-команд (владельцы продуктов). Для работы откроем вам безлимитный доступ к самым последним версиям LLM, включая внутренние разработки. Обязанности: ручная вычитка диалогов пользователей с AI, выявление ошибок и слабых мест в работе системы точная и подробная разметка диалогов согласно нашим методикам, позволяющая улучшать качество обработки запросов и отвечать ожиданиям пользователей постоянное повышение уровня экспертизы в области анализа коммуникаций, совершенствование собственных навыков критического восприятия текста предоставление обратной связи команде разработчиков, предложение идей по улучшению алгоритмов и процессов коммуникации. Мы ожидаем: внимание к деталям, способность замечать малейшие нюансы и несоответствия способность структурированно анализировать тексты и выявлять проблемные места умение эффективно расставлять приоритеты и управлять своим временем ответственность и пунктуальность, готовность соблюдать сроки и следовать внутренним стандартам качества опыт взаимодействия с большими языковыми моделями (LLMs), такими, как GC, ChatGPT, YaGPT, LLaMa, Claude, Grok и другими, понимание особенностей поведения AI-помощников желателен опыт тестирования интерфейсов или программного обеспечения, однако наличие подобного опыта не является обязательным условием навыки работы с генеративными AI-моделями, опыт создания AI-агентов и использования их в работе будет преимуществом. Что мы предлагаем: офисный формат работы помощь наставника на старте работы годовой бонус и ежегодный пересмотр заработной платы современный офис на Кутузовском проспекте с зонами отдыха и спортзалом обширная корпоративная библиотека курсов для профессионального развития, возможность обучения за счет компании корпоративная программа лояльности: бесплатная подписка на СберПрайм+, льготные условия по продуктам банка и скидки в компаниях партнерах официальное оформление по ТК РФ расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.