Инженер по тестированию AI агентов (команда Забота о клиентах)

Департамент 'Забота о клиентах' работает над разработкой AI агентов на платформе GigaChat (аналог ChatGPT) для автоматизации клиентского обслуживания в банковской сфере. Агенты отвечают на вопросы про баланс, формируют справки для клиентов, маршрутизируют задачи в нужное подразделение и многое другое.

Наша команда помогает с тестированием и оценкой эффективности внедряемых AI агентов.Обязанности Написание и оптимизация промптов для AI агентов

Разработка тест-кейсов для различных сценариев и автоматизация тестов (на Python/Java)

Анализ данных - выгрузка и обработка данных из SQL-баз для формирования тестовых корзин

Подготовка отчетов по качеству и рекомендаций по оптимизации работы агентов

Взаимодействие с кроссфункциональными командами банка.

Требования Понимание принципов работы LLM и влияния промпта на их работу

Умение анализировать данные (SQL, Excel, Python) и интерпретировать метрики качества

Понимание структур данных, опыт программирования на Python/Java (от 1 года, включая учебные проекты) для написания скриптов автоматизации

Знание базовой статистики, умение делать выводы на основе данных. Будет плюсом: Опыт работы с GigaChat, ChatGPT или аналогичными LLM-платформами, опыт написания промптов

Знание метрик качества (в том числе качества ответов LLM)

Опыт тестирования AI/ML-решений.

Условия Комфортный современный офис рядом с м. Кутузовская

Формат работы - офис

Ежегодный пересмотр зарплаты, годовая премия

Корпоративный спортзал и зоны отдыха

Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

Вознаграждение за рекомендацию друзей в команду Сбера.