Инженер ИТ

MLOps (Инженер LLM-инфраструктуры)

AI Platform Team отвечает за всю инфраструктуру AI: от исследований моделей до их продакшн-запуска.Наша задача - дать продуктам надёжный и эффективный доступ к LLM. Строить отказоустойчивые системы, которые держат нагрузку.Мы ищем инженера, который будет проектировать, разворачивать и оптимизировать платформу для инференса больших языковых моделей. Работать с vLLM/Triton, GPU-кластерами, observability-стеком, чтобы модели работали быстро, стабильно и экономично.Если вы строили высоконагруженные ML-системы и хотите решать инфраструктурные задачи в области LLM - давайте обсудим.ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:Развитие и эксплуатация инфраструктуры для инференса LLM, включая BitrixGPT, локальные и облачные модели:внедрение стеков для эффективного обслуживания LLM, таких как vLLM, Nvidia Triton Inference Server и их аналогов,оптимизация схем распределения нагрузки, батчинга и стриминга токенов.Настройка, эксплуатация и оптимизация GPU-кластеров для инференса:управление ресурсами, планирование загрузки (capacity planning), снижение стоимости владения.Профилирование и отладка сервисов инференса:поиск и устранение узких мест, влияющих на задержки (latency) и пропускную способность (throughput).Настройка наблюдаемости (observability) AI-стека:сбор метрик, логирование, трассировка и алертинг (Prometheus, Grafana и других инструментов,разработка дашбордов для мониторинга доступности, задержек, ошибок и стоимости инференса.Участие в разработке и улучшении платформенных процессов:совместная работа с командами разработки и data science,ревью архитектуры и сервисов, обмен экспертизой на внутренних митапах.