Data Engineer

Мы — команда из 10 инженеров, ответственных за разработку и поддержку высоконагруженной внутренней платформы для обработки диалоговых данных LLM и AI агентов. Технологический стек: Обработка данных: Apache Spark, Hadoop (HDFS, YARN) Оркестрация: Apache Airflow Потоковая передача данных: Apache Kafka Кэширование и вычисления: Apache Ignite Логи: ELK Stack (Elasticsearch, Logstash, Kibana) Визуализация: Apache Superset Инфраструктура: CI/CD (BitBucket/Jenkins), k8s, Linux Обязанности разрабатывать, оптимизировать и поддерживать ETL/ELT процессы в Apache Spark для построения витрин данных интегрировать компоненты платформы с использованием Apache Kafka и Apache Ignite поддерживать и развивать текущую архитектуру данных, обеспечивать ее отказоустойчивость и производительность разрабатывать и поддерживать DAG в Apache Airflow настраивать и поддерживать CI пайплайны для Big Data-сервисы Требования не менее 3 лет опыта коммерческой разработки ETL на Apache Spark (Core, SQL) практический опыт работы с Apache Airflow и Hadoop (HDFS, YARN) опыт построения и поддержки CI пайплайнов (Jenkins или аналог) Будет плюсом: опыт работы с Apache Kafka, Apache Ignite знание ELK-стека, Apache Superset Условия комфортный современный офис рядом с м. Кутузовская гибридный формат работы – 1 раз в неделю в офисе ежегодный пересмотр зарплаты, годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа ипотека для сотрудников выгоднее до 4% бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера.