Data Engineer

В нашем трайбе SberWorks создается новая команда, которая займется разработкой и сопровождением отдельного внутреннего компонента-хранилища данных (Data Lake) в рамках новой платформы Productivity Platform Этот компонент станет основой для хранения всех данных инструментов, входящих в платформу, и будет использоваться для построения аналитики производственного процесса, обучения AI ассистентов и передачи подготовленных витрин с данными потребителям Хранилище данных (Data Lake) — "кровь" платформы, и ваша роль в этом проекте будет ключевой! Стек технологий проекта: Python, Flink, Airflow, Hadoop (Hive), Kafka, PostgresОбязанности разработка PyFlink пайплайнов для обработки событий в NRT режиме (в том числе от Debezium) написание AirFlow DAG для построения агрегированных витрин с использованием Spark обеспечение бесперебойной работы поставки данных и в целом DataLake. Наша задача — гарантировать стабильную и эффективную работу всей системы, минимизируя риски простоя и обеспечивая высокий уровень доступности данных Требования уверенно владеешь Python3 знаком со стеком технологий проекта имел опыт промышленной разработки от 3-х лет понимаешь цикл разработки - от постановки задачи до выкатки на прод умеешь тестировать свой код (например, с помощью PyTest) уверенно знаешь SQL знаешь шаблоны проектирования и умеешь их применять умеешь проводить ревью кода будешь стремиться погружаться в продукт, а не "просто писать код" Условия cовременный комфортный офис рядом с м. Кутузовская гибридный график после испытательного срока ежегодный пересмотр зарплаты и годовая премия более 400 образовательных программ СберУниверситета. Возможность постоянно совершенствоваться и развивать профессиональные навыки. программа адаптации и помощь руководителя на старте. Мы поможем вам быстро влиться в коллектив и начать продуктивную работу расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа. Забота о вас и ваших близких — важный аспект нашего сотрудничества корпоративный спортзал и зоны отдыха ипотека выгоднее до 7% для каждого сотрудника. Специальные условия ипотечного кредитования сделают покупку жилья доступной подписка СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера. Привлекая новых талантливых специалистов, вы можете заработать дополнительное вознаграждение Присоединяйтесь к нашей команде и станьте частью большого и важного проекта, который изменит подход к работе в Банке!