Data Engineer

В Департамент ИТ корпоративно-инвестиционного бизнеса Сбербанка открыта позиция Data Engineer. Мы работаем над глубоким анализом жизненного цикла клиентов банка и строим модели оценки и прогнозирования их финансовых позиций. Реализация проектов ведется на современной микросервисной архитектуре. У вас появится уникальная возможность погрузиться в работу с большими объемами интересных данных, стать частью активно развивающегося сообщества специалистов по данным в Сбербанке, развивать профессиональные компетенции, используя современный стек технологий — Python и Apache Spark. Вы сможете глубоко изучить специфику процессов крупной технологической организации.Обязанности взаимодействие с PO и аналитиками для согласования требований к расчету и поставке данных конечным потребителям. определение необходимых ресурсов для создания витрины проектирование и разработка аналитических витрин данных проектирование и разработка интеграций с БД различных сервисов в части поставок данных конфигурирование сборки, поставки на стенд, работы витрины, интеграций с БД в инфраструктуре Банка определение очередности расчета в общем расписании витрин продукта разработка и поддержка спецификаций данных источников и итоговых данных витрины проведение интеграционного, unit, регрессионного тестирования новой поставки мониторинг и оптимизация работы витрины: взаимодействие с сопровождением hadoop кластера и разработчиками фреймворка. Требования опыт работы дата-инженером от 1 года опыт работы с Hadoop и Apache Spark опыт работы SQL (JOINы, агрегаты, группировки, вложенные запросы, индексы, оконные функции) опыт разработки в парадигме ООП, знаете его основные принципы знание форматов данных: сsv, json, yaml, parquet знание основных алгоритмов и структур данных знание OLTP, OLAP, ACID, Теорема CAP понимание процессов ETL, ELT владение инструментов для организации и автоматизации работы: IDE, Git, Jira, Confluence Приветствуется: навыки работы с CI/CD опыт работы c bash: базовые команды для работы с файлами и процессами, знаете как происходит процесс подключения к нодам - нужно для работы на кластере представления о монолитных и распределенных системах Условия комфортный современный офис рядом с м. Кутузовская график работы-гибрид ежегодный пересмотр зарплаты, годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера.