Senior Data Engineer (B2C)

Наша задача – построение единого хранилища фичей для моделей прогнозирования продаж розничного бизнеса на базе платформы Hadoop. Мы работаем над проектом по созданию инструмента, позволяющего унифицировать процесс сбора и опромышлевания данных, а так же обеспечить масштабируемость и надежность решения (в планах перевод фичей более 87 моделей на единый фича-стор). Проект предполагает создание витрин как в Batch, так и в NRT (near real time) режиме.Обязанности Разрабатывать алгоритмы и собирать прототипы витрин (batch и real-time), выводить их в промышленную эксплуатацию и вносить изменения, используя внутренние фреймворки разработки Описывать фичи, готовить проектную документацию Проводить системное, функциональное и интеграционное тестирование Разрабатывать и внедрять методики контроля качества данных Работать с дефектами и инцидентами для устранения технологических проблем в качестве эксперта Консультировать заказчиков по вопросам логики формирования разработанных предложений Требования Уверенное знание SQL(вложенные запросы, оконные функции, оптимизация запросов) Уверенное знание Scala или Java Опыт работы с экосистемой Hadoop(HDFS, HIVE, Apache Spark, Oozie) Опыт работы с DevOps инструментами- Git, Jenkins, SonarQube Опыт работы с технической проектной документацией – Бизнес-требования, Технические спецификации на разработку, Архитектура, User guide, Admin guide Желание развиваться в этой профессиональной области, работать в команде, проявлять инициативу и предлагать решения Будет плюсом Знание python и его библиотек работы с данными. Опыт работы с Apache Flink, Apache Kafka, HBase. Опыт работы в agile, понимание принципов этой методологии и фреймворков Scrum, Kanban и т.д. Опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов Инструментальное владение AI для анализа, генерации и автоматизации. Условия Комфортный современный офис рядом с м. Кутузовская Офисный формат работы Ежегодный пересмотр зарплаты. Годовая премия Корпоративный спортзал и зоны отдыха Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития Программа адаптации и помощь руководителя на старте Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров Вознаграждение за рекомендацию друзей в команду Сбера.