Lead Data Engineer

Наша задача – обеспечить перевод процессов на современный стек технологий, разработать решения по обработке и доставке данных, создать с 0 процессы загрузки потоков данных для задач аналитики и развить MLOps практику в команде для вывода DS моделей в пром. Что нужно делать: Разрабатывать процессы сборки, обработки и поставки данных в Hadoop на Spark Развивать архитектуру проекта и адаптировать ее под новые требования Собирать и анализировать требования бизнеса по получению новых данных, оценивать наличие и качество данных Разрабатывать витрины данных для задач моделирования. Создавать выборки для обучения и тестирования моделей Консультировать бизнес-заказчика по возникающим вопросам Проводить подготовку и участвовать в проведении демонстрации полученных результатов моделирования бизнес-заказчикам Проводить системное, функциональное и интеграционное тестирование Разрабатывать и внедрять эффективные методики контроля качества данных Участвовать в code review и создавать инструменты для повышения эффективности Управлять командой инженеров данных (3-7 чел.), заниматься постановкой целей, планированием ресурсов и контролировать исполнение проектов Требования: Опыт разработки на Spark (желательно Spark/Scala) Знание инструментов экосистемы Hadoop: Hive, Spark Хорошие знания SQL, опыт оптимизации запросов Глубокое понимание принципов проектирования баз данных и моделей данных Общий стаж работы не менее 5 лет в роли инженера данных или аналитика данных, включая опыт управления командой от 2 лет Высшее техническое образование Проактивность в работе с внешними и внутренними контрагентами Опыт в банковской сфере (транзакционный банкинг, платежные системы, AML/KYC) – большой плюс. Мы предлагаем: Deep diving в предметную область, много разработки по задачам имеющим прямой эффект на бизнес Возможность привносить новые идеи и нестандартные решения Сообщество D-people– поддержка, развитие и возможность учиться у профессионалов Достойную оплату труда ДМС, сниженные ставки по кредитованию, программы лояльности для сотрудников Современный офис рядом с метро Кутузовская, бесплатный фитнес в офисе Ключевые слова: #SQL, #BigData, #Hadoop, #DataEngineer, #Spark