Data Engineer

Мы — команда специалистов, создающая сервисы и компоненты для платформы внутренней безопасности, а также разрабатывающая AI-агенты для выявления внутренних угроз и мошенничества. Нам нужен специалист, способный эффективно анализировать табличные и текстовые данные, необходимые для построения AI-агентов. Ищем Data Engineer c уклоном в Data Science, которому предстоит заниматься извлечением, подготовкой и очисткой данных, а также поддержкой моделей машинного обучения. Мы предлагаем карьерный рост как в Data Engineering, так и в Data Science направлениях. Ты станешь частью команды опытных инженеров и аналитиков, работающих над сложными проектами в сфере информационной безопасности.Обязанности · Анализ структур данных в разных источниках и форматов, оценка их пригодности для конкретных бизнес-задач; · Загрузка, обработка и преобразование больших объемов данных из разнородных хранилищ (Oracle, Teradata, MS SQL, GreenPlum) в рабочие среды (GreenPlum, Hadoop); · Проектирование и создание аналитических витрин данных; · Подготовка и препроцессинг данных для обучения моделей машинного обучения; · Мониторинг и оптимизация рабочих процессов обработки и загрузки данных; · Контроль качества входных данных и автоматизация проверки качества данных; · Разработка инфраструктуры и внутренних сервисов для эффективной обработки больших объемов данных; · Автоматизация повторяющихся операций с данными; · Создание технической документации и поддержка баз знаний по работе с данными; · Консультация пользователей внутри компании по вопросам использования данных.Требования · Опыт работы от 1 года в роли Data Engineer, Data Analyst или ETL-разработчика; · Продвинутый уровень владения SQL (аналитические функции, подзапросы, хранимые процедуры, производительность запросов); · Практический опыт работы с большими объемами данных в реляционных СУБД (Oracle, Teradata, MS SQL, GreenPlum); · Понимание концепции и принципов организации хранилища данных (DWH); · Преимуществом будет наличие опыта проектирования витрин данных; · Полезным будет знакомство с технологиями экосистемы Big Data (Hadoop, Spark, Hive/Impala); · Базовые знания банковской сферы будут дополнительным плюсом; · Приветствуется опыт работы в гибких методологиях управления проектами (Agile, SCRUM, Kanban). Дополнительные ожидания: · Желаемый опыт работы от 2-х лет в смежных ролях (DE, DS, Python-разработчик); · Хорошее знание SQL, включая работу с аналитическими функциями, подзапросами, процедурами и функциями, оптимизацию производительности запросов; · Работа с технологическим стеком Hadoop (HDFS, YARN, Hive) и Apache Spark; · Опыт программирования на Java/Scala; · Готовность глубоко погружаться в изучение архитектуры существующих баз данных и документации по структурам данных; · Понимание базовых принципов построения распределенных систем хранения и обработки данных. Будет плюсом: · Опыт переноса и интеграции больших объемов данных между разными источниками; · Владение инструментами системы контроля версий (например Git); · Начальные знания и интерес к развитию в области Machine Learning и Data Analysis; · Осведомленность в процессах ETL и технологиях хранилищ данных (DWH).Условия гибрид, метро Тульская \ Кутузовская; ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких; бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров:, СберМаркет, DeliveryClub, Самокат, СберЕаптека и других корпоративная пенсионная программа; корпоративное обучение за счет компании; реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей; корпоративный спортзал и скидки в спортзалы-партнеры.