DWH-разработчик

Наша команда занимается построением и масштабированием хранилищ данных для экосистемы VK, где ежедневно обрабатываются петабайты информации и миллиарды событий. Наши решения используют такие продукты, как Почта, Облако, RuStore, VK Tech, Маруся и многие другие. Вам предстоит разрабатывать и поддерживать ETL-процессы с использованием Airflow и Spark, глубоко погружаться в оптимизацию запросов ClickHouse и распределённых вычислений в Spark. Мигрировать наши продукты в облачные сервисы с использованием Kubernetes и YT, развивать инструменты, позволяющие аналитикам самостоятельно строить витрины данных. Ключевые технологии, с которыми вы будете работать: Python как основной язык разработки, ClickHouse для аналитических запросов, Apache Spark для распределённой обработки данных, Airflow для оркестрации процессов. Если вы хотите работать с реальными Big Data в распределённых системах — добро пожаловать в нашу команду! Мы предлагаем возможность участвовать в масштабных проектах, профессионально расти и решать интересные технологические задачи. Задачи Разработка DWH-платформы Проектирование схем для хранения данных Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и так далее) Автоматизация data-pipelines, ETL-процессов Автоматизация построения витрин данных Организация CI/CD и мониторинга процессов обработки данных Готовность разбираться в чужом коде, ревью кода в команде Требования Опыт DWH-разработки от года Знание Python Работа с Linux & Bash Будет плюсом Понимание принципов работы классических СУБД Знакомство с экосистемой Hadoop и опыт работы с ней Опыт работы с ClickHouse Опыт организации ETL-процессов обработки данных