Data Engineer

Технологическая практика "Технологии доверия" - одна из крупнейших в России команд, работающих в сфере консалтинга и разработки решений на основе моделей машинного обучения и искусственного интеллекта. В портфолио команды более 5 лет опыта работы на рынке и десятки реализованных проектов различного масштаба, от приложений до платформенных решений. Мы ищем Data Инженера в юр.лицо ООО "Цифровая Формула Доверия", который будет активно участвовать в сборе, обработке и анализе данных в рамках проектов нашей компании по внедрению BI и Process Mining. Data Инженер будет работать в тесном сотрудничестве с архитекторами и командой аналитиков данных в целях обеспечения надежности и эффективности наших данных. Обязанности: Разработка и оптимизация ETL-процессов для загрузки, трансформации и агрегации данных из различных источников в хранилище данных Участие в проектировании и разработке архитектуры решений для обеспечения эффективной работы отчетности в инструментах бизнес-аналитики Взаимодействие с командой аналитики для понимания требований к данным и подбора инструментов для их удовлетворения Интеграция источников данных, обеспечение их согласованности и целостности Оптимизация производительности запросов и обеспечение быстрого доступа к данным для конечных пользователей Сборка витрин данных, построение инфо-кубов Развитие и поддержка мониторинговых систем для обеспечения высокой доступности данных и выявления бизнес-проблем Формирование технической документации Стек технологий: Database: SQL (будет плюсом опыт с noSQL DB) Построение ETL-процессов на Airflow, Luigi, etc. Понимание принципов работы BI-платформ: Power BI/Tableau/Visiology/Insight BI Опыт работы с message broker: Kafka/RabbitMQ/etc. Other skills: Python, Linux, Docker Требования: Опыт работы в области data engineering и BI от 1 года Знание подходов к построению DWH и аналитических систем: Datamart, Datalake Знания в области баз данных и структуры хранилищ данных Понимание ETL процессов опыт работы в инструментах обработки и анализа данных (например, Power Query/Alteryx/Loginom) Знание SQL и Python. Знание Java, Scala будет являться дополнительным преимуществом Понимание механизма работы BI-инструментов и опыт работы с инструментами визуализации данных (например, Power BI) Коммуникативные навыки и желание расти вместе с командой Опыт работы с инструментами и платформами для оркестрации данных, таких как Apache Airflow, Nifi, будет являться преимуществом Опыт работы с системами обмена сообщениями (например, Apache Kafka) будет являться преимуществом Опыт работы с Greenplum/PostgeSQL/Clickhouse будет являться преимуществом Присоединяйтесь к нашей команде, чтобы совместно создавать и поддерживать высокоэффективные и инновационные решения в области бизнес-интеллекта.