Цели проекта
Целью проекта стало создание масштабируемой, отказоустойчивой платформы для долгосрочного хранения и интеллектуальной обработки телематических данных, поступающих с автомобилей, оснащенных системой GAZ Connect.
Платформа должна обеспечить сбор, структурирование и анализ больших объемов данных в режиме близком к реальному времени, с возможностью последующего предоставления клиентам и внутренним подразделениям СТТ аналитических и цифровых сервисов. Это позволит улучшить качество обслуживания клиентов, оптимизировать производственные процессы, повысить надежность автомобилей и открыть новые возможности монетизации данных.
Описание проекта
Совместно с Рексофт ГК «СТТ» реализовала проект по созданию высоконагруженной платформы, аккумулирующей телематические данные от автомобилей ГАЗ. Платформа построена на технологиях Hadoop, Spark, Kafka, ClickHouse и других open source-инструментах.
Система обеспечивает сбор, хранение, обработку и анализ данных в различных разрезах: по автомобилям, версиям устройств, параметрам эксплуатации. Платформа также формирует аналитические витрины для внутренних пользователей и закладывает основу для цифровых клиентских сервисов: онлайн-диагностики, мониторинга условий использования, анализа жизненного цикла ТС и т. п.
Сложность реализации
Основные сложности проекта были связаны с необходимостью построения отказоустойчивой архитектуры, способной обрабатывать сотни терабайт данных, в условиях отсутствия готовых коммерческих решений.
Важным вызовом стало обеспечение бесшовной интеграции с существующими системами и поддержка подключения новых источников данных в будущем.
Отдельное внимание потребовало соблюдение требований к безопасности, качеству данных и высокой скорости обработки. Проект требовал высокой слаженности команд, глубокой экспертизы в Big Data и оперативного принятия технических решений в условиях гибкой, но сложной инфраструктуры.
- Создание масштабируемой и импортонезависимой платформы
- Платформа аккумулирует 8 ТБ телематических данных и заложен фундамент для роста цифровых сервисов
- Клиенты получат доступ к инструментам предиктивного обслуживания и онлайн-диагностики
- Внутренние подразделения получают полную и актуальную аналитику по качеству данных, что помогает улучшать продукцию
- Усиление конкурентных преимуществ клиента и рост продаж
- Устойчивое развитие цифрового направления бизнеса
Ключевое использованное ПО и оборудование
- PureApplication System
- RedHat OpenShift
- IBM MessageSight – MQTT брокер
- IBM Cloudant
- PostgreSQL
- Kafka
- Redis
- Prometheus
- EFK
- Java/Spring
Заполните форму обратной связи