GSM-R контроль

Заказчик: ООО «ЖелдорЦТИ»
Проблема:
Пользователь — инженер сети GSM-R — хочет провести качественный анализ огромного массива данных для оценки уровня связи на железнодорожном транспорте, но существующие системы не способны обрабатывать большие объемы информации.
Используемые решения неэффективны:
 — локальный мониторинг покрывает лишь небольшие участки сети,
 — классические базы данных не выдерживают нагрузки больших объемов данных,
 — платформы Big Data требуют специальной адаптации и тонкой настройки,
 — визуализации часто поверхностны и не отражают полную картину,
 — аналитические инструменты не интегрируются в единую экосистему.
Цель проекта — создать систему мониторинга, способную быстро и качественно анализировать данные сети GSM-R.
Ограничения и рекомендации:
Освоение технологий работы с большими данными (Apache Hadoop, Apache Spark);
Изучение архитектур распределённых вычислений и облачных сервисов;
Подробное изучение структуры и характеристик протокола GSM-R.
Требуемые компетенции:
Работа с базами данных (MySQL, PostgreSQL, NoSQL);
Анализ больших данных (Big Data);
Программирование (Python, SQL).

«У меня миллионы строк логов, но я не могу понять, где пропала связь вчера в 14:37. Система „думает“ уже третий час. А поезд тогда шёл. И шёл вслепую».