Пресс данных

Заказчик: ЦДИ ОАО «РЖД»
Проблема:
Специалисты отдела передачи и обработки данных сталкиваются с серьезной проблемой неэффективного сжатия и обработки огромных объемов данных, поступающих от диагностических систем ОАО «РЖД». Это приводит к замедлению работы и невозможности быстро получать нужную информацию для принятия важных решений.
Ограничения и рекомендации:
Использовать:
Язык программирования Python и библиотеки для работы с большими данными (Pandas, Dask)
Методы компрессии данных (LZMA, Zstandard)
Большие объемы хранимых данных (Big Data Storage)
Средства визуализации данных (Matplotlib, Plotly)
Рекомендовано:
Изучить курсы по обработке и хранению больших данных (Coursera, Stepik)
Ознакомиться с документацией существующих систем сжатия данных
Провести эксперименты по сравнению различных методов компрессии
Требуемые компетенции:
Понимание работы с большими объемами данных и методами их обработки
Навыки работы с современными методами компрессии данных
Опыт работы с диагностическими системами и спецификой их данных
Знание принципов проектирования и разработки ПО

«У нас есть умные датчики, но глупые алгоритмы. Мы теряем время, энергию и важные сигналы — просто потому, что не умеем сжимать данные без потерь и задержек».