Методы ситуационного анализа и графической визуализации потоков больших данных

Предложен подход к созданию информационной системы, осуществляющей обработку и глубокий анализ потоков разнородных данных. Проведен анализ существующих средств потоковой обработки данных. С помощью извлечения из потоков сообщений необходимой информации выполнены мониторинг и прогнозирование развития ситуаций для поддержки принятия управленческих решений. Подход основан на последовательном обнаружении событий в текстовом потоке, формировании ситуаций и построении сценариев их дальнейшего развития. Для представления причинно-следственных и иерархических связей между событиями и ситуациями предложены сложные графовые модели, в частности метаграфовая модель. Рассмотрены вопросы создания аппаратных средств для ускорения работы с такими моделями. Для достижения высокой эффективности использования полученных результатов анализа потока данных лицом, принимающим решения, применены методы когнитивной графики, в частности метод динамического анаморфирования. Предложена структура семиотической системы обработки больших потоков данных

Литература

[1] Kreps J. Putting Apache Kafka to use: a practical guide to building a stream data platform (part 1). URL: https://www.confluent.io/blog/stream-data-platform-1 (дата обращения: 10.02.2017).

[2] Самарев Р.С. Обзор состояния области потоковой обработки данных // Труды ИСП РАН. 2017. Т. 29. № 1. С. 231–260. DOI: 10.15514/ISPRAS-2017-29(1)-13 URL: http://www.ispras.ru/proceedings/isp_29_2017_1/isp_29_2017_1_231 (дата обращения: 20.02.2017).

[3] Andrade H.C.M., Gedik B., Turaga D.S. Fundamentals of stream processing: application design, systems, and analytics. Cambridge University Press, 2014. 558 p.

[4] Chintapalli S., Dagit D., Evans B., Farivar R., et al. Benchmarking streaming computation engines: storm, flink and spark streaming // IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW). 2016. Р. 1789–1792. DOI: 10.1109/IPDPSW.2016.138 URL: http://ieeexplore.ieee.org/document/7530084

[5] Марц Н., Уоррен Дж. Большие данные. Принципы и практика построения масштабируемых систем обработки данных в реальном времени. М.: Вильямс, 2016. 368 с.

[6] Defining N-ary relations on the semantic web // W3C Working Group Note 12 April 2006. URL: http://www.w3.org/TR/swbp-n-aryRelations (дата обращения: 10.02.2017).

[7] Черненький В.М., Терехов В.И., Гапанюк Ю.Е. Представление сложных сетей на основе метаграфов // Нейроинформатика — 2016. XVIII Всероссийская научно-техническая конференция. Сборник научных трудов. Ч. 1. М.: МИФИ, 2016. С. 225–235.

[8] Самохвалов Э.Н., Ревунков Г.И., Гапанюк Ю.Е. Использование метаграфов для описания семантики и прагматики информационных систем // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2015. № 1. С. 83–99. DOI: 10.18698/0236-3933-2015-1-83-99

[9] Гапанюк Ю.Е., Ревунков Г.И., Федоренко Ю.С. Предикатное описание метаграфовой модели данных // Информационно-измерительные и управляющие системы. 2016. № 12. С. 122–131.

[10] Березкин Д.В., Ревунков Г.И., Гапанюк Ю.Е. Подходы к построению гибридных хранилищ данных для информационных систем // Гибридные и синергетические интеллектуальные системы. Материалы III Всероссийской поспеловской конференции с международным участием. Калининград: Изд-во БФУ им. И. Канта, 2016. С. 141–148.

[11] Macko P., Margo D., Seltzer M. Performance introspection of graph databases // Proc. 6th Int. Systems and Storage Conf. (SYSTOR 13). ACM, 2013. 10 p. DOI: 10.1145/2485732.2485750 URL: https://dl.acm.org/citation.cfm?doid=2485732.2485750

[12] Efficient virtual memory for big memory servers / A. Basu, J. Gandhi, J. Chang, M.D. Hill, M.M. Swift // SIGARCH Comput. Archit. News. 2013. Vol. 41. No. 3. Р. 237–248. DOI: 10.1145/2508148.2485943 URL: https://dl.acm.org/citation.cfm?id=2485943

[13] Delorimier M., Kapre N., Mehta N., Dehon A. Spatial hardware implementation for sparse graph algorithms in GraphStep // ACM Trans. Auton. Adapt. Syst. 2011. Vol. 6. No. 3. Art. 17.

[14] Accelerating breadth first search on GPU-BOX / T. Mitsuishi, Sh. Nomura, J. Suzuki, Yu. Hayashi, M. Kan, H. Amano // SIGARCH Comput. Archit. News. 2014. Vol. 42. No. 4. P. 81–86. DOI: 10.1145/2693714.2693729 URL: https://dl.acm.org/citation.cfm?doid=2693714.2693729

[15] FPGA-based hardware acceleration for boolean satisfiability / K. Gulati, S. Paul, S.P. Khatri, S. Patil, A. Jas // ACM Trans. Des. Autom. Elect. Syst. 2009. Vol. 14. No. 2. DOI: 10.1145/1497561.1497576 URL: https://dl.acm.org/citation.cfm?id=1497576

[16] SQRL: hardware accelerator for collecting software data structures / Sn. Kumar, A. Shriraman, V. Srinivasan, D. Lin, J. Phillips // Proc. 23rd Int. Conf. on Parallel Architectures and Compilation (PACT14). ACM, 2014. P. 475–476. DOI: 10.1145/2628071.2628118 URL: https://dl.acm.org/citation.cfm?id=2628118

[17] Popov A. An introduction to the MISD technology // Proc. 50th Hawaii Int. Conf. on System Sciences (HICSS50). 2017. P. 1003–1012.

[18] Андреев А.М., Березкин Д.В., Козлов И.А. Подход к автоматизированному мониторингу тем на основе обнаружения событий в потоке текстовых документов // Информационно-измерительные и управляющие системы. 2017. Т. 15. №. 3. С. 49–60.

[19] Андреев А.М., Березкин Д.В., Козлов И.А. Подход к автоматизированному мониторингу и прогнозированию развития инновационных образовательных технологий // Наука и образование: научное издание. 2016. № 7. С. 196–208. URL: http://technomag.edu.ru/jour/article/view/999

[20] Гусейн-заде С.М., Тикунов В.С. Анаморфозы: что это такое? М.: Эдиториал УРСС, 1999. 168 с.

[21] Терехов В.И. Применение когнитивной компьютерной графики в системах поддержки принятия решения должностных лиц органов военного управления. М.: Общевойсковая академия ВС РФ, 2012. 150 с.

[22] Терехов В.И. Применение когнитивной компьютерной графики для визуализации актуальной информации лицам, принимающим решение // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2012. Спец. вып. С. 109–119.

[23] Koza J. Genetic programming: on the programming of computers by means of natural selection. MIT Press, 1992. 840 p.