Особенности планирования воздушного движения с использованием синоптических карт, построенных с применением технологий Big Data

Рис. 4. Структура Shared Memory архитектуры

в современном компьютере. Структура архитектуры Shared Memory

представлена на рис. 4.

Shared Nothing архитектура также имеет слабое место — сеть, од-

нако в вычислительной модели MapReduce, рассмотренной далее, ко-

личество данных, передающихся по сети минимизировано. В случае с

метеообстановкой, присутствует необходимость обработки большого

количества данных, частое обращение к диску и постоянная работа с

памятью. Объемы информации растут, а значит необходимо иметь воз-

можность линейно масштабировать систему. Исходя из этих данных,

отметим, что архитектура Shared Nothing подходит лучшим образом.

2. Особенности реализации обработки метеоданных с исполь-

зованием вычислительной модели MapReduce.

Модель MapReduce

была разработана компанией Google, известной не только своими тех-

нологическими достижениями, но и способностью их скрывать. Имен-

но в таком духе выдержана статья Джефри Дина и Санжая Чемава-

та “MapReduce: упрощенная обработка данных на больших класте-

рах” (MapReduce: Simplied Data Processing on Large Clusters), недоска-

занности которой компенсирует работа Ральфа Ламмеля из исследо-

вательского центра Microsoft в Редмонде “Модель программирова-

ния MapReduce компании Google” (Google’s MapReduce Programming

Model) [16].

MapReduce — модель распределенных вычислений, используе-

мая для параллельных вычислений над очень большими, несколько

Петабайт, наборами данных в компьютерных кластерах. В модели

MapReduce обработка данных состоит из двух шагов: Map и Reduce.

На Map-шаге происходит предварительная обработка входных данных.

Для этого один из компьютеров, в данном случае главный узел, полу-

чает входные данные задачи, разделяет их на части и передает другим

компьютерам (рабочим узлам) для предварительной обработки. На

Reduce-шаге происходит консолидация предварительно обработанных

на Map-шаге данных. После консолидации главный узел получает

ответы от рабочих узлов и на их основе формирует результат — реше-

52 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. “Приборостроение”. 2015. № 6