13 / 17
узле кластера обеспечит преобразование исходных пар ключ/значение
в промежуточный набор пар ключ/значение (класс, реализующий ин-
терфейс Mapper), и обработчик, сводящий промежуточный набор пар
в окончательный, сокращенный набор (класс, реализующий интер-
фейс Reducer) [18].
Все остальные фазы выполняются Hadoop без дополнительного
кодирования со стороны разработчика. Кроме того, среда выполнения
Hadoop MapReduce выполняет следующие функции: планирование и
распараллеливание заданий; перенос заданий к данным; синхрониза-
ция выполнения заданий; перехват “проваленных” заданий; обработ-
ка отказов выполнения заданий и перезапуск проваленных заданий;
оптимизация сетевых взаимодействий.
Hadoop MapReduce использует архитектуру “master-worker”, где
master — единственный экземпляр управляющего процесса (JobTracker),
как правило, запущенный на отдельной машине (вычислительном
узле). Worker-процессы — это произвольное множество процессов
TaskTracker, исполняющихся на DataNode. JobTracker и TaskTracker
формируются над уровнем хранения HDFS. TaskTracker исполняются
в соответствии с принципом “данные близко”, т.е. процесс TaskTracker
располагается максимально близко с узлом DataNode, данные которого
обрабатываются.
Приведенные принципы расположения JobTracker- и TaskTracker-
процессов позволяют существенно сократить объемы передаваемых
по сети данных и сетевые задержки, связанные с передачей этих дан-
ных, — основные “узкие места” производительности в современных
распределенных системах.
Заключение.
Планирование и координация воздушного движе-
ния — один из важнейших элементов в сфере авиации, помогающий
эффективно использовать имеющийся ресурс воздушного простран-
ства и наземных служб, при этом сохраняя безопасность перемещения
ВС. Для извлечения максимальной пользы из имеющихся ресурсов
без ущерба для авиации, необходимо иметь точные данные о внешних
факторах, которые влияют на ВС. Чем более полной будет картина те-
кущей метеообстановки, тем точнее аналитики смогут сделать прогно-
зы на длительный срок, которые в последствии будет использоваться
при планировании использования воздушного пространства. Однако
в настоящий момент современные системы используют устаревшие
механизмы обмена метеоданными, в то время как сбор метеоданных
осуществляется с помощью современного оборудования. Это несоот-
ветствие систем сбора, передачи и обработки информации приводит к
тому, что данные, получаемые системами планирования, имеют низкое
качество, что влияет на точность прогнозов, эффективность исполь-
зования воздушных ресурсов и повышает вероятность возникновения
авиакатастроф.
58 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. “Приборостроение”. 2015. № 6