Информация о статье
2021 г., Том 26, № 2, с.98-108
Золотов С.Ю., Турчановский И.Ю.
Применение стека технологий Apache Big Data в задачах климатического мониторинга
Описан эксперимент по использованию технологий Apache Big Data в исследованиях климатических систем. В ходе эксперимента реализовано четыре варианта решения тестовой задачи. Ускорение расчетов с помощью технологий Apache Big Data вполне достижимо, и наиболее эффективный способ для этого найден в четвертом варианте решения тестовой задачи. Суть найденного решения сводится к преобразованию исходных наборов данных к формату, подходящему для хранения в распределенной файловой системе и применения технологи Spark SQL из стека Apache Big Data для параллельной обработки данных на вычислительных кластерах
[полный текст] [ссылка на elibrary]
Ключевые слова: климатический мониторинг, технология Apache Big Data, масштабирование вычислений
doi: 10.25743/ICT.2021.26.2.008
Библиографическая ссылка: Золотов С.Ю., Турчановский И.Ю. Применение стека технологий Apache Big Data в задачах климатического мониторинга // Вычислительные технологии. 2021. Т. 26. № 2. С. 98-108
|
|
|