В статье рассмотрены вопросы анализа и обработки больших массивов метеорологических данных. Целью исследования является обмен опытом в выявлении и корректировке пропущенных и аномальных значений временных рядов метеорологических данных. В рамках исследования разработаны алгоритмы нормализации данных, выявления их индивидуальных и контекстных аномалий, а также корректировки пропущенных и аномальных значений. Особенностями разработанных алгоритмов являются использование модели машинного обучения, основанной на применении деревьев решений, для изучения рядов данных при выявлении пропущенных значений, а также анализ временных и сезонных закономерностей при выявлении индивидуальных и контекстных аномалий на основе специализированных библиотек на языке программирования Python. Разработанные алгоритмы включены в программные модули сервис-ориентированного приложения для получения, обработки и анализа климатических данных при решении сложных мультидисциплинарных научных и прикладных задач экологического мониторинга Байкальской природной территории. Предложенная методика применена для анализа и обработки нескольких временных рядов метеорологических данных, полученных с метеостанций, которые расположены на Байкальской природной территории. Результаты применения методики показали существенное повышение качества обработанных данных, использованных в дальнейшем на практике в задачах моделирования работы автономных энергетических систем инфраструктурных объектов Байкальской природной территории. Исследование проведено при поддержке Министерства науки и высшего образования Российской Федерации, проект № FWEW-2021-0005 «Технологии разработки и анализа предметно-ориентированных интеллектуальных систем группового управления в недетерминированных распределенных средах» (рег. № 121032400051-9).

The study investigates the problems of analysis and processing of large datasets of meteorological data. The goal of the research is to exchange experience in identifying and correcting missing and anomalous values in meteorological time series data. Within the scope of the study, algorithms for data normalization, detection of individual and contextual anomalies, and correction of missing and anomalous values, were developed. A distinctive feature of the developed algorithms is the use of a machine learning model based on decision trees for the analysis of data series for the identification of values, as well as for the analysis of temporal and seasonal patterns in the detection of individual and contextual anomalies, using specialized libraries in the Python programming language. The developed algorithms are integrated into software modules of a service-oriented application for obtaining, processing, and analyzing climate data in solving complex multidisciplinary scientific and applied tasks related to ecological monitoring of the Baikal Natural Territory. The proposed method was applied to the analysis and processing of several meteorological time series obtained from meteorological stations located in the Baikal Natural Territory. The results of the method application demonstrated a significant improvement in the quality of processed data, which was later used in practical tasks such as modeling the operation of autonomous energy systems for infrastructure facilities in the Baikal Natural Territory. The study was supported by the Ministry of Science and Higher Education of the Russian Federation, project No. FWEW-2021-0005 “Technologies for the development and analysis of domain-oriented intelligent group control systems in non-deterministic distributed environments” (reg. No. 121032400051-9).