В статье рассматривается возможность применения анализа текстовых данных в задачах оценки конспектов обучающихся на английском языке по двум параметрам: содержание и формулировка. В первой части статьи отражены результаты исследований, решающих схожие задачи. В качестве набора данных взяты изложения учеников 3–12-х классов англоязычных школ, которые были предоставлены в рамках соревнования на Kaggle. В исследовании рассматривается возможность для решения задачи применения методов natural language processing для векторизации данных, а именно – использование feature-engineering, извлечение эмбеддинга текста с помощью TF-IDF и языковых моделей на основе BERT (RoBERTA, DeBERTA). В качестве моделей для оценивания работ обучающихся использованы линейная регрессия и градиентный бустинг в реализации catboost. Для оценки качества работы моделей выбраны метрики «средняя среднеквадратическая ошибка по столбцам» и «среднеквадратичная ошибка для каждого целевого признака». С использованием предложенных моделей и методов проведены эксперименты и получены оценки качества моделей по k-fold кросс-валидации. На основании полученных результатов обоснованы возможность их применения на практике, а также потенциальные возможности развития данной темы.

The article discusses the possibility of using text data analysis in the tasks of assessing students’ notes in English according to two parameters: content and wording. The first part of the article reflects the results of studies that solve similar problems. The following is the purpose of the study, analysis of the initial data and methods for solving the problem. The data set was taken from the summaries of students in grades 3–12 in English-language schools, which were provided as part of a competition on Kaggle. The study examines the possibility of solving the problem of using natural language processing methods for data vectorization, namely, the use of feature-engineering, text embedding extraction using TF-IDF and language models based on BERT (RoBERTA, DeBERTA). Linear regression and gradient boosting in the catboost implementation were used as models for evaluating students’ work. To assess the quality of the models, the mean columnwise root mean squared error and root mean square error metrics were selected for each target feature. Using the proposed models and methods, experiments were carried out and estimates of the quality of the models were obtained using k-fold cross-validation. Based on the results obtained, the possibility of their application in practice, as well as potential opportunities for the development of this topic, is substantiated.