Появление нового образовательного стандарта (ФГОС), главным отличием которого от предыдущего стала ориентация на результаты обучения студентов, обеспечило диалог между образовательным учреждением и рынком труда, что позволило полученные студентами знания и навыки применять при построении карьеры. Однако переход на новый образовательный стандарт не обошелся без появления новых проблем. Одной из них является отсутствие конкретики и однозначного понимания состава формулировок компетенций и соответствующих им результатов обучения. В данной статье предложена методика оценки и анализа формулировок результатов обучения, основанная на предположении, что получаемые векторы этих формулировок являются ортогональными друг другу. Векторы были получены с помощью языковой модели ELMO и затем поданы на вход двум метрикам: евклидовому расстоянию и косинусной мере. Были отобраны как лучшие по расчету формулировки, так и худшие. По результатам анализа и сравнения было выявлено, что в лучших формулировках преимущественно используются разные слова, также они обладают малой длиной фраз. Худшие формулировки являются таковыми потому, что в них используются одинаковые слова и фразы. Была предложена рекомендация использовать в качестве порогового значения для евклидова расстояния 7, а для косинусной меры 0,6. Для получения представления о том, как работает модель ELMO, была предпринята попытка упрощения расчета за счет уменьшения размерности векторов. Упрощение позволило сделать следующий вывод: если векторы пересекаются в пиковых значениях, то они являются семантически близкими друг к другу, и наоборот.

The emergence of a new educational standard (FSES), the main difference of which from the previous one was the focus on student learning outcomes, provided a dialogue between the educational institution and the labor market, which allowed the knowledge and skills acquired by students to be applied in building a career. However, the transition to a new educational standard was not without new problems. One of them is the lack of specificity and unambiguous understanding of the content of the formulations of competencies and the corresponding learning outcomes. This article proposes a methodology for assessment and analyzing the formulations of learning outcomes based on the assumption that the resulting vectors of these formulations are orthogonal to each other. These vectors were obtained using the ELMO language model and then fed into two metrics: Euclidean distance and cosine measure. Both the best formulations in terms of calculation and the worst were selected. According to the results of the analysis and comparison, it was revealed that in the best formulations, different words are mainly used, and they also have a short phrase length. The worst formulations are so because they use the same words and phrases. A recommendation was made to use 7 as the threshold value for the Euclidean distance and 0,6 for the cosine measure. To get an idea of how the ELMO model works an attempt was made to simplify the calculation by reducing the dimension of the vectors. Simplification made it possible to draw the following conclusion: if vectors intersect at peak values, then they are semantically close to each other, and vice versa.