Целью исследования является разработка адаптивной методики оценивания уровня сформированности нескольких компетенций, исходя из результатов одного сеанса тестирования. В основе предлагаемой методики – модернизированная модель Раша. Оценка сформированности набора компетенций сводится к задаче классификации, решаемой с помощью алгоритма Байеса. После каждого выполненного задания вычисляется вероятность принадлежности обучаемого к некоторым заранее определенным паттернам (наборам значений сформированных компетенций). Для ускорения сходимости метода оценки компетенций применяется адаптивный выбор следующего задания, исходя из максимума информационной функции для паттерна, вероятность принадлежности к которому на предыдущем шаге максимальна. Для повышения устойчивости применяемого алгоритма Байеса использован метод регуляризации, основанный на анализе изменения энтропии распределения вероятностей принадлежности к паттернам. В случае «нетипичного» изменения энтропии после выполнения очередного задания предложено повторно выполнить задание с такими же параметрами сложности. Данное действие аналогично заданию уточняющего вопроса в ходе очного экзамена с экзаменатором, что значительно повышает устойчивость алгоритма Байеса в решаемой задаче. В ходе проведенного имитационного эксперимента показано, что построенная модель позволяет достоверно измерить уровень сформированности трех компетенций по четырехбалльной шкале в ходе одного сеанса тестирования, после выполнения двух-трех десятков заданий.

The aim of the research is to develop an adaptive methodology for assessing the level of competence formation of several competencies based on the results of a single testing session. The basis of the proposed methodology is an upgraded Rasch model. Assessment of competence set is reduced to a classification problem solved using Bayes algorithm. After each completed task the probability of the trainee belonging to some predetermined patterns (sets of values of the formed competences) is calculated. Adaptive selection of the next task is used to speed up convergence of competency assessment method based on information function maximum for the pattern which has maximal probability of membership at the previous step. To improve stability of Bayesian algorithm, regularization method based on analysis of pattern membership probability distribution entropy changes is used. In case of “atypical” changes of entropy after completing the next task, it is proposed to repeat the task with the same difficulty parameters. This action is similar to asking a clarifying question in a face-to-face exam with an examiner, which significantly increases the stability of Bayes algorithm in the problem to be solved. The simulation experiment shows that the built model allows to reliably measure the level of formation of three competences on a four-point scale during one testing session, after performing 20-30 of tasks.