Информатизация является одним из принципов современной парадигмы образования, поэтому программные продукты и автоматизированные системы становятся повседневными цифровыми инструментами в преподавательской деятельности [1, с. 4]. Каждый преподаватель или образовательная организация формируют собственное поле программного обеспечения, исходя из решаемых задач, уровня образования (начальное, среднее или высшее) и контингента обучающихся. По назначению и решаемым задачам отдельные программы и системы можно условно разделить на три категории:
− системы управления образовательным процессом и образовательной организацией (учет кадров и обучающихся, материально-техническое обеспечение, юридическое сопровождение и т.п.);
− системы автоматизации научных исследований и обработки экспериментальных данных (математические, статистические и инженерно-технические расчеты, вычислительные эксперименты, имитационное моделирование и т.д.);
− программное обеспечение для реализации учебного процесса и контроля качества образования (создание электронных учебных материалов, автоматизация поддержки учебного процесса и оценки усвоения знаний обучающимися, образовательные порталы и т.д.).
Остановимся на последней категории. Назначение соответствующих программных продуктов в числе прочего имеет своей целью обеспечение психологического комфорта преподавателя за счет повышения объективности оценивания обучающихся, включая систему защиты от возможности выставления необъективной оценки с помощью автоматизации процесса оценивания на основе набора объективных показателей [2, с. 37]. В данном контексте преподавателю будет полезен программный инструмент, который поможет обосновать итоговую и промежуточную оценку, а также позволит в процессе контроля сконцентрироваться на контроле знаний, а не формальных признаков.
В статье предлагаются концепция, модель и структура автоматизированной системы, реализующей идею контроля усвоения материала, которая позволит упростить работу преподавателя и достичь максимального уровня объективности оценивания. Для этого необходимо в настройках алгоритмов учитывать особенности образовательного процесса учебного заведения, а также накопленные данные о видах и результатах персональной аттестации обучающихся. Исходя из этого, концепция построения системы базируется на трех основных требованиях:
1. Динамическое сочетание объективных и субъективных моментов. Все участники образовательного процесса должны точно понимать критерии и факторы, влияющие на выставление оценок. Система только предоставляет информацию для принятия решения и документирует зафиксированные формальные признаки отклонения от принятых норм. Решение о значимости признаков и их влияния на результирующую оценку принимает преподаватель
2. Обоснованность и интерпретируемость. Все пороговые значения показателей, а также отношения между сущностями образуют индивидуальную конфигурацию, соответствующую конкретной процедуре контроля. Преподаватель должен иметь возможность создания и редактирования конфигураций в зависимости от текущих решаемых задач.
3. Масштабируемость. Информационная система должна позволять собирать избыточный объем информации и допускать взаимодействие с внешними физическими устройствами (интерфейсы для индикации определенных этапов контроля и/или нарушений принятых норм поведения).
Структура системы
Общая структура предлагаемой системы представлена на рис. 1.
Многомодульное клиентское приложение предназначено для работы в следующих основных режимах:
− настройка весов признаков контроля;
− управление базой данных;
− обработка данных, поступающих непосредственно с датчиков;
− документирование выявленных отклонений.
Система ввода-вывода представляет собой человеко-машинный интерфейс, включающий в себя четыре группы программно-аппаратных средств:
− индикаторы, сигнализирующие о наличии признаков нарушений процедуры контроля;
− набор датчиков, генерирующих поток информации об условиях реализации процедуры контроля;
− информационный экран, отображающий сведения о прогнозируемых результатах контроля;
− устройства ввода для взаимодействия непосредственно с клиентским приложением.
Рис. 1. Общая структура системы
Рис. 2. Структура признаков контроля
База данных предназначена для хранения информации об итогах предыдущих сеансов контроля, настройки признаков системы, а также значений оперативных и ретроспективных признаков.
Модуль генерации признаков представляет собой интерактивный программный комплекс, при работе с которым преподаватель получает возможности указания контролируемых признаков и отношений между ними либо в ручном режиме, либо посредством использования специальной эвристики, основанной на прохождении специальной анкеты. В основе «оцифровки» преобразования нечетких представлений об отношениях лежит метод анализа иерархий [3, с. 9].
Признаки, используемые для контроля
При разработке автоматизированной системы предлагается использовать несколько классификаций признаков, связь между которыми показана на рис. 2.
Базовым критерием является разделение всех признаков на две большие группы – оперативные и ретроспективные признаки.
Оперативные признаки могут быть ассоциированы с современными системами прокторинга. Они отслеживаются в режиме реального времени путем фиксации показаний с различных датчиков и после обработки используются для контроля соблюдения регламента образовательного мероприятия в автоматическом или полуавтоматическом режиме, подобно тому как это было бы реализовано преподавателем в случае физического присутствия. Для повышения точности контроля в системе прокторинга организуется обработка нескольких потоков видео- и аудиоинформации с использованием технологий распознавания аудиовизуальных образов. Структура оперативных признаков с указанием технических средств фиксации приведена на рис. 3.
Группа ретроспективных признаков наполняется с использованием ретроспективного анализа. Для этого оценивается «история» образовательных траекторий обучающихся по приоритетной и смежным дисциплинам. Признаки данной группы позволяют проанализировать корреляцию полученной оценки с предыдущими показателями, выявляя возможную аномальность выставленной оценки, но не давая при этом характеристик и не указывая на ошибочность.
Рис. 3. Признаки и их источники
Кроме того, данные по ретроспективным признакам могут быть полезными при формировании требований для контроля. К данной группе признаков относятся:
− процент посещаемости по выделенному набору дисциплин и общий процент посещаемости;
− средний балл по выборке предметов;
− внеучебные достижения по выборке предметов;
− сложность.
Последний признак является составной характеристикой, включающей в себя объективные и субъективные показатели [4, с. 80]. Количественная мера сложности определяется директивно и по мере накопления содержательной информации корректируется на основе статистических оценок [5, с. 67].
Расчет веса критериев оперативного контроля
Критерии оперативного контроля, как и любая векторная качественная величина, имеют определенную степень значимости, численно определяемую весовым вектором. Его компоненты определяются преподавателем в зависимости от выбранной стратегии реализации образовательного мероприятия. Например, в одном случае он акцентирует внимание на отсутствии контакта с другими студентами или с техническими средствами, а в другом случае – на тишине в аудитории, но при этом без ограничений на использование любых средств получения информации.
Формализация процесса построения системы оперативного контроля возможна посредством вычисления весов и расстановки приоритетов [3, с. 11], но реализация подобной процедуры вручную затруднительна в силу нескольких причин:
− неизвестно, какие технические средства контроля доступны в аудитории проведения мероприятия;
− сложность формальной оценки отношений между преподавателем и целевой группой обучающихся;
− группы обучающихся, как объект контроля, характеризуются большим «разбросом» показателей как среди членов одной группы, так и между смежными группами;
− изменчивость условий контроля требует регулярного пересмотра весов, что представляет собой значительный объем регулярных вычислений и/или заполнения большого количества параметров;
− часто у преподавателя возникает проблема трансляции имеющегося багажа знаний и опыта в набор формальных требований к системе контроля.
Для преодоления обозначенных проблем предлагается использовать комбинированный подход, использующий методы гуманитарных и технических наук.
Базовую расстановку и корректировку весов целесообразно производить, опираясь на результаты анкетирования. Анкета должна содержать вопросы, уточняющие требования к студентам и «нормальным» условиям в аудитории, а также информацию о технических средства контроля.
Фактически ответ на каждый вопрос анкеты служит для получения первичного балла (веса) каждого из атомарных критериев и вычисления относительных значений, определяющих степени значимости комбинированных показателей, таких как дисциплина в аудитории, возможность списывания ответов, уровень шума и т.д. Нормализованные веса подобных показателей вычисляются по формуле
,
где Сi – значение i-го показателя; n – размерность вектора атомарных признаков; wi – значимость атомарного признака из анкеты; xi – наличие или отсутствие оборудования для объективной фиксации j-го атомарного признака; M(wi) – максимальное значение веса атомарного критерия.
Итоговый нормализованный индикатор I в каждый момент времени может быть вычислен по формуле
,
где m – размерность вектора комбинированных показателей; Xi – относительный показатель значимости j-го комбинированного показателя.
Относительные показатели значимости вычисляются с применением метода анализа иерархий [3, с. 9].
Завершение процесса контроля и оценивание
Процесс контроля образовательного мероприятия прерывается при наступлении одного из трех событий:
1) превышение в определенный момент времени текущего значения показателя Ci заданной пороговой величины θi: Ci > θi;
2) сумма штрафных баллов Σ(T), вычисляемая методом скользящего окна, которые накоплены за определенный промежуток времени, превышает заданный порог μ:
,
где φ(T) – функция, определяющая величину «затухания» реакции системы (степень влияния предыдущих сигналов на текущий интегральный показатель) к моменту времени T; I(τ) – значение итогового нормализованного индикатора в момент времени τ.
С течением времени штрафной балл, накопленный к моменту T, снижается в зависимости от чувствительности системы (экзогенно устанавливаемая зависимость);
3) завершение процедуры контроля.
В момент выставления непосредственной оценки преподаватель для принятия решения использует вторую часть системы контроля, представляющую собой нейронную сеть, входящую в состав модуля логического вывода, на вход которой подается информация, содержащая ретроспективные и оперативные признаки, описывающие следующие факторы:
1) контролируемая тема – составной набор данных, которые характеризуют тему контроля по таким критериям, как сложность, количество интегрируемых межпредметных связей, количество контролируемых разделов, количество заданий по уровням сложности (как правило, три уровня);
2) контролируемая группа – составной набор данных, характеризующий целевую группу по критериям: количество одновременно контролируемых лиц, наличие лиц с ограниченными возможностями здоровья, средний академический балл, средний процент посещаемости;
3) оценки успеваемости по выделенной группе предметов;
4) прогнозируемая системой контроля оценка;
5) формализованные характеристики обучающихся (текущий рейтинговый показатель, при использовании соответствующей системы оценивания, наличие значимых достижений по дисциплине или связанным дисциплинам, а также внеучебных достижений);
6) текущее количество штрафных баллов.
На выходе нейронная сеть генерирует прогнозируемые оценки – академическую и системы контроля. Поскольку в сети используются временные ряды, в архитектуру нейронной сети включаются два скрытых слоя.
Таким образом, с точки зрения преподавателя, процедура контроля может быть разделена на два этапа:
− контроль непосредственно продемонстрированных знаний в ходе образовательного мероприятия;
− контроль самостоятельности выполнения заданий.
В каждом из видов контроля присутствуют определенные критерии, позволяющие судить о достижении требуемого уровня усвоения материала.
Заключение
Представленная структура автоматизированной системы обеспечения объективности контроля качества обучения инвариантна относительно содержания и особенностей контролируемых дисциплин, а также видов контроля. Более того, образовательные мероприятия являются только одной, хотя и основной сферой ее применения. Она может использоваться в рекрутинге, кадровом менеджменте, профессиональной ориентации и других областях, где требуется получение объективных оценок тех или иных показателей.