Результативность внешнего проявления деятельности образовательной организации высшего образования, как и любой другой организационной системы, можно охарактеризовать набором количественных показателей. Для вузов такие показатели начали активно формироваться и применяться начиная с 2012 г., когда в проекте по мониторингу эффективности деятельности высших учебных заведений, проводимом Минобрнауки России, приняли участие более 1500 вузов и их филиалов. При этом набор показателей не является постоянной величиной и активно изменяется, исходя из накопленного опыта использования результатов измерений. Так, уже в 2013 г. «академическое сообщество выступило с предложением о необходимости учитывать показатели трудоустройства выпускников, получивших образование в том или ином вузе...» [1] в данном наборе.
За прошедшее десятилетие методология учета результатов мониторинговых мероприятий в высшем образовании получила дальнейшее развитие. В частности, после появления обоснованных замечаний, что «…система оценки эффективности вузов не позволяет в полной мере объективно оценивать их инновационный потенциал…» [2], и показатели «…не всегда отражают эффективность образовательных организаций…» [3], их перечень был существенно расширен. Все это позволяет сделать вывод о важности получаемых с помощью оценки установленных показателей результатов, как для макрорегулятора, так и для отдельных университетов.
Анализируя нормативную базу, можно определить три наиболее значимые области, на которые влияют полученные при мониторинге показатели:
− возможность реализации вузом образовательных программ, имеющих государственную аккредитацию [4];
− перечень направлений подготовки и количество студентов, осваивающих основные образовательные программы за счет средств федерального бюджета [5];
− уровень заработной платы в образовательном учреждении [6].
К указанным областям можно отнести большинство основных бизнес-процессов вуза.
Следовательно, интегральный набор показателей, устанавливаемый соответствующими документами, полностью отражает деятельность образовательных организаций, является основой «…в целом для управления системой высшего образования, принятия соответствующих управленческих решений» [7] макрорегулятора, в том числе частных, направленных на конкретные вузы. Вполне можно сделать вывод, что к настоящему моменту управление образовательной системой со стороны Министерства науки и высшего образования, по крайней мере в некоторой ее части, соответствует методологии управления на основе данных.
Управление на основе данных, как относительно новый инструмент, может быть интересно не только макрорегулятору, но и непосредственно вузам, для которых является «…инструментом ускоренного развития современного, "умного" вуза» [8]. Ряд образовательных организаций уже выстроили или уже формируют «…постоянно действующие и динамичные системы не столько оценки качества образования, сколько управления качеством…» [9] на основе образовательных данных. При этом важен выбор показателей мониторинга уже внутренней среды вуза, принять за которые проще всего, но не совсем правильно, набор соответствующих показателей из указанных выше нормативных документов. Действительно, вуз оценивается Минобрнауки именно по ним, а значит, стремление контролировать именно эти показатели вполне естественно. Рассмотрим этот вопрос более подробно.
Одним из наиболее значимых показателей в описанном выше наборе является значение сохранности контингента обучающихся на момент завершения обучения (в различных документах формулировка показателя может варьироваться: средний процент сохранности контингента обучающихся; доля обучающихся, успешно завершивших обучение по образовательной программе высшего образования, от общей численности обучающихся, поступивших на обучение по соответствующей образовательной программе высшего образования; и т.п.). Его важность, помимо влияния на вуз через рассмотренную систему мониторингов, обусловлена и проецированием через него успешности выполнения государственного задания на обучение, а следовательно, и уровня финансирования образовательной организации. Кроме того, показатель является одним из немногих, которые фиксируют не только результативность деятельности вуза, но и, в некоторой степени, эффективность использования ресурсов. Это частично нивелирует известную проблему «…исключения из фокуса внимания вопросов, связанных с соотношением достигнутых результатов и затраченных на них ресурсов» [10], делает его важным в перечне критериев системы внешнего управления вузом на основе данных.
В силу специфики организации учебного процесса прямое отслеживание сохранности контингента, даже в виде прогнозирования его будущего значения в каждом семестре обучения, не является эффективным с точки зрения достижения его целевых значений. Это обусловлено, во-первых, временной дискретностью промежуточной аттестации студентов и, во-вторых, общей необратимостью процесса отчисления обучающихся. То есть показатель меняется резко (после окончания сроков пересдач академических задолженностей) и без возможности принятия управленческих мер для массового восстановления студентов.
Не слишком удачным управленческим решением в этой ситуации является распределение предельных «квот» на отчисление обучающихся в каждом семестре, исходя из равномерного распределения по ним общего максимально допустимого количества отчислений. Причем более релевантное планирование и прогнозирование такого распределения, особенно в ходе процесса актуализации и обновления образовательных программ, как правило, затруднено из-за высокой волатильности внешней среды.
При превышении такой квоты в какой-либо семестр вуз может лишь принять меры для ее компенсации за счет будущих семестров. Но это возможно только лишь путем либо приложения дополнительных незапланированных усилий преподавательского состава (дополнительные консультации и т.п.), либо снижения требований к уровню освоения компетенций обучающимся. И в первом, и во втором случае обучающиеся, видя такие меры, перекладывают ответственность за свою аттестацию на преподавателей и еще больше снижают свои усилия по освоению образовательной программы и ликвидации академических задолженностей. Это позволяет говорить о наличии признаков положительной обратной связи в этом подходе: чем больше усилий прилагается для увеличения сохранности контингента, тем большее количество обучающихся попадают под признаки представления к отчислению.
Обратная связь еще больше усиливается из-за ограниченности времени обучения: чем больше квот переносится на последующие семестры, тем сложнее ситуация во время их реализации. Фактически образовательная организация имеет возможность лишь фиксировать возможный «провал» сохранности контингента уже к определенному семестру, когда любые меры воздействия уже опоздали, что создает актуальную организационную и информационно-техническую проблему при цифровизации управления учебным процессом.
Таким образом, несмотря на свою важность и значимость, сохранность контингента обучающихся как показатель методологии управления на основе данных, хотя и используется со стороны макрорегулятора для определения управленческих воздействий на всю образовательную организацию целиком (или отдельным его учебным подразделением), но неприемлема внутри вуза (учебного подразделения вуза) для оперативного управления на основе данных, что является актуальной проблемой автоматизации системы управления.
Целью исследования является поиск и обоснование показателя, непрерывно отражающего ход учебного процесса в части уровня сохранности контингента. Важным условием является наличие возможности выработки управленческих решений, разумеется, в рамках правового поля, для его изменения в максимально близком к «реальному времени» режиме. Также актуальными задачами являются апробация отдельных аспектов технической реализации вычисления значения искомого показателя, его визуализации и методов выработки управленческих решений на основе текущих значений.
Материалы и методы исследования
В настоящий момент заметная часть образовательных организаций высшего образования использует информационные системы, основанные на конфигурации 1С:Университет ПРОФ. Информационный продукт хорошо зарекомендовал себя, постоянно обновляется, обладает развитым функционалом как по расчету и распределению нагрузки сотрудников, так и в части управления контингентом, в систему встроены модули интеграции с ФИС ГИА, ФРДО, ГИС Контингент, суперсервисом «Поступление в вуз онлайн», Московским социальным реестром и др. Открытый программный код позволяет ее дорабатывать силами информационных и ИТ-служб вуза с учетом принятых в нем особенностей бизнес-процессов и других нюансов.
Следует указать, что слабой стороной платформы 1С:Предприятие является представление и визуализация данных, что требует от специалистов-разработчиков ИТ-служб дополнительной квалификации. Исходя из этого, сложившейся практикой является интеграция информационной системы с другими программными продуктами, где этот процесс осуществлять проще. К примеру, «для анализа информации … содержащейся в 1С… формируется выгрузка в виде Excel-файла» [11], которая затем может быть проанализирована и визуализирована средствами офисного пакета.
В целом использование 1С:Университет ПРОФ позволяет осуществлять комплексную автоматизацию всего учебного процесса, что во многом определяет его распространение. Вузы, которые полностью используют его функционал, обладают единым, полным и непротиворечивым источником консолидированных образовательных данных и истории их изменения. Таким образом, рассмотрение хранимых в конфигурации 1С:Университет ПРОФ данных, стандартного функционала и возможностей по его адаптации в качестве материалов исследования является обоснованным.
В качестве основы методологии исследования использовался системный подход, в том числе рассмотрение образовательных данных с точки зрения их использования на различных уровнях управления вузов (образовательная программа, кафедра, факультет, университет). Использованы следующие теоретические методы исследования:
− анализ (хранящиеся в информационной системе данные, порядок и практика их пополнения, информационные отчеты системы);
− сравнение и обобщение (возможностей применения вариантов искомых показателей, различных практик выработки управленческих решений, в том числе направленных на сохранность контингента);
− синтез (формирование искомого показателя, набора типовых управленческих решений на основе его значений).
Практическая сторона исследования основана на тестовой реализации результатов теоретического исследования в виде отдельного модуля 1С:Университет ПРОФ и его экспериментальном использовании.
Результаты исследования и их обсуждение
Методика расчета показателя «сохранность контингента обучающихся» делит все причины отчисления из вуза на две группы: успешно завершившие обучение и все остальные причины: по собственному желанию, не вышедшие из академического отпуска, переводящиеся в другой вуз и т.д. Но наиболее часто встречающейся из причин отчисления, относящихся ко второй группе, является наличие одной или нескольких академических задолженностей. При этом п. 5. ст. 58 Федерального закона от 29.12.2012 № 273-ФЗ «Об образовании в РФ» определяет возможность двукратной пересдачи аттестации, которая, как правило, реализуется в следующем семестре. Это позволяет непосредственно в ходе учебного процесса в некоторой степени прогнозировать количество потенциально представляемых к отчислению студентов.
При проведении исследования были сформулированы две гипотезы о формировании искомого показателя: на основе распределения количества текущих академических задолженностей по студентам и их распределения по дисциплинам (модулям).
Первые показатели хорошо отображают динамику процесса отчислений во времени и в разрезе отдельных структур (как учебных групп, так и кафедр). Она может отражать как системные проблемы в соответствующих зонах организации учебного процесса, так и показывать последствия ошибок обучающихся, особенно первых курсов, с выбором образовательных программ, отсутствием планов продолжения обучения в вузе и др. В любом случае подобные показатели скорее говорят руководству о необходимости дальнейшего исследования нерезультативных учебных подразделений, нежели позволяют конкретизировать проблему и принять какие-либо управленческие решения.
Распределение же количества текущих академических задолженностей по дисциплинам (модулям) позволяет более детально оценить проблемные места образовательной программы, выявить элементы, освоение которых у обучающихся вызывает наибольшие трудности. При этом причинами экстремальных значений могут быть либо трудности с реализацией дисциплины конкретным преподавателем, либо некорректный образовательный контент. Обе эти причины уверенно диагностируются руководством кафедры или факультета и могут быть легко устранены повышением квалификации преподавателей или корректировкой рабочей программы. При этом, что особенно важно, показатель доступен сразу после окончания экзаменационной сессии, на выработку решений и исправление ситуации имеется значительное время до окончания срока второй пересдачи (но не более одного года).
Техническая реализация заключалась в разработке модуля 1С:Университет ПРОФ для выгрузки «чистых» образовательных данных в виде таблицы со следующими полями: учебная группа; обучающийся; дисциплина; преподаватель; кафедра, реализующая дисциплину; задолженность (ДА/НЕТ). Обработка данных производится в электронных таблицах MS Excel, в частности рассчитываются:
− распределение количества студентов с задолженностью по дисциплинам;
− распределение доли студентов с задолженностями по дисциплинам (относительно всех студентов, обучающихся по данной дисциплине);
− распределение количества задолженностей по студентам.
Выгрузка и расчет производятся в автоматическом режиме 1 раз в неделю, на основе данных о реализуемых в прошлом семестре дисциплинах, результатах сессии и прошедших в данном семестре пересдачах. Для повышения актуальности оценки реализации дисциплины данные по студентам, имеющим 6 и более академических задолженностей, не учитываются (принято, что данные студенты по каким-либо причинам не участвуют в учебном процессе).
В качестве искомого показателя было принято распределение количества студентов с задолженностью по дисциплинам, остальные распределения определены как вспомогательные. Анализ реальных данных в рамках одного факультета (института) показывает, что перед началом внедрения системы управления учебным процессом на основе данных, 10 % реализуемых в семестре дисциплин дает более 50 % задолженностей. При этом максимальное количество задолженностей по трем наиболее проблемным дисциплинам составляют 9,95; 3,20 и 2,85 % соответственно.
В ходе исследования был разработан и введен в экспериментальную эксплуатацию ряд нормативных документов, предусматривающих, в частности, проведение методической оценки программ дисциплин, посещения руководством кафедры и факультета (института) учебных занятий и аттестации, а также проведения анкетирования и опросов студентов о качестве образовательного процесса для дисциплин, количество задолженностей по которым превышает медианное значение.
Заключение
Внедрение данного показателя во внутреннюю систему контроля и управления кафедрой и факультетом позволяет не только заранее спрогнозировать достижимость целевого показателя сохранности контингента, но и заблаговременно принять меры.