Статья является логическим продолжением предыдущей статьи «Оценка семантической близости критериев оценивания в рабочих программах вуза». В данном случае более детально описаны разработанное приложение и загрузка исходных данных. Выполнено большее количество вычислений на трех разных учебных потоках. В итоге было разобрано 9 рабочих программ дисциплин. Все расчеты проведены с учетом рекомендаций, сделанных в первой статье, поэтому анализ рабочих программ дисциплин на семантическую близость критериев оценивания проведен с помощью двух метрик: косинусной меры и евклидова расстояния. Проведено перефразирование критериев оценивания с недостаточной семантической близостью. Это позволило улучшить показатель аппроксимации результатов расчета метрик, т.е. повысить семантическую близость фраз, для которых она имеет низкое значение. Повышение значения происходит без потери смысловой значимости. Таким образом, результаты расчета можно использовать в практических целях, например при создании автоматизированного помощника преподавателя, когда написанное будет проверяться системой на семантическую близость, т.е. будет установлен некий порог для фраз. Это позволит отбрасывать те фразы, которые не соответствуют порогу, регулировать процесс создания описаний критериев оценивания.
The article is a logical continuation of the previous article «Evaluation of the semantic similarity between assessment criteria in the educational programs of the university». In this case, the developed application and the loading of the initial data are described in more detail. More calculations were performed on three different streams of students. As a result, nine educational programs of disciplines were analyzed. All calculations were carried out taking in accordance with the recommendations made in the first article, therefore, the analysis of the educational programs of the disciplines for the semantic similarity of the assessment criteria was carried out using two metrics: a cosine measure and a Euclidean distance. The rephrasing of the assessment criteria with insufficient semantic similarity was carried out. This made it possible to improve the indicator of approximation of the results of calculating metrics, i.e. increase the semantic similarity of phrases for which it has a low value. The increasing value occurs without loss of the meaningfulness. Thus, the calculation results can be used for practical purposes, for example, when creating an automated teacher’s assistant, when what is written will be checked by the system for semantic similarity, i.e. a certain threshold for phrases will be set. This will allow you to discard those phrases that do not match the threshold, regulate the process of creating descriptions of assessment criteria.
1. Приказ Министерства образования и науки РФ от 05.04.2017 № 301 «Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования – программам бакалавриата, программам специалитета, программам магистратуры». [Электронный ресурс]. URL: http://base.garant.ru/71721568/ (дата обращения: 24.07.2021).
2. Положение об основных профессиональных образовательных программах высшего образования – программах бакалавриата, программах специалитета, программах магистратуры, реализуемых федеральным государственным бюджетным образовательным учреждением высшего образования «Уфимский государственный нефтяной технический университет» (УГНТУ), утв. Приказом по УГНТУ от 04.09.2017 № 570-4. [Электронный реурс]. URL: http://rusoil.net/files/2019-06/Polozhenie-ob-OPOP.pdf (дата обращения: 24.07.2021).
3. Еремицкая И.А. Разработка рабочих программ дисциплин (модулей), программ практик, государственной итоговой аттестации в условиях реализации ФГОС ВО // Педагогическая наука и образование в диалоге со временем. Астрахань: Изд-во ФГБОУ ВПО «Астраханский государтсвенный университет», 2020. С. 25‑31.
4. Самодурова Т.В. Построение рабочих учебных программ дисциплин в соответствии с требованиями ФГОС ВПО // Педагогические условия реализации ФГОС общего и профессионального образования. Комсомольск-на-Амуре: Изд-во АмГПГУ, 2014. С. 105–110.
5. Никитенко А. Векторное представление слов. 2020. [Электронный ресурс]. URL: https://craftappmobile.com/vector-representation-of-words/ (дата обращения: 24.07.2021).
6. Исаков С. Векторные представления слов: все дело в контексте. 2018. [Электронный ресурс]. URL: https://neurohive.io/ru/osnovy-data-science/word2vec-vektornye-predstavlenija-slov-dlja-mashinnogo-obuchenija/ (дата обращения: 24.07.2021).
7. Шумская А.О. Оценка эффективности метрик расстояния Евклида и расстояния Махаланобиса в задачах идентификации происхождения текста // Доклады томского государственного университета систем управления и радиоэлектроники. Томск: Изд-во ТГУСУиР, 2013. С. 141–145.
8. Хачумов М.В. Расстояния, метрики и кластерный анализ // Искусственный интеллект и принятие решений. М.: Изд-во Федеральный исследовательский центр «Информатика и управление» РАН, 2012. С. 81–89.
9. Белова К.М., Судаков В.А. Исследование эффективности методов оценки релевантности текстов // Препринты ИПМ им. М.В. Келдыша. М.: Изд-во Институт прикладной математики им. М.В. Келдыша РАН, 2020. С. 1–16.
10. Яцко В.А. Особенности вычисления косинусной меры смысловой близости документов // Актуальные вопросы теории и практики развития научных исследований. Уфа: Изд-во Общество с ограниченной ответственностью «ОМЕГА САЙНС», 2020. С. 69–75.
11. Гиниятуллин В.М., Салихова М.А., Хлыбов А.В., Чурилов Д.А., Чурилова Е.А. Оценка семантической близости между критериями оценивания в рабочих программах вуза // Современные наукоемкие технологии. 2021. № 1. С. 12–19.
12. Сахнюк П.А. Возможности Google Colab для изучения технологий машинного обучения и нейронных сетей // Информатизация непрерывного образования. М.: Изд-во Российский университет дружбы народов (РУДН), 2018. С. 586–588.
13. Семченко Р.В., Еровлев П.А. Программирование нейронных сетей в Python с использованием библиотек Keras и TensorFlow // Постулат. Биробиджан: Изд-во Приамурский государственный университет им. Шолом-Алейхема, 2020. № 7. С. 26–31.
14. Боровков Н.А., Фураев Ф.И. Использование языковой модели ELMO для задачи аспектно-ориентированного анализа тональности // Научная сессия ГУАП. СПб.: Изд-во Санкт-Петербургский государственный университет аэрокосмического приборостроения, 2019. С. 301–305.
15. Обзор четырех популярных NLP-моделей. [Электронный ресурс]. URL: https://proglib.io/p/obzor-chetyreh-populyarnyh-nlp-modeley-2020-04-21 (дата обращения: 24.07.2021).