В статье представлен метод оценки качества семантической сети, построенной автоматически на основе анализа научного текста. Предложенный метод оценки является результатом комбинирования метода оценки качества семантических сетей Ground Truth и метрики оценки качества машинного перевода Meteor. В качестве эталонной сети в исследовании применяются онтология предметной области и семантическая сеть, построенная вручную экспертом. Единицей рассмотрения в семантической сети принята униграмма, которая представляет собой элемент семантической сети вида «термин – отношение – термин». Точность, отклик и среднее гармоническое значение сравнения построенной семантической сети с эталонной сетью рассчитываются по формулам метрики Meteor. При расчете итогового показателя оценки качества учитывается штраф, вычисляемый на основе разницы фрагментов сравниваемых семантических сетей. Для проверки метода разработан программный прототип, на вход которого подаются эталонная сеть и анализируемая сеть, а на выходе получаем рассчитанную оценку качества семантической сети. Результаты проведенных вычислительных экспериментов в целом доказывают корректность разработанного метода и позволяют рекомендовать его для создания качественных семантических сетей. Также анализ результатов вычислительных экспериментов показал, что в качестве эталонной семантической сети следует брать сеть, построенную вручную, а онтологии предметных областей не совсем подходят для их использования в роли эталона.

The article presents a semantic network quality evaluation method. The semantic network built automatically in terms of an analysis of the scientific text. The proposed assessment method is the result of combining method Ground Truth and the machine translation quality evaluation metric METEOR. Domain ontology and semantic network built manually by an expert used as a reference network in the study. The unit of the semantic network is the unigram, which is an element of the semantic network on the type «term-relation-term». The precision, recall and harmonic mean of the comparison the constructed semantic network with the reference network calculated using the formulas of the Meteor metric. When calculating the final value of the quality evaluation the penalty is considered. The penalty calculate on the bases the fragments of the semantic network differential. To test the method, a software prototype has been developed, the input of which is the reference network and the analyzed network, and the output is a calculated semantic network quality evaluation. The results of the computational experiments in general prove the correctness of the developed method and allow us to recommend it for the creation of qualitative semantic networks. Also, the analysis of the computational experiments results showed that the semantic network built manually by an expert should take as a reference semantic network, and domain ontology are not quite suitable for their use as a standard.