Научный журнал
Современные наукоемкие технологии
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,916

ИНТЕГРАЛЬНАЯ ОЦЕНКА ЭФФЕКТИВНОСТИ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ РАБОТ В НАУЧНЫХ УЧРЕЖДЕНИЯХ МИНЗДРАВА РОССИИ

Лебедев Г.С. 1, 2 Крылов О.Б. 2 Леляков А.И. 2 Миронов Ю.Г. 2 Ткаченко В.В. 2
1 ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» Минздрава России (Сеченовский университет)
2 ФГБУ «Центральный научно-исследовательский институт организации и информатизации здравоохранения» Минздрава России
Эффективность внедрения результатов научно-исследовательских работ является одним из основных показателей, который необходимо учитывать при распределении бюджетных средств, направляемых на научные исследования. Требование эффективности расходования бюджетных средств, выделяемых на проведение научно-исследовательских работ, приводит к необходимости совершенствования методического аппарата поддержки принятия решения о распределении средств, в том числе и за счет учета эффективности внедрения полученных ранее результатов НИР каждого конкретного научно-исследовательского учреждения. С развитием информационных технологий актуально повышение качества использования бюджетных средств за счет информационной поддержки принятия решений по организации научных исследований в Министерстве здравоохранения России, на основе оценки потенциала учреждений, отражающего способности учреждения достичь заявленных результатов в рамках выполнения государственных контрактов. В настоящей статье предлагается методика интегральной оценки эффективности результатов научно-исследовательских работ в научных учреждениях Министерства здравоохранения России, полученных в рамках выполнения государственных заданий или государственных контрактов на основе совокупности наукометрических и статистических показателей, а также экспертной оценки. Последовательно приводятся требования к методике и показателям, требования к подходам и методам экспертной оценки.
государственное задание
методика
экспертная оценка
научно-исследовательская работа
научная платформа
научно-технический потенциал
1. Распоряжение Правительства Российской Федерации от 3 декабря 2012 г. № 2237-р «Об утверждении государственной программы фундаментальных научных исследований государственных академий наук на 2013–2020 годы» [Электронный ресурс]. URL: http://government.ru/docs/5986/ (дата обращения: 24.11.18).
2. Распоряжение правительства Российской Федерации от 28 декабря 2012 г. № 2580-р «Об утверждении Стратегии развития медицинской науки в Российской Федерации на период до 2025 года» [Электронный ресурс]. URL: http://archive.government.ru/special/gov/results/22272/ (дата обращения: 24.11.18).
3. Шарабчиев Ю.Т., Дудина Т.В. Методология экспертизы планируемых и завершенных научно-исследовательских разработок // Медицинские новости. 2010. № 5–6. С. 18–27.
4. Бухарин С.Н., Гукасов В.М., Лазаренко Н.Е. Теоретические и методические основы экспертизы фундаментальных и прикладных научно-технических проектов // Инноватика и экспертиза. 2011. № 2. С. 58–66.
5. Королева Т.С., Васильев И.А., Торжков И.О. Критерии оценки эффективности деятельности научных учреждений // Труды Санкт-петербургского научно-исследовательского института лесного хозяйства. 2014. № 2. С. 94–111.
6. Сюнтюренко О.В. Финансирование фундаментальных исследований: концептуальный облик системы поддержки принятия решений с использованием методов наукометрии и анализа данных // Информатика и еe применение. 2018. № 12 (1). С. 118–127.
7. Паринов С.И. Национальная онлайновая научная инфраструктура: новый подход к оценке результатов НИР // Научный сервис в сети Интернет: решение больших задач: Труды Всероссийской научной конференции (г. Новороссийск, 22–27 сентября 2008 г.). М.: Изд-во МГУ, 2008. С. 358–369.
8. Холматова К.К., Харькова О.А., Гржибовский М. Классификация научных исследований в здравоохранении // Экология человека. 2016. № 1. С. 57–64.
9. Паринов С.И. Онлайновое будущее науки: наукометрическая сигнальная система. Препринт WP2/2007/01. М.: Издательский дом ГУ ВШЭ, 2007. 52 с. [Электронный ресурс]. URL: https://www.hse.ru/pubs/share/direct/document/78883555 (дата обращения: 25.11.2018).
10. Сюнтюренко О.В., Гиляревский Р.С. Использование методов наукометрии и сопоставительного анализа данных для управления научными исследованиями по тематическим направлениям // Информационные процессы и системы. 2016. № 2 (12). С. 1–12.
11. Акоев М.А., Маркусова В.А., Москалева О.В., Писляков В.В. Руководство по наукометрии: Индикаторы развития науки и технологии. Екатеринбург: Изд-во Уральского университета, 2014. 250 с.
12. Федотов А.В., Васецкая Н.О. Оценка макроэкономической эффективности научных исследований в России // Университетское управление: практика и анализ. 2013. № 3. С. 61–67.
13. Новиков Д.А., Орлов А.И., Чеботарев П.Ю. Наукометрия и экспертиза в управлении наукой: сборник статей. М.: ИПУ РАН, 2013. 572 с.
14. Гуров А.Н., Куликов Д.А., Дементьев И.М. Оценка экономической эффективности внедрения результатов НИР // Первая совместная научно-практическая образовательная конференция ГБУЗ МО МОНИКИ им. М.Ф. Владимирского и Врачебной палаты Московской области, Москва, 23 мая 2017 г. [Электронный ресурс]. URL: http://ks-gs.ru/sites/default/files/doc/events/2017_05_31_doc4.pdf (дата обращения: 25.11.2018).
15. Овчаров О.А. Актуальные проблемы современных научных исследований: методология, экономика, статистика: сборник статей. М.: Директ-Медиа, 2013. 143 с.
16. Саати Т.Л. Принятие решений. Метод анализа иерархий [Пер. с англ]. М.: Радио и связь, 1993. 315 с.
17. Шумский В.И., Андреева И.Л., Гуров А.Н., Абрамова И.Ю. Оценка эффективности внедрения результатов научной деятельности сотрудников МОНИКИ в работу здравоохранения московской области // Альманах клинической медицины. 2009. № 21. С. 71–76.
18. Деменков Н.П. Программное обеспечение для оценки эффективности однотипных научно-исследовательских работ. // Инженерный журнал: наука и инновации. 2013. № 10 [Электронный ресурс]. URL: http://engjournal.ru/catalog/it/hidden/1085.html (дата обращения: 25.11.2018).
19. Лебедев Г.С., Крылов О.Б., Леляков А.И., Ткаченко В.В. Автоматизированная информационная система управления научными исследованиями в научных учреждениях Минздрава России // Социальные аспекты здоровья населения. 2017. № 6 [Электронный ресурс]. URL: http://vestnik.mednet.ru/content/view/939/30/lang,ru/ (дата обращения: 25.11.2018).

В России в последнее время все более остро встает вопрос о повышении эффективности отечественной науки [1, 2], разработки четких критериев оценки ее деятельности, вплоть до комплексного реформирования всей системы, включая механизмы финансирования [3, 4], приемы управления и структуру производственных отношений. Все это в равной степени относится как к фундаментальной, так и прикладной науке [5].

Объективная текущая необходимость повышения прозрачности и эффективности процесса научных исследований совпала с важным изменением в научной среде: достигнута достаточно высокая степень переноса деятельности ученых в электронную онлайновую среду [6]. Сбор, обработка и интерпретация следов этой активности открывает ранее недоступные возможности по формированию статистической базы о деятельности ученых и, в частности, об использовании результатов их исследований [7].

Эффективность научно-исследовательских работ (НИР), в том числе внедрение их результатов в практику, является одним из основных показателей, который необходимо учитывать при распределении бюджетных средств, направляемых на научные исследования. Эффективность НИР может быть определена как ценность полученных при выполнении НИР научных результатов и их соответствия объемам ресурсов (материальных, финансовых и др.), израсходованных на их получение. Объемы этих ресурсов можно рассматривать как стоимость работ, а именно объем финансирования [8], в рамках государственных заданий или государственных контрактов научно-исследовательским учреждениям (НИУ), которые относятся к федеральным государственным бюджетным (ФГБУ) и образовательным (ФГБОУ) учреждениям Минздрава России.

Большинство существующих методик оценки эффективности НИР, и ценности полученных при выполнении НИР научных результатов, по своей сути сводится к одномоментной оценке. Как правило, решается задача минимизации затрат на обеспечение работ, при условии их безусловного выполнения и достижения плановой цели исследования, не принимая во внимание дальнейшее внедрение результатов исследований в практику.

Таким образом, актуальна задача разработки методики интегральной динамической оценки эффективности НИР, так как оценка ценности полученных результатов может меняться по мере внедрения результатов в практику и развития медицинской науки. Предлагается оценку эффективности НИР проводить на протяжении ряда лет после её завершения, и на основании этой оценки формировать интегральный показатель (рейтинг) НИУ [2, 9], отражающий эффективность НИР в этих НИУ.

Цель исследования: разработка интегральной методики оценки эффективности НИР, проводимых в НИУ Минздрава России, которая будет оценивать не только ее выполнение и отчетные материалы, но и степень внедрения ее научных результатов. Такая оценка будет проводиться в течение определенного периода после завершения НИР.

Материалы и методы исследования

В настоящее время в Минздраве России разработаны и функционируют методики экспертной оценки эффективности НИР, проводимых в рамках выполнения государственных заданий. При проведении экспертной оценки используются, в том числе, и наукометрические показатели [3, 9, 10], однако показатели внедрения полученных ранее результатов НИР представлены недостаточно. Этому есть объективные причины, поскольку внедрение результатов НИР зачастую происходит через значительное время после окончания НИР и не может быть оценено в полной мере при экспертной оценке отчета.

Методы экспертной оценки позволяют, наравне с количественными показателями, получить качественную (экспертную) оценку эффективности НИР, основанную на опыте и субъективном мнении ведущих специалистов Минздрава России.

В то же время комплексная оценка с учетом вычисляемых показателей и качественной (экспертной) оценки представляется наиболее состоятельной.

В настоящее время широко известны и применяются следующие методы оценки эффективности НИР:

− Наукометрический (библиометрический) метод [11];

− Финансово-экономический метод [12, 14, 15];

− Экспертный метод (субъективность) [15];

− Метод весовых коэффициентов;

− Метод анализа иерархий [16].

Известны интегральные методики, сочетающие в себе элементы перечисленных выше методов.

Методы расчета экономического эффекта для прикладных исследований (расчетный, подтвержденный) [12, 17].

Для оценки эффективности НИР необходима система показателей, которая основана на оптимальном выборе важнейших критериев и разбивается на 2 группы:

− не учитывающие важность критериев;

− учитывающие важность критериев.

Первая группа представлена лексиминной оптимизацией.

Вторая группа представлена лексикографической оптимизацией и методами вербального анализа решений.

Система показателей (критериев) должна отвечать следующим требованиям:

− репрезентативность (представительность) – количество показателей должно быть достаточным для описания научной деятельности и каждый из них должен наиболее полно отражать работу в этом направлении;

− аддитивность – показатели должны быть непротиворечивыми один другому и взаимонезависимыми;

− однозначность – показатели должны быть выражены так, чтобы не допускать двойного толкования и уменьшать вероятность возникновения ошибок;

− сопоставимость – показатели должны обеспечивать возможность объективного их сопоставления во времени и с показателями других научных подразделений;

− контролируемость – показатели должны рассчитываться по статистическим данным, которые подвергаются контролю;

− достоверность – показатели должны быть подтверждены не менее чем двумя независимыми экспертами.

Проведем построение модели оценки эффективноссти НИР с использованием методов системного анализа интегральной оценки эффективности НИР.

Метод системного подхода предполагает:

− четкое выявление целей;

− формирование полного перечня альтернативных действий, с учетом форс-мажорных обстоятельств, обеспечивающих достижение поставленных целей;

− оценка альтернатив по совокупности наиболее важных критериев, исключая необоснованные, применяемые к конкретному НИУ;

− внесение ясности в проблему выбора тематик НИР, эквивалентных научно-технической политике и научно-техническому потенциалу НИУ.

Учет основных критериев оценки эффективности НИР:

− оценка потребности в проведении НИР;

− оценка необходимых затрат;

− оценка обеспечения научными кадрами;

− оценка технической осуществимости;

− оценка основных средств и износ;

− оценка компьютерных интернет / интрасетей и АРМ;

− оценка системного и программного обеспечения.

Для оценки конкретной НИР основные критерии могут быть первостепенными или второстепенными. По каждому критерию для оценки используется специальная шкала.

Каждая группа критериев имеет свой вес, который определяется экспертно.

В методах решения многокритериальных задач превалирует применение в той или иной форме данных о важности (значимости) критериев.

Значимость критериев характеризуется применением специальных положительных чисел, называемых коэффициентами важности. Обычно эти коэффициенты определяются экспертным путем и используются в обобщенных критериях (например, взвешенной сумме исходных критериев) или правилах «голосования».

Результаты исследования и их обсуждение

Концептуальная модель интегральной оценки может быть построена следующим образом [8].

Подразумеваем, что успешное выполнение НИР в первую очередь зависит от научно-технического потенциала (НТП) и высокой оценки наукометрического уровня тематических направлений НИР (публикации, цитирование, патенты, изобретения и т.д.) в конкретном НИУ, тогда эмпирическая формула показателя уровня НТП n-го научного учреждения NPn будет

NPn = αn(ωnCn), (1)

где αn – коэффициент НТП n-го научного учреждения, предполагается по условной %-ой шкале α = 0÷W,

где W ≤ 100;

Cn – оценка наукометрического уровня НИР (публикации, цитирование, патенты, изобретения и т.д.), вычисляется по формуле

leb01.wmf, (2)

где Мn – общее количество публикаций за время t;

Dn – кол-во научных работников (исследователей);

ωn – нейтрализующий коэффициент публикаций в НИУ с преобладанием экспериментальных НИР:

leb03.wmf (3)

Концептуальная модель научно-технического потенциала медицинского НИУ

Эффективность НИР [2, 13] в медицинском НИУ на современном этапе, безусловно, зависит от ряда взаимодополняющих факторов или условий: высокий интеллектуальный потенциал исследователей, качественный уровень организации и управления ресурсами, наличие современного технологического оборудования для определенных исследований, наличие программно-технических комплексов, объединенных в сети, с выходом на специализированные научные базы данных, а также финансовые ресурсы, обеспечивающие утвержденные государственные задания или государственные контракты.

Ресурсный потенциал можно рассчитать как разность («невязку») вида

leb04.wmf (4)

где Zo – обобщенные затраты на обеспечение НИР;

Zd – обобщенные «дивиденды», получаемые в процессе НИР;

to – временной лаг, так как НИР – процесс, протяженный во времени.

Применим простую логику:

Zpt > 0 – работа эффективна;

Zpt <= 0 – работа неэффективна.

Для двух работ одного направления можно утверждать, что первая работа более эффективна, чем вторая, если leb05.wmf

Для каждой составляющей Zd(t) и Zo(t) можно воспользоваться приближениями в виде полиномов Лагранжа:

leb06.wmf (5)

В этих полиномах входящие в них f(x), τi и φi(x) определяются на основе существующей нормативно-методической базы для каждой составляющей Zd(t) и Zo(t). Аналогичным образом определяются налагаемые на них ограничения, а также вид и области определения функций f(x) и φi(x).

Исходя из вышеизложенного структурная модель НТП в медицинском учреждении может быть представлена в виде

leb07.wmf (6)

где leb08.wmf – финансовые, интеллектуальные, информационные, материальные, учебно-методические, медицинские, социальные и программно-технические ресурсы n-го НИУ;

Ln – уровень управления ресурсами;

t – модуль времени;

Ψ – функционал (функция, заданная на произвольном множестве), определяющий значение Fn(t),

тогда Fn(t) – признак обобщения всех видов ресурсов и факторов во временном периоде t.

Модель бюджетного финансирования в рамках государственных заданий Минздрава России по научным исследованиям и платформам

Обобщенная эмпирическая модель бюджетного финансирования отображена в следующем выражении:

leb09.wmf (7)

где P – общее число научных платформ Минздрава России;

N – общее число научных учреждений Минздрава России;

Bpn – наукометрическая оценка p-й научной платформы (1 ≤ p ≤ 14) в n-м учреждении;

leb10.wmf – относительный уровень p-й научной платформы в n-м учреждении в общем объеме финансирования НИР в %.

Выделим соответствующие модели бюджетного финансирования НИР для вузов и НИИ Минздрава в предложенном выражении:

leb11.wmf (8)

leb12.wmf (9)

где Ni – кол-во НИИ Минздрава России;

Vz – кол-во вузов Минздрава России.

Вузы и НИИ в объеме финансирования НИР в %, в том числе в общем разрезе структуры Минздрава России:

leb13.wmf (10)

На основе наукометрических оценок leb14.wmf, для каждой p-й научной платформы в n-м учреждении, можно привести базовый оценочный уровень НТП, и на основании (1) и (2) получим

leb15.wmf (11)

Затем вычислим суммарный оценочный уровень всех научных платформ (НП) Минздрава России:

leb16.wmf (12)

где βp – коэффициент, определяющий прохождение p-й научной платформы в n-м учреждении в список приоритетных научных исследований (НИ) Минздрава России:

leb17.wmf (13)

Экспертные критерии оценки эффективности НИР в научно-исследовательских учреждениях

Результатом выполнения государственных заданий научными учреждениями представляются показатели выполненных/невыполненных научных работ (численные и описательные), затем распределяются по основным направлениям («критериям»), каждому из которых присваивается весовой коэффициент («приоритет») от 0 до 1, причем сумма коэффициентов по всем критериям равна 1.

При определении приоритетов следует учитывать, что для различных по типу научных работ (фундаментальные, прикладные, экспериментальные, экспертизы, организационные и т.д.) необходим свой набор, отражающий вес каждого критерия для соответствующего типа исследования. Так, например, очевидно, что для фундаментальных исследований наибольший приоритет будет иметь научный критерий, для прикладных – медицинский и т.д.

В качестве «критериев» используются:

− научный;

− финансово-экономический;

− медицинский;

− социальный;

− учебно-методический;

− организационный;

− информационно-технологический.

Численные значения любых показателей (Пi), которые используются для оценки этих критериев, автоматически нормируются относительно максимального значения соответствующего показателя (Пmax) по всем исследованиям аналогичного типа и предоставляются эксперту в виде относительной оценки leb18.wmf наряду с абсолютным значением, т.е. в виде

leb19.wmf (14)

Все научные работы на основании имеющихся показателей оцениваются экспертами по каждому критерию (может быть принята любая привычная система оценки, например 10-балльная). Итоговая оценка O получается путем суммирования произведений оценки Nk на соответствующий коэффициент Ek.

leb20.wmf (15)

Таким образом, для всех НИР получаем матрицу итоговых оценок и оценок по критериям (которые также могут понадобиться для проведения более детального анализа).

Не секрет, что многие научные исследования могут иметь отложенные результаты, в наибольшей степени это касается фундаментальных исследований. Следовательно, целесообразно продолжать мониторинг результатов завершенных научных работ и их оценку еще в течение 3–5 лет. Таким образом, матрица оценок расширяется за счет еще одной размерности – год и приобретает динамичность.

Исходя из предложенной выше методики, включающей период оценки результатов от 3 до 5 лет, получаем коэффициент Qy, где y – порядковый год.

Получаем матрицу итоговых оценок и оценок c критериями по годам:

leb21.wmf (16)

Разработанная в статье методика использует методы решения многокритериальных оптимизационных задач. Она позволяет:

− рассчитывать показатели уровня НТП научного учреждения;

− обобщать все виды ресурсов и факторов структурной модели НТП учреждения во временном диапазоне;

− рассчитывать обобщенную модель бюджетного финансирования учреждения(ий) Минздрава России по научным платформам;

− рассчитывать базовый оценочный уровень НТП учреждения для каждой НП Минздрава России, в том числе в разрезе образовательных и научных учреждений, и всех НП Минздрава России;

− формировать матрицу экспертных оценок по критериям;

− проводить анализ деятельности НИУ на основе сформированной матрицы экспертных оценок по годам и периодам;

− оценивать эффективность НИР в НИУ Минздрава России.

Методика расчета интегральной оценки эффективности НИР учитывает:

− критерии эффективность – стоимость;

− вычисляемые, наукометрические показатели;

− динамику показателей на протяжении ряда лет;

− экспертные оценки ценности полученных результатов;

− ожидаемый/подтвержденный экономический эффект.

Методика обеспечивает:

− выбор периода оценки результатов [14] – итого 3–5 лет;

− расчет показателей эффективность – стоимость на протяжении указанного периода [15]. Взвешенная сумма по годам, предполагается, что «давний» год должен весить больше, например: по годам 0,5 – 0,3 – 0,2;

− определение алгоритма работы экспертов;

− проведение экспертной оценки;

− расчет интегрального показателя.

Надо иметь в виду, что применение разного рода показателей – это необходимое, но недостаточное условие для принятия окончательного решения об уровне научных исследований, проводимых в научно-исследовательском учреждении (НИУ), и его места в рейтинге научных организаций.

При распределении бюджетных средств фонда госзаказа по научным организациям должны учитываться следующие параметры и показатели:

− наукометрическая оценка эффективности выполнения научных работ;

− вхождение тематического направления в утвержденный Перечень приоритетных направлений развития научно-технологического комплекса России на 2014–2020 гг.;

− научно-технический потенциал (рейтинг) научной организации, где выполняются работы по выделенным тематическим направлениям.

Авторы считают, что наукометрические индикаторы, полученные на основе описанного подхода, будут давать существенно более точную и оперативную картину текущего состояния и развития науки. Можно ожидать, что они будут востребованы как минимум следующими основными действующими лицами научной сферы:

− фондораспределяющими структурами – для повышения эффективности принятия решения о финансировании исследований;

− государственными органами научно-технической экспертизы (Рособрнадзор, ВАК и др.);

− руководством НИУ, так как использование подобных показателей в процедурах расчета показателей научно-технической деятельности существенно повысило бы качество решений о материальном стимулировании труда ученых;

− научным сообществом, представляемым отдельными учеными и их неформальными коллективами, которые с помощью данных показателей могли бы лучше согласовывать свои намерения и возможности с объективными направлениями развития науки.

На основании матрицы (3) можно делать анализ эффективной деятельности научно-исследовательских учреждений, как по годам, так и по периодам, например по суммарной или средней итоговой оценке всех выполненных НИР.

Для большей объективности оценок эффективности деятельности научного учреждения следует дополнительно учесть уровень научно-технического потенциала данного учреждения, который можно также выразить нормированной оценкой, полученной в соответствии с описанным алгоритмом, формула (1).

Основными характеристиками научно-технического потенциала и эффективности научного учреждения, объективно необходимыми для отражения интегральной наукометрической оценки научно-исследовательских работ, проводимых по государственному заданию, являются:

− количество публикаций по всем научным направлениям: по годам (временной лаг ~ 5 лет), дифференцированно по отечественным и зарубежным журналам;

− численность и структура кадрового состава организации (с учетом возрастного состава и по годам);

− информационно-аналитические оценки имеющихся научно-технических результатов российского и мирового уровня;

− количество (и их финансовый объем) получаемых грантов (по направлениям) от российских фондов, зарубежных фондов и программ, спонсоров;

− состав (и объем) выполненных внебюджетных конкурсных (и заказных) исследований, проектов, разработок (временной лаг ~ 5 лет);

− интегральная характеристика-оценка результатов интеллектуальной (инновационной) деятельности (изобретения, алгоритмы и программы, патенты и т.п.);

− информационная инфраструктура (интрасеть/интернет) [18], приборный парк, состав оборудования, в первую очередь коллективного пользования (суперкомпьютер, дорогой масс-спектрометр и т.п.);

− автоматизированная информационная система управления научными исследованиями [19];

− подготовка кадров высшей квалификации (аспирантура, диссертационные советы), связи с высшей школой;

− формализованное описание международных научных связей;

− обобщенные финансовые (корпоративные) показатели по годам и по периодам.

Как показал анализ, организационная база функционирующей в Минздраве России системы экспертной оценки позволяет осуществить подход к оценке внедрения результатов НИР, описанный в настоящей статье, включающий статистические показатели, так и экспертную оценку [3, 8].

Выводы

Используемая в настоящее время в Мин- здраве России методика экспертной оценки эффективности НИР, проводимых в рамках выполнения государственных заданий, не позволяет в полной мере учесть научный потенциал учреждения и оценить результаты внедрения проводимых исследований. Представленная в статье методика интегральной оценки эффективности НИР в НИУ Мин- здрава России позволит существенно повысить качество решения задачи распределения бюджетных средств на выполнение государственных заданий за счет учета внедрения результатов ранее выполненных НИР, отслеживаемого на протяжении ряда лет.

Разработанная методика в настоящее время внедрена в разработанную автоматизированную систему управления научными исследованиями Минздрава России.


Библиографическая ссылка

Лебедев Г.С., Крылов О.Б., Леляков А.И., Миронов Ю.Г., Ткаченко В.В. ИНТЕГРАЛЬНАЯ ОЦЕНКА ЭФФЕКТИВНОСТИ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ РАБОТ В НАУЧНЫХ УЧРЕЖДЕНИЯХ МИНЗДРАВА РОССИИ // Современные наукоемкие технологии. – 2019. – № 1. – С. 69-75;
URL: http://www.top-technologies.ru/ru/article/view?id=37381 (дата обращения: 06.06.2020).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074