Научный журнал
Современные наукоемкие технологии
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

АНАЛИЗ АЛЬТЕРНАТИВ И ВЫБОР ДИАГНОСТИЧЕСКИХ ГИПОТЕЗ. ЧАСТЬ II. МОДЕЛИ ВЫБОРА АЛЬТЕРНАТИВ ПРИ МНОЖЕСТВЕННОСТИ И НЕОПРЕДЕЛЕННОСТИ КРИТЕРИЕВ

Бескровный И.М.
В первой части настоящей работы были рассмотрены модели выбора диагностических гипотез, базирующихся на методе Байеса [1]. Там был предложен подход, позволяющий снять существенные ограничения применимости этого метода путем модификации известных моделей, придающей им определенную универсальность. Цель настоящей работы рассмотреть возможности дополнительного набора моделей принятия решений, позволяющих выбрать из альтернативных действий наиболее эффективное. Например, произвести выбор наиболее эффективного метода лечения, наиболее эффективного лекарственного средства и т.п. Модели также применимы при выборе управленческих решений: отбор кандидатур на замещение должностей, выбор вариантов инвестиций и т.д. Описываемые модели базируются на известных прототипах [2, 3], однако каждая из них модифицирована с целью повышения эффективности.
1. Модель принятия решения при детерминированных показателях ценностей

Использование вероятностных показателей в классической или в модифицированной моделях оправдано лишь при выборе многократно повторяющихся действий. Если же речь идет об однократном выборе, то использование вероятностных оценок становится малооправданным и может привести к значительным разочарованиям. Например, лицо, принимающее решение (ЛПР), выбирает некое действие, сулящее положительный результат с вероятностью 0,9, а в итоге, все-таки, получает отрицательный результат, вероятность появления которого оценивалась как 0,1. Кроме того, в большинстве случаев, когда решение касается неких административных действий, анализ альтернатив на основе вероятностных оценок не будет носить убеждающий характер. В этой и во многих других подобных ситуациях может использоваться модель принятия решений, в которой вероятностные оценки ожидаемого результата заменены детерминированными (балльными) оценками вклада каждого из параметров анализируемой ситуации в тот или иной ожидаемый результат.

При этом полезность каждого из возможных результатов также оценивается балльной оценкой, присваиваемой экспертами. Условный пример таблицы решений по выбору кандидатуры на должность главного врача больницы, построенной на основе такой модели, представлен в табл. 1, где рассматривается пример выбора кандидата из пяти претендентов на эту должность.

В качестве целевых показателей, характеризующих потенциальные возможности претендента, выбраны профессиональная подготовка, наличие ученой степени, способность к руководству, авторитет в коллективе. Значимость (важность) каждого из показателей получила экспертную балльную оценку по пятибалльной шкале. Относительно низкая значимость наличия ученой степени связана с тем, что речь идет об административной должности руководителя практического учреждения. Балльная оценка ученой степени имела следующее значения: доктор медицинских наук - 5 баллов, кандидат медицинских наук - 3 балла, отсутствие ученой степени - 0 баллов. Балльная оценка профессиональной подготовки выставлялась с учетом опыта руководящей работы, необходимого для главврача широкопрофильной больницы.

Таблица 1

Матрица с балльными оценками

Альтернативы

Целевые показатели Gj

Суммарная оценка Q

профессиональная подготовка

ученая степень

способность к руководству

авторитет
в коллективе

4

3

5

5

А1

А2

А3

А4

А5

4

5

4

5

3

0

5

3

0

0

5

3

4

5

4

4

4

4

3

4

61

70

65

60

52

Представленная выше таблица решений (см. табл. 1), основанная на балльных оценках, в силу своей простоты и наглядности получила достаточно широкое распространение. Дифференцированное представление в этой таблице свойств альтернативных вариантов позволяет осуществить более обоснованный выбор даже при наличии неких исходных предубеждений. Но при её использовании крайне важно обратить внимание на правильный выбор способа получения результирующей оценки.

Как правило, для получения результирующей оценки используются два подхо-
да - аддитивный и мультипликативный. При аддитивном способе, который и был использован в табл. 1, суммарная оценка Q получается на основе формулы

f

где aij - балльная оценка i-й альтернативы по j-му показателю; bj - балльная оценка значимости j-го показателя.

При использовании аддитивного подхода введение большого количества целевых показателей, оборачивается тем, что сумма второстепенных показателей может оказаться настолько значительной, что роль основного показателя может быть попросту утрачена. Но и при отсутствии не существенных в рассматриваемой ситуации показателей достаточным оказался учет одного - наличие ученой степени, чтобы вывести на первое место кандидатуру А2. И, хотя эксперты оценили значимость этого показателя наименее высоким, тем не менее, кандидатура А2, получившая за счет этого дополнительных 15 баллов, вышла на первое место. Между тем без учета этого показателя данная кандидатура заняла бы место не выше предпоследнего.

Таким образом, аддитивный подход чреват опасностью «засорения» таблицы решения второстепенными показателями, учет которых может привести к заметному искажению результатов ранжировки альтернатив. От этого недостатка свободен мультипликативный подход, при использовании которого результирующая оценка F определяется на основе следующего соотношения:

f

При мультипликативном подходе в значительной мере ослабляются «шумовые» помехи, создаваемые второстепенными показателями, зато резко возрастает роль отдельных, пусть и незначительных показателей, по которым та или иная альтернатива имеет низкие оценки. По существу, при мультипликативном подходе каждый из показателей приобретает «право вето», поскольку нулевая оценка по любому из показателей для какой-нибудь альтернативы приводит к нулевой оценке её полезности, независимо от высоких оценок по другим показателям. Так, нулевая оценка по показателю «Членство в КПСС» при рассмотрении кандидатур на руководящую должность в прошлые времена зачастую зачеркивала любые достоинства рассматриваемой кандидатуры и если из этого всеобщего правила и бывали исключения, то они лишь подчеркивали его незыблемость.

Определенные ослабление недостатков, присущих обоим рассмотренным подходам, может быть достигнуто при использовании предлагаемого комбинированного подхода, в котором сочетаются преимущества как аддитивного, так и мультипликативного подходов. При комбинированном подходе результирующая оценка Θ получается на основе следующего соотношения:

f

где f

φj - значимость j-го целевого показателя; d - «пороговое» (минимально допустимое) значение этого показателя, при котором альтернатива сохраняет шансы быть выбранной.

Однако при любом из рассмотренных подходов к получению результирующей оценки сохраняется недостаток системы с фиксированными (балльными) оценками состоящий в том, что для экспертов затруднительным является проставление объективной оценки значимости целевых показателей при одновременном рассмотрении всей их совокупности. Считая каждый из них достаточно важным, эксперты обычно стремятся каждому из целевых показателей дать возможно более высокую оценку. Тем самым сглаживаются различия между альтернативами и притупляются дифференцирующие возможности таблицы решений.

Отдельное существенное замечание следует учитывать при выборе шкалы балльных оценок. Во многих случаях эксперты, не задумываясь, используют пятибалльную шкалу (школьная привычка!), которая обладает серьезными недостатками. Во-первых, «пятибалльная» по форме шкала, на практике, сплошь и рядом, превращается в трехбалльную. Так, оценивая значимость целевых показателей, эксперты ни по одному из них не выставят оценки «1» или «2» - действительно, зачем бы было учитывать показатель, имеющий столь низкую значимость?

Во-вторых, если даже оценки «1» и «2» и проставляются, то мало кто задумывается, что «2» больше чем «1» в два раза. При этом, «3» больше чем «2» всего в полтора раза, «4» больше «3» в 1,33 раза, а «5» больше «4» всего в 1,25 раза. Эксперт обычно вдумчиво выбирает между оценками «4» и «5» и не обращает внимания на разницу между оценками «1» и «2» (все равно плохо!). Но ведь все эти оценки входят множителями отдельных слагаемых и переход от «1» к «2» гораздо сильнее влияет на итоговую оценку, чем переход от «4» к «5».

А в общем случае, если таблица решений с фиксированными балльными оценками приводит к недостаточно убедительным результатам, то целесообразно применить таблицу решений, основанную на попарном выборе альтернатив, которая позволяет выявить более тонкие различия между показателями и альтернативами и поэтому в ряде случаев приводит к более убедительным результатам.

2. Таблица решений с попарным сравнением альтернатив

Работа с таблицей принятия решений при попарном сравнении разделяется на два этапа. На первом этапе ЛПР производит попарное сравнение важности целевых показателей, на основе которых предусматривается проведение анализа альтернатив по их потенциальной полезности. Для попарного сравнения целевых показателей ЛПР вначале должен предварительно их проранжировать без использования количественных оценок. Вернемся к примеру, приведенному в табл. 1. Пусть по экспертным оценкам целевые показатели расположились в следующем порядке (по убыванию их значимости):

  1. Профессиональная подготовка.
  2. Способность к руководству.
  3. Авторитет в коллективе.
  4. Наличие ученой степени.

Далее для получения количественной меры попарное сравнение этих показателей производится в следующем порядке. Из составленного списка последовательно выбираются пары для сравнения показателей: первого со вторым, второго с третьим, третьего с четвёртым. Первому показателю в паре приписывается произвольное «круглое» число, например, 1000, а второму показателю приписывается число, отражающее, по мнению ЛПР, значимость второго в паре показателя по отношению к первому. В итоге может быть получена таблица попарных сравнений, приводимая ниже. Теперь на основе этой таблицы могут быть подсчитаны относительные значимости каждого целевого показателя по отношению к соседнему более низкому по уровню показателю.

  1. Профессиональная подготовка - 1000.
  2. Способность к руководству - 850.
  3. Способность к руководству - 1000.
  4. Авторитет в коллективе - 700.
  5. Авторитет в коллективе - 1000.
  6. Наличие ученой степени - 300.

Для этого самому последнему по итогам предварительного ранжирования показателю присваивается балл 1,00. Балл соседнего по уровню более значимого показателя определяется путем умножения балла более низкого по значимости показателя на отношение этих показателей. Продолжая цепочку вычислений, получают значения абсолютных оценок показателей, которые в табл. 2. приведены в столбце «Ненормированный вес».

Таблица 2

Ранжировка значимости показателей

pic

Далее, определив сумму ненормированных показателей (в данном случае равную 14,71), нормируют показатели к выбранному числу: 1, 100 и т.п. Наиболее часто используются при этом показатели 1 и 100.

После того, как на основе попарного сравнения были получены балльные оценки значимости всех целевых показателей, по аналогичной методике проводится попарное сравнение претендентов по каждому из целевых показателей, то есть, составляется столько таблиц попарного сравнения, сколько назначено целевых показателей. В рассматриваемом случае таких таблиц надо составить четыре. Далее в сводной таблице решений в качестве балльных оценок каждого из претендентов проставляются баллы, которые в четырех таблицах дифференцированного попарного сравнения претендентов по каждому из целевых показателей были получены в столбцах «Нормированный вес». И окончательная оценка каждой из альтернатив вычисляется по формуле

f

где f - нормированный вес i-й альтернативы по j-му целевому показателю; f - нормированный вес j-го целевого показателя.

Таким образом, модель с попарным сравнением альтернатив стимулирует ЛПР к более тщательному и обоснованному сравнению альтернатив. Кроме того, при большом количестве альтернатив и показателей (до десяти и более) процедура попарного сравнения существенно упрощает для ЛПР в психологическом аспекте проблему получения обоснованных оценок, как по ранжированию целевых показателей, так и по окончательному выбору альтернатив.

3. Модель принятия решений в условиях неопределенности критериев

Присвоение балльных оценок становится в ряде случаев затруднительным, когда речь идет о таких свойствах и показателях, по отношению к которым использование количественной меры оказывается весьма затруднительным. Как, например, оценить в баллах такой показатель, как авторитет в коллективе? Как оценить при постановке диагноза степень твердости живота?

Описываемая ниже модель является дальнейшим развитием метода попарных сравнений. Она базируется на том предположении, что, рассматривая любую пару объектов в отношении какого-либо свойства, субъект в большей части случаев может выделить тот из объектов, в котором это свойство выражено более сильно, более устойчиво, более весомо и т. п. сколь бы неопределенным это свойство ни было само по себе. Следовательно, не прибегая к количественным оценкам, субъект по отношению к нечетко определяемым свойствам способен при попарном сравнении предпочесть один объект другому, либо, заявить, что два сравниваемых объекта по такому-то показателю одинаковы (равнозначны).

Этот метод упрощает процедуру ранжирования объектов или их признаков, поскольку при каждом акте сравнения сопоставляются лишь два объекта (или признака) и задачей ЛПР является качественная оценка того, какой из них является более предпочтительным по отношению к другому. Однако, в отличие от модели, описанной в предыдущем разделе, каждый объект (признак) сравнивается с каждым другим объектом (признаком). В результате такого попарного сравнения каждого с каждым заполняется квадратная матрица вида, представленного в табл. 3, где приведен условный пример оценок значимости целевых показателей при выборе стратегии лечения из нескольких альтернатив: двух вариантов хирургического вмешательства и двух курсов консервативного
лечения.

В качестве целевых показателей приняты следующие: минимальный риск неудачного исхода при хирургическом вмешательстве (Хирургический риск), длительность лечения в стационаре (Длительность лечения), длительность реабилитационного периода (Длительность реабилитации) и минимальный риск получения пожизненной инвалидности (Риск инвалидности).

Таблица 3

Попарное сравнение показателей 

Показатели

Хирург. риск

Длит. леч

Длит. реабил.

Риск инвал.

Хирургический риск

1

9

7

5

Длительность лечения

1/9

1

1/5

1/7

Длительность реабилитации

1/7

5

1

1/7

Риск инвалидности

1/5

7

7

1

При попарном сравнении целевых показателей по их важности ЛПР выражает свою оценку в таких качественных терминах, как одинаков (по важности, значимости, полезности), слегка превосходит (уступает), заметно превосходит (уступает), значительно превосходит (уступает), абсолютно превосходит (уступает) по отношению к сравниваемому показателю.

Далее, качественные оценки заносятся в матрицу попарного сравнения в виде количественных оценок, в соответствующих шкале относительных важностей, приведенной в табл. 4, то есть, имеющих следующие значения: одинаков → 1; слегка → 3, (1/3); заметно → 5, (1/5); значительно → 7, (1/7); абсолютно → 9, (1/9). При этом целые числа соответствуют ситуации, когда первый из сравниваемых объектов, записанный в строке, (признаков) превосходит, а дробные - уступает по значимости (полезности) второму, записанному в столбце. Так число 9, проставленное вторым в первой строке, означает, что, по мнению ЛПР, абсолютно более важным является проблема минимизации хирургического риска по сравнению с длительностью стационарного лечения.

На первый взгляд может показаться, что это те же самые баллы. Однако это не так, ибо эксперт действительно выражает свое мнение именно в качественном виде, а уж потом эта оценка кодируется в числовую форму. Кроме того, значения числовых кодов, используемые в дальнейших вычислениях, выбраны не случайно, а на основе экспериментальных наблюдений. Экспертов просили оценить в качественном виде, какой из двух разноудаленных источников света выглядит ярче (одинаково, слегка, заметно, значительно, абсолютно) и после обработки результатов оказалось, что качественные оценки хорошо ложатся на числовую последовательность дистанций удаления: 1, 3, 5, 7, 9.

Таким образом, в основе описываемого подхода положена гипотеза о том, что по отношению к другим наблюдаемым признакам ЛПР воспринимает разницу между оценками «слегка», «заметно», «значительно» и т.д. так же, как и по отношению к оценке яркости источников, удаленных на разные расстояния.

Таблица 4

Шкала относительной значимости

Интенсивность  относительной важности

Определение

1

Равная важность

3

Умеренное превосходство одного над дру­гим

5

Существенное или сильное превосходство

7

Значительное превосходство

9

Очень сильное превосходство

2, 4, 6, 8

Промежуточные решения между двумя со­седними суждениями

Обратные величины
приведенных выше чисел

Если при сравнении одного параметра с другим получено одно из вышеуказанных чисел, то при сравнении второго параметра с первым получим обратную величину

В каких ситуациях она верна, а в каких малоприменима - это вопрос другой. Главное, что указан конкретный базис, выбранный для количественной кодировки качественных оценок.

После заполнения матрицы попарных сравнений вектор нормированных оценок, определяющий ранги всех сравниваемых целевых показателей, может быть вычислен путем решения матричного уравнения

g

где A - матрица оценок попарных сравнений; λmax - наибольшее собственное значение матрицы A; E - единичная матрица; w - собственный вектор матрицы А, соответствующий наибольшему собственному значению.

Существенным достоинством определения вектора оценок на основе указанного матричного уравнения является то обстоятельство, что значение λmax является хорошим индикатором согласованности оценок. Если это значение лишь слегка превышает сумму единиц, находящихся на главной диагонали матрицы сравнений, значит, введенные оценки достаточно согласованы. Если же это значение заметно превышает указанную сумму, то это указывает на необходимость пересмотра оценок с целью выявления возможных ошибок и обеспечения должной согласованности.

Описываемый подход позволяет получать и групповые оценки. При групповой оценке участвующие в процедуре оценки ЛПР проставляют свои оценки в матрицы попарных сравнений независимо друг от друга. Далее на основе полученных оценок формируется обобщенная матрица оценок, элементы которой определяются на основе соотношения

f

где k - общее число ЛПР, участвующих в процедуре оценки; aijk - сопоставительная оценка значимости показателя i по сравнению с показателем j, выставленная k-м ЛПР.

На основе полученной обобщенной матрицы путем решения матричного уравнения определяется вектор оценок весомости показателей w*, в соответствии с которым производится их ранжирование. Далее осуществляется попарное сравнение альтернатив по каждому целевому показателю поочередно. В итоге формируется столько матриц, сколько выбрано целевых показателей.

Пример такой матрицы попарного сравнения альтернатив по показателю «Риск инвалидности» при выборе из четырех методов лечения (Хирургический 1, Хирургический 2, Консервативный 1, Консервативный 2) приведен в табл. 5.

Таблица 5

Сравнение по показ. «Риск инвалидности» 

Альтернативные
методы

Хирург. Вар.1

Хирург. Вар.2

Консерв. Вар.1

Консерв. Вар.2

Хирург.1

1

5

9

7

Хирург.2

1/5

1

3

5

Консерв.1

1/9

1/3

1

1/3

Консерв.2

1/7

1/5

3

1

В итоге такого попарного сравнения формируются матрицы, на основе которых определяются вектора оценок wj по числу выбранных целевых показателей (j - номер показателя). Из этих векторов образуется матрица W, элементы которой соответствуют нормированному рангу i-й альтернативы по j-му показателю. Далее, в соответствии с вектором оценок wS, определяемым из соотношения

f

производится окончательное ранжирование альтернатив.

Полученные при этом показатели рангов позволяют четко выделить альтернативу, обладающую преимуществом по всей совокупности присущих ей показателей, сколь бы неопределенными ни были критерии их оценки. Тем не менее, остается еще один недостаток, присущий и этой модели и, тем более, всем предыдущим.

Во всех уже рассмотренных моделях мера значимости (полезности) целевых показателей устанавливается фиксированной и независящей от достигаемой величины этого показателя. Но в общем случае это не всегда так. На практике, любое положительное свойство объекта является таковым лишь до определенных пределов своего проявления. Примеры можно привести из любой области, в том числе, и из области медицины - по дозировке лекарственных и профилактических средств, и из области здравоохранения. Поэтому в сложных ситуациях выбора важных по значению или ожидаемым последствиям альтернатив, предпочтительным является использование моделей решения с нелинейными функциями полезности.

4. Модель принятия решений с нелинейными функциями полезности

Описываемая ниже модель базируется не на математических ожиданиях вероятностей вклада каждой из рассматриваемых альтернатив в каждый из выбранных целевых показателей, а оперирует более подробной информацией, а именно - с плотностями распределений вероятностей достижимости для каждой из альтернатив определенного уровня по каждому из целевых показателей. Для более полного понимания этого подхода рассмотрим условный пример выбора лечебного препарата, предназначенного для нормализации кровяного давления при гипотонии.

Сравниваются три лечебных препарата, стимулирующих повышение кровяного давления с условными названиями «Кардолин A», «Кардолин B» и «Кардолин C». Массовые клинические испытания показали, что вероятности повышения кровяного давления составляют 0,25, 1,00 и 0,75 для препаратов A, B и C соответственно. Таким образом, если задачу повышения кровяного давления до уровня не ниже нормального принять в качестве одного из целевых показателей при лечении гипотонии, то наиболее предпочтительно выглядит препарат В, а препарат A надлежит исключить из дальнейшего рассмотрения как малоперспективный.

Однако при более детальном рассмотрении результатов испытаний с учетом распределений вероятностей и с учетом нелинейности функции полезности кровяного давления картина меняется, причем, весьма и весьма существенно. Это иллюстрируется на условных данных, приведенных в виде кривых на рис. 1. Кривая в верхней части этого рисунка представляет функцию полезности F(D) разных уровней кровяного давления, причем уровень полезности давления в норме принят за единицу. При повышении давления от нормы уровень его полезности естественно снижается и при увеличении давления свыше 1,5 от нормы полезность принимает отрицательные значения.

pic

Рис. 1. Оценка полезности альтернатив

В нижней части рис. 1 приведены функции р(D) плотности распределения вероятностей достижения определенного уровня кровяного давления, полученные на основе обработки статистических данных клинических испытаний. Если принять в качестве целевого показателя при лечении гипотонического криза вероятность повышения кровяного давления до уровня не ниже нормы, то вероятность этого события определяется по соотношению

f

где D* - уровень, достигаемый при использовании i-го препарата; DN - уровень давления в норме; i - индекс альтернативы

При этом вероятность принимает следующие указанные ранее значения: PA = 0,25; PB = 1,00; PC = 0,75, свидетельствующие, на первый взгляд, о весьма высокой эффективности препарата В, хорошем уровне эффективности препарата С и посредственном уровне эффективности препарата А. Если же при анализе учитывается нелинейность функции полезностей, то уровень полезности, достигаемый при использовании лечебного препарата надлежит определять по соотношению

f

и тогда показатели полезности, вычисленные в соответствии с этим соотношением, получают следующие значения: GA = 0,87; GB = 0,52; GC = 0,82. При таком подходе явно предпочтительным выглядит препарат «Кардолин А». А если еще ввести в рассмотрение дополнительный показатель Li - вероятность того, что в результате воздействия препарата кровяное давление превысит уровень 1,2DN, вычисляемую по соотношению

f

то полученные значения LA = 0; LB = 0,82; LC = 0,55 делают преимущество препарата А совершенно бесспорным и говорят о том, что препарат С надлежит применять с осторожностью, а препарат В исключить из употребления, как приводящий к чрезмерному риску.

Таким образом, рассмотренный пример показывает преимущества подхода, базирующегося на учете нелинейностей функций полезностей целевых показателей и рассмотрений распределений вероятностей достижения целевых показателей, вместо использования математических ожиданий этих вероятностей. Структурная схема процесса принятия решений, базирующаяся на этом подходе, представлена на рис. 2.

pic

Рис. 2. Структурная схема процесса ранжирования альтернатив с использованием  плотностей
распределений вероятностей

Понятно, что использование описанного подхода возможно только на базе специально разработанной компьютерной модели, что не представляет сколь-нибудь серьезного ограничения.

Более существенной является проблема получения плотностей распределения вероятностей, что является необходимым условием возможности использования модели. Далеко не всегда ЛПР располагает данными, полученными на основе представительных испытаний, по результатам которых могут быть построены необходимые функции. В этой ситуации могут быть использованы функции плотностей вероятностей или же диапазоны осуществимости шансов, построенные на основе экспертных оценок. Методы получения таких оценок требуют отдельного рассмотрения.

Список литературы

  1. Бескровный И.М. Анализ альтернатив и выбор диагностических гипотез. Часть I. Правило Байеса и методы теории принятия решений // Международный журнал прикладных и фундаментальных исследований. - 2012. - №1.
  2. Исследование операции. т.2 Модели и применения: пер. с англ.; под ред. И.М. Бескровного, И.М. Макарова. - М.: Мир, 1981. - 677 с.
  3. Теория выбора и принятия решений: учебное пособие. - М.: Наука, 1982.

Библиографическая ссылка

Бескровный И.М. АНАЛИЗ АЛЬТЕРНАТИВ И ВЫБОР ДИАГНОСТИЧЕСКИХ ГИПОТЕЗ. ЧАСТЬ II. МОДЕЛИ ВЫБОРА АЛЬТЕРНАТИВ ПРИ МНОЖЕСТВЕННОСТИ И НЕОПРЕДЕЛЕННОСТИ КРИТЕРИЕВ // Современные наукоемкие технологии. – 2012. – № 2. – С. 33-40;
URL: https://top-technologies.ru/ru/article/view?id=30267 (дата обращения: 18.04.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674