В настоящее время информационные технологии охватывают широкий спектр сфер деятельности человека. Большую роль в задаче информатизации производства занимают работы, связанные с разработкой цифровых двойников производственных процессов. Под цифровым двойником производственного процесса следует понимать компьютерную копию физического объекта или процесса, погруженного в среду имитационного моделирования. Среда имитационного моделирования создает виртуальное пространство, позволяющее исследователю взаимодействовать с цифровой копией объекта. Таким образом, задача создания цифрового двойника разбивается на два этапа, включающих этап создания имитационной среды и этап построения математической модели.

Изначально для визуализации окружающего пространства прибегали к концепции виртуальной реальности, которая предполагает полное погружение исследователя в виртуальный мир и моделирование всех видов взаимодействия с искусственным миром. Основным недостатком концепции виртуальной реальности является высокая сложность задачи моделирования взаимодействия исследователя с виртуальными объектами [1].

Следующим этапом эволюции систем для моделирования виртуального пространства стало появление систем дополненной реальности. Системы дополненной реальности реализуют гибридный подход, основанный на заимствовании физического взаимодействия исследователя с окружающим миром и расширения такого взаимодействия через внедрение компьютерных виртуальных моделей в визуальный канал восприятия исследователя.

Новым витком эволюции систем дополненной реальности стало появление систем виртуального адаптационного пространства. Виртуальное адаптационное пространство (ВАП) – воспринимаемая смешанная реальность, созданная путем введения в каналы восприятия сенсорных данных с целью компенсации поврежденных каналов восприятия субъекта виртуальной реальности [1]. Конкурирующей технологией для ВАП является кибернетической глаз Argus II [2]. Главное преимущество ВАП над Argus II заключается в отсутствии хирургического вмешательства. Основное преимущество систем ВАП над системами дополненной реальности заключается в комплексной активации нескольких каналов восприятия исследователя для динамической сбалансированной нагрузки на каждый канал восприятия [3, 4].

Особым преимуществом систем виртуального адаптационного пространства над остальными методами виртуализации является его компенсаторное влияние на каналы восприятия человека, когда один из каналов поврежден или слабо функционирует. Для взаимодействия человека с виртуальным пространством система виртуального адаптационного пространства использует датчики, которые осуществляют запись входного потока визуальной информации, а также осуществляют вывод данных с использованием средств для воспроизведения акустического сигнала.

В статье представлен пример погружения суперпозиции объектов физического пространства в виртуальное адаптационное виртуальное пространство и метод классификации объектов в виртуальном адаптационном пространстве.

Цель исследования заключается в проверке адекватности метода классификации объектов в виртуальном адаптационном пространстве.

Задачи исследования:

- построение виртуального адаптационного пространства;

- сегментация виртуального адаптационного пространства;

- выделение и погружение объектов в виртуальное адаптационное пространство;

- классификация объектов виртуального адаптационного пространства;

- верификация метода классификации объектов.

Материалы и методы исследования

Для погружения объектов в виртуальное пространство система виртуального адаптационного пространства использует принцип оптического параллакса.

В качестве верификационного базиса виртуального адаптационного пространства была выбрана сцена объектов, которые различаются по ряду характерных признаков (форма, размера, освещенность и т.д.).

Следует учитывать, что процедура погружения объектов окружающего пространства должна выявлять и подавлять шумы на сцене объектов. В качестве таких шумов можно рассматривать совокупность небольших объектов, обладающих критически маленьким объемом для погружения в виртуальное пространство. В качестве второго примера шума может выступать пестрая текстура средних и крупных объектов виртуального пространства.

На рис. 1 представлена пара снимков сцены объектов, которые были получены с мультимедийных датчиков системы виртуального адаптационного пространства. Датчики системы расположены в горизонтальной плоскости на небольшом расстоянии друг от друга. Поэтому левое и правое изображение описывает одну сцену с небольшим отклонением в левую и правую сторону в зависимости от положения датчика. Пара снимков необходима для дальнейшей обработки методом классификации объектов ВАП.

В таблице приведен состав объектов сцены, включающий краткое описание объекта, его форму, пространственное расположение, расстояние от наблюдателя Z и обратное расстояние от самого удаленного объекта Ri = Zi/max(Z).

На первом этапе метода классификации объектов ВАП при погружении объектов в виртуальное пространство используется метод расчета оптического параллакса, который позволяет восстановить форму наблюдаемых объектов, учитывая инвариантность пропорций наблюдаемых объектов относительно местоположения наблюдателя [5].

На рис. 2 представлена серия экспериментов по вычислению размеров объекта L в 2D пространстве. L – наблюдаемый объект. L' – образ объекта L в виртуальном пространстве. D – расстояние между наблюдаемым объектом и линзой камеры. D' – расстояние между линзой камеры и контактной матрицей мультимедийной камеры.

На представленном выше рисунке зеленым крестом обозначено исходное местоположение линзы камеры мультимедийных датчиков системы виртуального адаптационного пространства. В представленной серии экспериментов рассматриваются 3 варианта дистанций между объектом и его проекцией, в каждом из вариантов положение линзы смещается вправо на одну клетку.

Согласно правилу вычисления оптического параллакса между объектом и его проекцией сохраняются пропорции отношений между размерами объектами и расстояниями от объектов до линзы оптических устройств.

По известным параметрам L', D' и коэффициенту уменьшения оптического прибора можно вычислить неизвестные параметры L и D.

Исходя из инвариантности осей прямоугольной системы координат, можно сделать вывод, что все правила по вычислению размеров в 2D пространстве применяются схожим образом и для 3D пространства.

Наиболее сложной проблемой в системе виртуального адаптационного пространства является проблема обнаружения объектов в окружающем пространстве (проблема обнаружения и распознавания образов ОРО). Сложность решения проблемы ОРО в общем случае сопоставима со сложностью проблемы создания систем искусственного интеллекта. Из общего курса анатомии известно, что биологическим сенсором визуальной информации является глаз биологического объекта. Глаз снабжен чувствительной сетчаткой, в которой присутствуют чувствительные элементы: палочки и колбочки. Палочки сетчатки собирают информацию об интенсивности цвета окружающих объектов, а колбочки – о самом цвете объектов.

Подобно биологическому глазу датчики виртуального адаптационного пространства в первую очередь ориентируются на интенсивность отраженного света от окружающих объектов, а сам цвет объекта выступает вторичным признаком.

На втором этапе метода классификации объектов ВАП выполняется сегментация фотоснимков, которая заключается в разбиении исходного изображения по ширине w и высоте h на n сегментов и последующей обработке каждого сегмента. Изображение внутри каждого сегмента проецируется из цветового пространства RGB (соответствующего первоначальному цветному изображению) на ось Y цветового пространства YCbCr, в котором Y соответствует интенсивности цвета пикселя сегмента.

Операция выделения объектов в виртуальном адаптационном пространстве сводится к операции поиска пикселя с максимальным значением интенсивности Yij в каждом сегменте. Следующая итерация выделения объектов заключается в поиске области однотонных пикселей вокруг пикселя с интенсивностью Yij и выделении граничных точек на каждой из областей.

Финальная итерация выделения объектов заключается в объединении границ однотонных объектов, расположенных на соседних сегментах изображения. Таким образом, множество объектов виртуального адаптационного пространства формируется из множества границ однотонных объектов на исходном изображении.

На рис. 3 представлены варианты границ объектов полученных при обработке фотоснимков рис. 1 с коэффициентом сегментации равным 16.

Для погружения объектов в виртуальное адаптационное пространство используются:

- операция классификации объектов на левом и правом изображении по признаку интенсивности цвета и площади объекта;

- операция экструзии объекта по направлению нормали относительно плоскости рисунка на расстояние оптического параллакса объектов.

На третьем этапе метода классификации объектов ВАП путем парного сопоставления объектов на левом и правом изображении и, исходя из технических характеристик сенсорных устройств (например, оптической силы линз мультимедийных сенсоров системы) вычисляется величина отношения размеров объектов окружающей реальности к размеру погруженных объектов в виртуальную реальность и информация о расстоянии отдаления от субъекта виртуальной реальности.

На рис. 4 представлен результат погружения объектов в виртуальное адаптационное пространство. Наиболее удаленный синий фрагмент сетки соответствует фрагменту штанги (R1 = 5.1), погруженной в виртуальное пространство. Коричневые фрагменты соответствуют нижним фрагментам стула (R2 = 1.7). Наиболее отдаленный синий фрагмент соответствует фрагменту стены (R3 = 1). Серый фрагмент на синем фоне соответствует фрагменту коробки 3D ручки R4 – 1,3. Максимальная величина абсолютной погрешности Ri для соответствующих объектов из таблицы составила 34 %.

На рис. 5 приведен результат погружения объектов в виртуальное адаптационное пространство при увеличении коэффициента сегментации изображения до 32. Белым слоем сетки на правом изображении отображена область интерполяции для карты высот объектов виртуальной реальности.

Значения обратного расстояния R для соответствующих объектов на рис. 5 равны фрагмент штанги (R1 = 7.1), фрагмент стула (R2 = 2.39), фрагмент стены (R3 = 1), фрагмент коробки 3D ручки (R4 = 2.52). Максимальная величина абсолютной погрешности Ri для соответствующих объектов из таблицы составила 31 %.

Результаты исследования и их обсуждение

В результате исследования было установлено, что метод классификации объектов виртуального адаптационного пространства применим к задачам выделения и погружения объектов. При увеличении сегментации изображения метод сохраняет устойчивость форм объектов. К недостатку метода можно отнести эффект слияния однотонных объектов при погружении их в виртуальное пространство.

Заключение

В статье был проведен анализ метода классификации объектов в виртуальном адаптационном пространстве. Представленный метод опирается на технологии погружения объектов в виртуальное адаптационное пространство, методы расчета оптического параллакса объектов и метод экструзии объектов. Из полученных результатов можно сделать вывод, что метод классификации объектов содержит погрешности при обработке однотонных объектов, которые способны нивелироваться при увеличении коэффициента сегментации изображения и изменении порога родственности близкотонных объектов.