Разработка обучающей системы специалистов общетехнического профиля на базе технологии комбинированной (виртуальной) реальности




Скачать 253.48 Kb.
Дата26.07.2016
Размер253.48 Kb.
Разработка обучающей системы специалистов общетехнического профиля на базе технологии комбинированной (виртуальной) реальности.
Комбинированная реальность становится одним из основных трендов ИТ. Широкое применение возможности этой технологи находят при создании обучающих систем, в частности для обучения технических специалистов в авиации. Настоящий отчет содержит обзор уже реализованных решений комбинированной реальности в авиационной индустрии, классификацию систем комбинированной реальности, описание компонентов таких систем. Материал служит основой для разработки структуры и научно-методического обеспечения обучающей системы на базе комбинированной реальности.

Введение

Технология комбинированной реальности (КР, английский термин Augmented Reality. Другие встречающиеся определения – смешанная реальность, расширенная реальность, Mixed Reality) совмещает, комбинирует в одном пространстве реальный мир и виртуальные, созданные компьютером объекты, пользователь устройства КР видит виртуальное и реальное одновременно. Необходимым условием совмещения реального и виртуального миров является знание пространственного положения наблюдателя, что позволяет формировать изображения виртуальных объектов с необходимыми ракурсом и масштабом, а затем накладывать их на картину реального мира в нужном месте.


Начиная с 2008 года КР становится одним из основных трендов информационных технологий (Gartner Inc., 2008), что связано с распространением мобильных компьютерных решений для широкого пользователя, оснащённых качественной видеокамерой и датчиками позиционирования. Быстро растущая производительность задействованных в таких устройствах процессоров делает возможным рендеринг изображений виртуальных объектов (включая трёхмерные) и их наложение на картинку видеокамеры с учётом её положения в пространстве, что в сочетании с доступом в Интернет открывает широкие возможности для создания так называемых геоинформационных сервисов для пользователей смартфонов, планшетников и т.п., реализуемых обычно в рамках специальных КР-браузеров (Layar, Junaio). Примером такого сервиса из области авиации может служить приложение Plane Finder AR (http://planefinder.net) для смартфонов и планшетников c операционной системой iOS. Plane Finder позволяет получить данные о воздушном судне (ВС) — номер борта, рейс, пункты вылета и посадки, высота, удаление — направив на него видеокамеру мобильного устройства, при этом ВС может находиться как в пределах видимости, так и за десятки километров. Информация о ВС поступает через Интернет, ВС должно иметь оборудовано приёмопередатчиком системы автоматически-зависимых наблюдений ADS-B.

Р
ис. 1. Схема работы приложения Plane Finder AR (planefinder.net).


Представляется однако, что КР является не просто одним из очередных модных трендов информационных технологий (ИТ), но принципиально новым типом интерфейса человек-компьютер, который имеет реальную перспективу стать основным, доминирующем в ближайшем будущем. Развитие ИТ со времён фон Неймана и до начала текущего столетия происходило в направлении удаления от человека, компьютерные решения приобретали всё более и более технологический характер. Пиковой точкой этого процесса стала виртуальная реальность — здесь пользователь вообще полностью исключается из действительности, превращаясь в элемент мира компьютерных иллюзий. Поскольку в этом мире принципиально нет никаких ограничений, то такая ситуация вызывает серьёзную озабоченность исследователей из блока антропологических наук, по их мнению расчеловечивание, дегуманизация человеческой сущности в таком сценарии лишь вопрос времени, причём сравнительно небольшого. КР возвращает IT-человека в обычный мир, пусть и совмещённый с виртуальным. Разработки исследовательского центра компании Nokia в Тампере (research.nokia.com) хорошо иллюстрируют перспективу КР как инструмента взаимодействия человека и компьютера: через прозрачные очки пользователь видит окружающий мир и одновременно виртуальные объекты, при этом система слежения за положением зрачка позволяет регистрировать внимание пользователя, зафиксированное на том или ином виртуальном объекте, что открывает возможность управления компьютером взглядом. Характерным является то обстоятельство, что подобный интерфейс уже реализован в пилотском шлеме перспективного истребителя-бомбардировщика пятого поколения F-35 (разработка Vision Systems International и Helmet Integrated Systems Limited). Следует отметить, что развитие технологий КР тесно связано с авиацией, к которой до эпохи смартфонов относилось большинство исследовательских проектов в данной сфере.

Развитие КР в аэрокосмической индустрии

Термин «Augmented Reality» был введён в научный обиход сотрудниками исследовательского подразделения компании Boeing Т. Коделлом и Д. Майзеллом в 1992 г. (Caudell & Mizell, 1992). Они разработали систему для сборочных процедур при постройке самолётов: сборщики с носимыми компьютерами могли видеть чертежи и инструкции с помощью шлемов КР, имеющих полупрозрачные дисплейные панели. Проекты подобного рода продолжают продолжаются Боингом и в настоящее время (Davies & Sivich, 2011).


Хронологически следующей заметной вехой в развитии КР можно считать проект MARS, стартовавший в Колумбийском Университете в 1996 г. (Höllerer et al., 1999). Данная разработка подразумевала наложение виртуальных информационных табло на реальные объекты с использованием GPS-позиционирования. Примерно в то же время Азума и Фурманский (Azuma & Furmanski, 2003) изучили вопрос об оптимальном расположении подобных виртуальных двумерных объектов в авиадиспетчерских КР-приложениях.
В 1900-х и в 2000-х годах разработки систем КР часто связаны с нашлемными системами целеуказания (НСЦ) боевых летательных аппаратов, в качестве примеров можно привести несколько крупных программ, известных по открытым источникам (Sisodiaa et al., 2007):
• DASH (Display and Sight Helmet) – система целеуказания фирмы Elbit Systems (Израиль).

• IHADSS (Integrated Helmet and Display Sighting System) – интегрированная НСЦ, разработанная фирмой Honeywell (США). Эксплуатируется на боевом вертолете АН64 (Аpach) различных модификаций.

• Knighthelm – интегрированная НСЦ, разработанная фирмой GECMarconi Avionics (Великобритания) для противотанкового вертолета Tiger.

• JHMCS (Joint HelmetMounted Cueing System) –программа по НСЦ компаний Boeing, Kaiser Aerospace (США) и Elbit Systems (Израиль).

• Striker – интегральная НСЦ фирмы BaE (Великобритания) для самолетов 5-го поколения Eurofighter.

• Topsight – интегральная НСЦ фирмы Sextant Avionique (Франция), принятая на вооружение противотанковых вертолетов.


НСЦ проецируют информацию о цели (удаление, скорость и т.д.) на прозрачный щиток шлема или на сетчатку глаза пилота таким образом, что он видит её рядом с самой целью.
В 2006 г. в NASA была разработана интегрированная с радарным комплексом КР-система ARTT2 (Reisman & Brown, 2006), позволяющая авиадиспетчерам видеть рядом с находящимся в воздухе ВС информацию о номере борт, его удалении и высоте ночью и при плохой погоде.
В 2008 г. Рафнер и др. (Ruffner et al., 2008) по заданию исследовательской лаборатории ВВС США (U.S. Air Force Research Laboratory) сконструировали макетный экземпляр бинокулярного КР-устройства и протестировали его с авиадиспетчерами, работающими на диспетчерской вышке. Целью работы было определение методов повышения эффективности работы персонала диспетчерской вышки за счет снижения объёма переключений внимания диспетчеров между различными источниками информации и работы в условиях ограниченной видимости.
В конце первой декады 21-го века появляется несколько систем технического зрения для пилотов воздушных судов разработки ведущих производителей авионики, включающие элементы КР. К их числу относится комплекс SmartView компании Honeywell (SmartView, 2011), который обеспечивает пилоту дисплейную картинку, содержащую стандартные индикаторы параметров полёта, совмещённые с 3D-моделью рельефа местности, а также с реальным изображением этой местности, получаемым с помощью установленной на носу самолёта инфракрасной камеры. Другим примером подобных комплексов является система технического зрения разработки Rockwell Collins (Head-up Displays, 2011), устанавливаемая на самолётах Боинг.
В 2010 г. на состязаниях Rocket Racing League (www.rocketracingleague.com) был продемонстрирован КР-интерфейс для пилотов на базе шлема Targo израильской компании Elbit Systems (http://www.elbitsystems.com) c виртуальными 3D-объектами. Данный интерфейс трассирует траекторию полёта виртуальными маркерами, проецируемыми на щиток шлема пилота.

Классификация систем КР

Можно выделить несколько основных признаков, с помощью которых целесообразно классифицировать системы КР:




  1. Способ позиционирования наблюдателя и виртуальных объектов:

    1. с помощью специальных систем позиционирования, позволяющих получить 3 линейные и 3 угловые координаты пространственного положения объекта.

      Такие системы строятся на основе разных физических принципов функционирования — электромагнитные, инерционные, акустические, оптические, с использованием навигационных спутников; часто конечный результат получается комбинированием нескольких подсистем разного типа. Примером может служить гибридная система позиционирования IS-900 производства компании InterSense (www.intersense.com), включающая акустическую и инерционную части. Система позволяет получать данные о пространственных координатах с высокой точностью (доли миллиметоров и градусов) при перемещении объекта на площадке до 140 м2. Главным недостатком таких систем является необходимость использования дополнительного оборудования (зачастую требующего стационарного размещения) и его дороговизна.






Рис. 2. На потолке помещения расположено оборудование акустической коррекции в составе СП IS-900 (www.intersense.com).





    1. с помощью графических маркеров.

      Применяются специальные графические маркеры, изображение которых вводится с помощью видеокамеры. Далее изображение маркера выделяется в общей видеокартинке и обрабатывается с целью определения его положения в пространстве и полученные координаты используются для привязки виртуального объекта. Недостатки: система работоспособна только при условии, что маркеры находятся в поле видимости камеры и они хорошо различимы; необходимость специального размещения маркеров на объектах реального мира.

      Рис. 3. Привязка трехмерного объекта к графическому маркеру.



    2. посредством распознавания образов реальных объектов.

      Определение положения наблюдателя в пространстве осуществляется по той же схеме, что и в предыдущем случае, однако вместо специальных графических маркеров используются обычные заранее известные системе объекты, что усложняет алгоритмы распознавания и требует значительно большей производительности процессора. Подход рассматривается как перспективный для КР-систем обслуживания ВС (Caponio et al, 2011; Alvarez et al, 2011).

      Рис. 4. Иллюстрация технологии SmartAR (www.sony.net), распознающий образы реальных объектов. В левом нижнем углу исходное изображение стола с кружкой, в центре показан результат наложения виртуального объекта (выплёскивающейся воды - анимация) на распознанный реальный объект «кружка». Корректное наложение требует точной оценки положения распознанного объекта в пространстве.




    3. посредством комплексирования данных встроенных датчиков мобильных устройств без использования маркеров.

      Такой способ находит применение в мобильных устройствах, которые характеризуются сравнительно небольшой мощностью процессоров (что не позволяет использовать развитые алгоритмы распознавания образов) и достаточно широким набором встроенных датчиков: магнитный компас, акселерометр, гироскоп, приёмник GPS, видеокамера (). К примеру, в изображении выделяются точки отслеживания и далее вырабатывается позиция камеры с учётом данных акселерометра (Engelbrecht & van Wyk, 2011); другая версия (Coulton & Copic Pucihar, 2011) подразумевает использование акселерометра и механизма автофокусировки камеры для определения расстояния до объекта. Способ не требует какой-либо подготовки среды, однако не всегда обеспечивает надёжное и точное позиционирование.





  1. Способ отображения реального мира:


    1. с помощью видеокамер.
      Простейший и наиболее распространённый в настоящее время способ — отображение реального мира с помощью видеокамеры, встроенной в компьютер (ноутбук, планшетник, смартфон и т.д., см. п 3.1. ниже).

      Стереоскопичность достигается применением шлема виртуальной реальности и двух видеокамер, размещаемых перед каждым глазом пользователя, сигналы с которых передаются на соответствующие микродисплеи шлема. Основной недостаток связан с громоздкостью такого решения и проблемами компактных видеокамер — сравнительно низкое разрешение, инерционность изображения при быстром движении, изменение цветопередачи, необходимость монтирования на шлеме перед глазами и т.п.

      Рис. 5. Шлем виртуальной реальности, оборудованный насадкой VideoVision (www.worldviz.com) с двумя видеокамерами.




    2. с помощью прозрачных или полупрозрачных панелей, используемых в шлемах или специальных очках.

      Большое количество разработок этого направления с применением проекций на полупрозрачные поверхности, голографических и других методов (Rolland & Thompson, 2011) известно уже более 20 лет, но ни одна из них не была воспринята рынком из-за недостатков как технических (низкая степень прозрачности, невысокое разрешение, ограниченное поле обзора и т.п.), так и экономических (высокая стоимость, мелкосерийное производство). Однако начиная с 2011 года на рынке появилось несколько предложений компактных устройств этого типа с приемлемыми потребительскими свойствами, что выводит их на лидирующие позиции среди КР-устройств отображения.


      Рис. 6. Очки виртуальной реальности MG1 компании Laster (www.laster.fr).






    3. посредством проецирования изображения виртуальных объектов непосредственно на сетчатку глаза пользователя.

      Часто используется в мобильных военных приложениях, где не требуются фотореалистические изображения высокого качества.

      Рис. 7. КР-дисплей PicoP компании Microvision (www.microvision.com).



    4. с помощью специальных контактных линз.

      Экспериментальные образцы контактных линз, включающих встроенные средства отображения виртуальных объектов, уже испытаны на животных.


      Рис. 8. Контактная линза с КР-элементами в глазе кролика (spectrum.ieee.org).



  2. Р
    азмерность и объёмность виртуальных объектов:

    1. двумерные.

      Знакографическая информация накладывается на изображение реального мира.


      Рис. 9. Геоинформационное КР-приложение на мобильном устройстве (www.pocket-lint.com).




    2. плоские трёхмерные.

      Наблюдатель видит «плоские» изображения трёхмерных объектов.


      Рис. 10. КР-система сборки и техобслуживания, разработанная в Немецком аэрокосмическом центре (German Aerospace Center), позволяет видеть 3D-модели узлов непосредственно в обслуживаемом агрегате с помощью планшетного компьютера (Webel et al., 2011).





    3. объёмные трёхмерные.

      Наблюдатель видит изображения трёхмерных объектов в стереорежиме, что требует специальных устройств отображения (см. п.п. 2.1, 2.2 и 2.4 выше, а также (Valerius, 2011).




Общая схема системы КР

Рассмотрим в качестве образца КР-систему наиболее развитого типа, характеризующуюся признаками 1.1, 2.1 и 3.3 приведённой классификации, т.е. стереоскопическую полнопогружную систему, в которой пользователь свободно перемещается одновременно в реальном и в виртуальном пространстве (рис. 11).


Используется шлем виртуальной реальности с отдельным микродисплеем для каждого глаза. Непосредственно перед микродисплеями монтируются компактные видеокамеры. Датчик системы позиционирования (СП), размещённый на шлеме, позволяет вырабатывать линейные и угловые координаты положения головы пользователя относительно некоторой локальной системы координат, точка отсчёта которой зависит от типа применяемой СП. Процессор использует данные о пространственном положении головы (и, следовательно, направлении взгляда пользователя в каждый момент времени) для генерации стереопары изображения виртуальных объектов для каждого кадра, показываемого пользователю через микродисплеи. Левая и правая картинки стереопары виртуальных объектов накладываются на цифровые картинки от левой и правой видеокамер и результат доставляется на левый и правый микродисплеи шлема виртуальной реальности, который в данном случае становится шлемом КР.

Рис. 11. Стереоскопическая полнопогружная система КР.


Такие системы могут включать средства управления виртуальными объектами с помощью джойстика или специального указательного устройства, содержащего датчик СП. В последнем случае пользователь получает возможность взаимодействия с виртуальными объектами: оказывать управляющие воздействия, создавать и удалять их, перемещать, поворачивать, менять форму и цвет и т.д. Примером может служить КР-система создания трёхмерной компьютерной графики свободным движением руки в пространстве (Горбунов, 2010).


Рис. 12. КР-система создания трёхмерной компьютерной графики свободным движением руки в протранстве ARPainter. «В воздухе» висит меню инструментов создания 3D-объектов, пользователь взаимодействует с ним касаясь рукой с указательным устройством пунктов меню.



Компоненты систем КР

Алгоритмы


Специфические для КР алгоритмы как правило касаются методологии получения координат наблюдателя в реальном мире и масштабирования виртуальных объектов относительно реального мира. Существует много пакетов КР для работы с графическими маркерами (наиболее известны продукты компании ARToolworks), но все они с небольшими различиями реализуют один базовый алгоритм, состоящий из следующих основных шагов: 1) во введённой видеокартинке ищется заранее известная совокупность пикселов, соответствующая графическому маркеру; 2) по характеру этой совокупности оценивается положение маркера относительно видеокамеры и его удаление; 3) производится рендеринг ракурса виртуального объекта в соответствии с результатами предыдущего шага.
Подобно строится работа безмаркерных систем, способных распознавать реальные объекты. Основное отличие заключается в том, что задача распознавания образа реального объекта значительно сложнее, чем распознавание острохарактерного образа графического маркера, в частности выделение признаков изображения становится весьма непростой стохастической задачей. Соответственно актуальным становится разумный баланс между сложностью алгоритма (зачастую требующей очень большой вычислительной мощности) и его реальными возможностями по распознаванию образов реальных объектов. В качестве образца такого баланса можно привести проект Google Goggles (www.google.com/mobile/goggles). Очень обещающе выглядит анонсированная в 2011 году технология SmartAR компании Sony (www.sony.net/SonyInfo/News/Press/201105/11-058E/).
Широкий и интенсивно развивающийся класс составляют алгоритмы КР, обеспечивающие позиционирование и масштабирование на основе встроенных датчиков мобильных устройств, которые не требуют ни специальной подготовки окружающей среды (размещение маркеров), ни громоздких в вычислительном отношении процедур распознавания образов. Ставший уже стандартом для смартфонов трёхосевой акселерометр в принципе позволяет путём двойного интегрирования его данных при движении получить линейные координаты, а существование гравитации обеспечивает возможность расчёта углов крена и тангажа. Угол рыскания можно получить по цифровому магнитному компасу, а в последних моделях смартфонов посредством встроенного лазерного гироскопа. Однако точность полученных таким образом координат оказывается недостаточной (из-за накопления погрешности дрейфа нуля при двойном интегрировании, влияния магнитного поля внешней среды, реактивности гироскопических устройств), поэтому обычно для коррекции координат привлекается информация, полученная с помощью видеокамеры и при определении расстояния до объектов при её автофокусировке. В этом контексте можно упомянуть японскую разработку (Taketomi et al, 2011), где реализуется позиционирование с использованием автоматически генерируемой базы данных об объектах окружающей среды и лазерного дальномера. Подробный и свежий обзор подходов к позиционированию с использованием камер дан в статье (Uchiyama & Marchand, 2012).

Аппаратура

Системы позиционирования


В настоящее время в комплексах КР применяется несколько типов специализированных СП (не являющихся программными реализациями маркерных и безмаркерных алгоритмов, о которых шла речь в предыдущем разделе): оптические, акустические, электромагнитные, инерционные, основанные на спутниковых системах позиционирования и гибридные, сочетающие в себе различные комбинации указанных. Назначение СП – выработка линейных пространственных координат отслеживаемого объекта и угловых координат – углов наклона объекта относительно осей координатной системы (углы Эйлера).
Специализированная СП для авиационных КР-приложений техобслуживания, тренинга и целеуказания должна соответствовать следующим основным требованиям:
• минимальные масса и габаритные размеры датчиков системы;

• определение шести координат отслеживаемого объекта: трех линейных и трех угловых (6DOF, от англ. degrees of freedom);

• определение угловых координат в горизонтальной плоскости в диапазоне до ±180°, в вертикальной плоскости – до ±60°;

• зона покрытия — десятки м2;

• максимальная погрешность определения угловых координат в конусе с осью, совпадающей с продольной осью объекта, не должна превышать нескольких десятков угловых минут;

• максимальная погрешность определения линейных координат не должна превышать 1 мм;

•частота выдачи информации о линейных и угловых координатах должна быть не менее 60 Гц;

• постоянство характеристик устройств системы в диапазоне рабочих температур 0…+40°С;

• отсутствие вредных воздействий работы системы позиционирования на здоровье пользователя, а также на оборудование и системы, находящиеся поблизости.

Гибридные технологии


Характерным образцом современной гибридной СП является уже упоминавшийся комплекс IS-900 компании Intersense.

Рис. 13. Компоненты СП IS-900 (www.intersense.com).


Инерциальные и гироскопические элементы IS-900 обеспечивают выработку линейных и угловых координат (6DOF), коррекция дрейфа которых осуществляется с помощью ультразвуковой триангуляции. IS-900 имеет следующие параметры:
Степени свободы: 6.

Количество отслеживаемых объектов: до 4.

Зона отслеживания: 2x2x3 м.

Диапазон измерения угловых координат: 360º по всем осям.

Разрешение: 0.75 мм, 0.05º.

Статическая точность: среднеквадр. отклонение для линейных координат 3 мм, для угловых координат 0.5º.

Частота измерений: 100 Гц.
Акустическая часть СП требует размещения на потолке рабочего помещения специальной рамки (нижняя часть рис. 13 и рис. 2)
Оптические технологии
Подразумевают использование видеокамер, которые могут быть размещены на отслеживаемом объекте либо вокруг него и маркеров – специальных меток.
В СП РРТ компании WorldViz (www.worldviz.com) маркерами служат инфракрасные светодиоды, расположенные на отслеживаемых объектах, а камеры жестко устанавливаются на штативах или крепятся к стенам вокруг зоны трекинга. Для выработки линейных координат достаточно, чтобы отслеживаемый маркер «видели» минимум 2 камеры. Поскольку камер в РРТ может быть до 32, то ситуация, когда маркер видим менее чем двум камерам практически невероятна. Угловые координаты либо вычисляются по взаимному положению нескольких светодиодных маркеров, либо определяются с помощью дополнительного гироскопического устройства.

Рис. 14. СП РРТ (www.worldviz.com).
РРТ имеет следующие параметры:
Степени свободы: 6.

Количество отслеживаемых объектов: до 32.

Зона отслеживания: до 50х50 м.

Диапазон измерения угловых координат: 360º по всем осям.

Разрешение: 0.2 mm, 0.05º.

Статическая точность: среднеквадр. отклонение для линейных координат 0.2 мм, для угловых координат 0.1º.

Частота измерений: 120 Гц.
Магнитные технологии
Несмотря на искажения, вызываемые внешними магнитными полями и металлическими предметами, а также уменьшение магнитного поля с расстоянием, электромагнитные СП достаточно распространены. Преимущества электромагнитных СП – минимальные размеры оборудования, простота установки, работа в отсутствие прямой видимости, относительно высокая частота измерений, высокая надежность и не очень строгие ограничения на свободу перемещения. Последние разработки зарубежных производителей электромагнитных СП позволяют рассматривать данные системы как прецизионное измерительное устройство при небольших расстояниях (до 1 м), требующее, однако, специального картографирования магнитного поля зоны позиционирования.
Хорошо известны электромагнитные СП компании Ascension (www.ascension-tech.com), в частности система driveBAY.


Рис. 15. Компоненты СП driveBAY (www.ascension-tech.com).
driveBAY имеет следующие параметры:
Размеры сенсорных элементов: 8х1.5 мм.

Степени свободы: 6.

Частота измерений: 240 Гц.

Зона отслеживания: до 78 см.

Диапазон угловых измерений: ±180° в горизонтальной плоскости, ±90° в вертикальной плоскости.

Статическая точность: среднеквадр. отклонение для линейных координат 1.4 мм, : для угловых координат 0.5° .

Разрешение: 0.5 мм, 0.1° .
Другой пример электромагнитной СП, работающей на расстояниях до 4 м – СП FASTRAK компании Polhemus (polhemus.com) с характеристиками:
Степени свободы: 6.

Количество отслеживаемых объектов: 1-4.

Частота измерений: 120 Гц (делится на количество отслеживаемых объектов).

Зона отслеживания: до 4.6 м.

Диапазон угловых измерений: ±180° в горизонтальной плоскости, ±90° в вертикальной плоскости.

Статическая точность: среднеквадр. отклонение для линейных координат 0.05 мм, : для угловых координат 0.15°.

Разрешение: линейное – зависит от удаления объекта, угловое 0.025°.


Рис. 16. Компоненты СП FASTRAK (polhemus.com).


Спутниковые технологии
Для авиационных КР-приложений связанных с управлением ВС актуальны специализированные спутниковые навигационные системы, обеспечивающие повышенную достоверность и точность местоопределения. По терминологии Международной организации гражданской авиации (ИКАО от англ. ICAO, International Civil Aviation Organization) такие системы называются SBAS (Space Based Augmentation System) — WAAS в США и EGNOS в Европе, и GBAS (Ground Based Augmentation System) — LAAS в США и ЛККС в России. Увеличение качества позиционирования исходных спутниковых систем (GPS, ГЛОАСС) происходит за счёт трансляции потребителю сообщений, содержащих корректирующие поправки. Такие системы включают наземные станции, координаты расположения которых известны с высокой степенью точности. К примеру, сеть базовых станций WAAS, расположенных на всей территории Соединенных Штатов Америки, формирует поправки. Каждая из станций оборудована GPS аппаратурой и специальным программным обеспечением, предназначенным для приёма GPS сигналов, анализа полученных измерений, вычисления ошибок ионосферы, отклонений траекторий и часов спутников. Эти данные передаются на центральную станцию управления, где повторно обрабатываются и анализируются с учётом измерений, полученных со всех базовых станций сети. Затем корректирующая информация передаётся на геостационарные спутники и уже оттуда ретранслируются пользователям. WAAS обеспечивает ошибку не более 3 м по горизонтали и 4 м по вертикали в 95 % времени.
Системы GBAS отличаются от SBAS главным образом способом доставки корректирующей информации потребителю — через наземные передатчики VHF-диапазона, которые обычно располагаются в районах аэропортов. Как результат данные системы значительно дешевле, однако имеет ограниченную зону действия.

Рис. 17. Структура системы ЛККС (www.nttaero.com).



Устройства отображения


Задача устройства отображения в системах КР — совмещение в картинке, представляемой пользователю, реального и виртуального миров, поэтому такое устройство имеет двойственный характер, включает в себя средства для воспроизведения реальных и виртуальных объектов.
Простейший и широко распространённый вариант такого устройства — комбинация встроенной видеокамеры и дисплея современных мобильных компьютеров в виде ноутбуков, планшетников, смартфонов и т.п. К сожалению эта версия КР-устройства отображения малопригодна для приложений за рамками игровых и простейших информационных в основном из-за необходимости держать мобильное устройство перед глазами.
Очевидное, но далеко не идеальное решение проблемы заключается в использовании шлемов виртуальной реальности в сочетании с видеокамерами, навешенными на шлем перед каждым глазом пользователя (рис. 18 и 5). Недостатки такого решения также очевидны: громоздкость оборудования, его высокая стоимость. Тем не менее такие устройства нашли большое поле применения в области тренажерных КР-систем, поскольку пока обеспечивают наилучшее качество воспроизведения виртуальных объектов, стереоскопичность и эффект полного погружения пользователя в КР. Очень хорошими параметрами обладает комбинация специальной насадки с двумя видеокамерами и шлема виртуальной реальности piSight компании Sencics (sensics.com). Устройство обеспечивает разрешение до 4200х2400 пикселей для каждого глаза, поле обзора до 180º по горизонтали и до 84º по вертикали, бинокулярное перекрытие до 82%, эффект полного погружения.

Рис. 18. Шлем виртуальной реальности piSight и КР-насадка разработки Sencics (sensics.com).


В приложениях, работающих в «полевых» условиях и не требующих очень высокого качества воспроизводимого изображения (военные системы, техобслуживание ВС в авиации) находят применение решение с проецированием картинки непосредственно на сетчатку глаза пользователя (рис. 7). Работа данных устройств подразумевает 4 этапа (рис. 19): 1) электроника формирует цветовые RGB-компоненты видеосигнала, 2) микролазеры превращают электронные сигналы в оптические, 3) с помощью призмы RGB-сигналы объединяются в нормальный цветной оптический сигнал, 4) управляемое микроэлектромеханической системой миниатюрное зеркало обеспечивает проекцию цветного оптического сигнала на сетчатку глаза пользователя посредством развёртки телевизионного типа.


Рис. 19. Схема работы системы PicoP компании Microvision (www.microvision.com).


Ч
ем-то из области фантастики кажутся КР-устройства отображения с применением контактных линз, тем не менее разработки такого рода активно ведутся в Университете штата Вашингтон совместно с исследовательским подразделением Microsoft. (рис. 8 и 20). Уже реализован прототип с несколькими миниатюрными светодиодами, формирующими изображение. Светодиоды снабжаются энергией по радиоканалу, т.е. контактная линза в своей периферийной части содержит антенну и радиоприёмник.
Рис. 20. Возможная структура контактной линзы со встроенными КР-элементами (www.realityprime.com).
Подход, сочетающий возможности контактных линз и традиционных шлемов виртуальной реальности с микродисплеями перед каждым глазом, предлагается компанией Innovega (innovega-inc.com). Основная проблема шлемов заключается в неразрывной связи между углом обзора и размерами оборудования. Человеческий глаз не способен фокусироваться на объектах, расположенных очень близко к нему, что приводит к применению оптических устройств между глазом и микродисплеем, которые при больших углах обзора становятся очень громоздкими. В результате шлемы с высоким качеством картинки и большими углами обзора (рис.18) имеют цену и размеры, делающие их широкое применение невозможным. Решение от Innovega предполагает использование специальных контактных линз, в центре которых находится небольшая область, пропускающая и фокусирующая только изображение от дисплея и окружённая областью, фильтрующей этот сигнал, но при этом пропускающей изображение окружающего мира. Пользователь должен надеть контактные линзы и специальные очки (выглядящие как обычные), содержащие микродисплеи очень маленького размера и занимающие небольшую часть поля обзора. Необходимость использования очков и линз одновременно компенсируется тем, что в данном случае контактные линзы абсолютно прозрачны и незаметны как для пользователя, так и для окружающих (в отличие от контактных линз, разрабатываемых в Университете Вашингтона — рис. 8).


Рис. 21. Схема работы КР-устройства отображения компании Innovega (innovega-inc.com).


О
днако на момент подготовки данной статьи наиболее перспективно выглядят КР-устройства отображения с применением прозрачных поверхностей, на которые посредством технологий квантовой оптики выводятся стереопара изображения виртуальных объектов (рис. и ). Пионером и лидером рынка, предложившим решение STAR 1200, сочетающее компактные размеры, неплохое качество картинки, встроенные 6DOF СП и сравнительно невысокую стоимость стала компания Vuzix (www.vuxiz.com). STAR 1200 поддерживает разрешение до 1280х720 пикселей, диагональное поле обзора 23º и встроенную 6DOF СП. Летом 2012 Vuzix обещает начать продажи еще более компактного решения, созданного в кооперации с Nokia Research. Такого типа устройства даже получили своё собственное обозначение — NED (Near Eye Display), чтобы отличать их от «традиционных» шлемов виртуальной реальности с добавочными КР-приспособлениями. Близкое, однако еще не представленное официально на рынке решение разработала израильская компания Lumus (www.lumus-optical.com).

Рис. 22. NED Vuzix STAR 1200 (www.vuxiz.com).


В авиационных комплексах управления и навигации применяются так называемые Head-Up-дисплеи (Head-Up-Display, HUD), рис. 39. Обычно они представляют собой прозрачную панель, на которую проецируется изображение виртуальных объектов. В автомобильной КР-навигации в качестве этой панели используется лобовое стекло автомобиля.

Вспомогательные устройства КР

К числу таковых можно отнести разного рода приборы ввода и указания, например PPTWand поставляемое как опция к СП PPT. Это устройство имеет 6DOF-позиционирование, миниатюрный джойстик и 5 кнопок, действие которых можно программировать.








Рис. 23. Устройство ввода и указания PPTWand (www.worldviz.com).


Достаточно экзотический тип КР-устройств — комплексы с проекторами, проецирующими виртуальные объекты на реальные, в одном их приложений прямо на поверхность стола проецируется изображение клавиатуры, с которой можно работать как с реальной.

Рис. 24. КР-проект SixthSense Массачусетского технологического интситута.


Во многих КР-приложениях востребованы снабжённые датчиками сенсорные перчатки, позволяющие взаимодействовать с виртуальными объектами, вибротактильные браслеты и системы слежения за положением зрачка пользователя.



Рис. 25. Система слежения за положением зрачка компании Arrington Research (www.arringtonresearch.com) сенсорная перчатка компании 5DT (www.5dt.com)

Программное обеспечение (ПО)

ПО для конечных пользователей


В настоящее время достаточно широко распространены (более 10 млиллионов установок) КР-браузеры для мобильных устройств, прежде всего Layar одноимённой компании (www.layar.com) и Junaio компании metaio (www.metaio.com). КР-браузеры позволяют накладывать изображения виртуальных объектов на картинку реального мира, получаемую с помощью видеокамеры мобильного компьютера, привязывая их к географическим координатам (GPS), к распознаваемым реальным объектам, бар- или QR-кодам.
ПО для разработчиков КР-приложений
Производители КР-браузеров предлагают разработчикам инструментарий, позволяющий последним создавать собственные приложения на основе КР-браузеров, в простейшем случае это так называемые слои — наборы виртуальных объектов, привязанные к точкам в реальном мире. Иллюстрацией развитой продуктовой линейки для разработчиков может служить набор пакетов компании metaio, включающий средства для создания веб-приложений, презентаций, инженерных решений, безмаркерного позиционирования и много другого. Из иных известных инструментов данного типа стоит упомянуть D'Fusion Suite компании Total Immersion (www.t-immersion.com). Одним из первых и получивших признание разработчиков производителей программного КР-инструментария является компания ARToolworks (www.artoolworks.com) и особенно её продукт ARToolKit для маркерного и безмаркерного позиционирования.
К числу наиболее развитых специализированных инструментов разработки программ для виртуальной и комбинированной реальности относится интегрированная среда Vizard Tool Kit компании WorldViz. Vizard – основанный на языке Python компановщик анимированных трехмерных сцен, включающий библиотеку модулей виртуальной и КР-реальности, предоставляющих разработчику широкие возможности манипулирования виртуальными объектами, использования различного оборудования (внешние СП, шлемы виртуальной реальности, 3D-проекторы, сенсорные перчатки и т.п.) и внешних библиотек, включая ARToolKit. Vizard импортирует изображения и трехмерные модели в большинстве распространенных форматов, обеспечивает автоматическую кластеризацию, имеет встроенную поддержку высококачественных систем звуковоспроизведения, позволяет генерировать исполняемые файлы. Vizard использован в разработке тренажера авиадиспетчеров, используемого в Центральной школе авиадиспетчеров ВВС Великобритании в Шропшире.
Среди блока сопутствующего ПО стоит выделить языки описания КР-контента (Visser, 2011), обеспечивающие стандартизацию и взаимодействие КР-браузеров.

Литература




  1. Alvarez H., Aguinaga I. and Borro D. (2011). Providing Guidance for Maintenance Operations Using Automatic Markerless Augmented Reality System. In Proceedings of the IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Basel, Switzerland.


  2. Azuma R., Furmanski, C. (2003) Evaluating label placement for augmented reality view management. In Proceedings of The Second IEEE and ACM International Symposium on Mixed and Augmented Reality. Tokyo, Japan.



  3. Caudell, T.P., Mizell, D.W. (1992). Augmented reality: an application of heads-up display technology to manual manufacturing processes. In Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, 1992, p.p. 659 — 669.



  4. Coulton P. and Copic Pucihar K. (2011) Utilizing Sensor Fusion in Markerless Mobile Augmented Reality. In: 13th International Conference on Human-Computer Interaction with Mobile Devices and Services, Stockholm, Sweden.



  5. Davies P., Sivich L. (2011). Augmented Reality and Other Visualization Technologies for Manufacturing in Boeing. SAE International Journal of Aerospace. November 2011, vol. 4, no. 2, p.p. 1133-1139.


  6. Engelbrecht H., van Wyk C. (2011). Markerless Augmented Reality on Mobile Devices with Integrated Sensors. In Proceedings of the IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Basel, Switzerland.


  7. Gartner Inc. (Last visit Dec. 20, 2011). Gartner Identifies Top Ten Disruptive Technologies for 2008 to 2012: http://www.gartner.com/it/page.jsp?id=681107




  8. Goktogan A. and Sukkarieh S. (2005). An augmented reality system for multi-UAV missions. In Proceedings of SimtecT Conference.



  9. Höllerer T. , Feiner S., Terauchi T., Rashid G., Hallaway D. (1999). Exploring MARS: Developing Indoor and Outdoor User Interfaces to a Mobile Augmented Reality System. Computers and Graphics, 23(6), Elsevier Publishers, Dec. 1999, p.p. 779-785 .


  10. Mizell, D. (2001). Boeing’s Wire Bundle Assembly Project. In Barfield and Caudell, ed., Fundamentals of Wearable Computers and Augmented Reality. Lawrence Erlbaum & Associates, New Jersey, 447-467.

  11. Regenbrecht, H., Baratoff, G., & Wilke W. (2005). Augmented Reality Projects in Automotive and Aerospace Industry. IEEE COMPUTER GRAPHICS AND APPLICATIONS, Dec. 2005.


  12. Rolland J. and Thompson K (2011). See-Through Head Worn Displays for Mobile Augmented Reality. Proceedings of the China National Computer Conference, Beijing, China.



  13. Ruffner, J., Labbe L., Fulbrook J. (2008) An Augmented Reality Binocular System (ARBS) for Air Traffic Controller. In Proceedings of SPIE, the International Society for Optical Engineering. Bellingham, WA, USA.



  14. Sisodiaa, A., Bayerb, M., Townley-Smith, P., Nash, B., Little, J., Casarly, W., Gupta, A. (2007). Advanced helmet mounted display (AHMD). SPIE 6557: Head- and Helmet-Mounted Displays XII.



  15. T. Taketomi, T.Sato and N. Yokoya. Fast and Accurate Camera Parameter Estimation Based on Feature Landmark Database for Augmented Reality (2011). Information Processing Society of Japan (IPSJ) SIG Notes. CVIM 2011-CVIM-177(32), 2011, p.p. 1-15.



  16. Uchiyama H. and Marchand E. (2012). “Object detection and pose tracking for augmented reality: Recent approaches,” 18th Korea-Japan Joint Workshop on Frontiers of Computer Vision (FCV).



  17. Valerius B. (2011). An Overview of Autostereoscopy as Used in Augmented and Virtual Reality Systems: https://wiki.umn.edu/pub/UmmCSciSeniorSeminar/Spring2011Talks/BrianValerius.pdf



  18. Visser Т. (2011). A Survey of XML Languages for Augmented Reality Content. In Proceedings of AR Standardization Forum. Barcelona, 2011.


  19. Горбунов А.Л. (2010). Метод создания и анимации 3D-объектов в свободным движением руки в пространстве Augmented Reality. В книге "Запись и воспроизведение объемных изображений в кинематографе и других областях". Материалы 2-й Всероссийской конференции "Создание и запись объемных изображений". М: Московский киновидеоинститут, 2010, с.с. 117-119.







База данных защищена авторским правом ©uverenniy.ru 2016
обратиться к администрации

    Главная страница