VR/AR разработка

Технологии виртуальной и дополненной реальности

Технологии виртуальной и дополненной реальности сегодня переживают новое рождение. Устройства становятся доступнее и технология становится популярной и постепенно завоевывает массы.

Данный тренд стимулировал нас на работы в данной области.

VR/AR и Complex Systems

Основные направления нашей работы в VR - это разработка и внедрение систем трекинга, разработка средств для съемки, защиты и дистрибьюции видео в формате 360.

В AR мы занимаемся дополнением реальной картины мира подсказками в наших образовательных проектах и симуляторах.

Опыт в VR

С недавнего времени мы работаем в партнерстве с группой компаний Total Interactive, занимающейся производством аттракционов виртуальной реальности. Вместе мы решили задачу определения скорости и направления движения человека, помещенного в трехметровую сферу, вращающуюся в произвольном направлении.

Для этого мы использовали гироскоп и акселерометры, сопряженные с bluetooth передатчиком. Разместив устройство в корпусе сферы и применив специальные алгоритмы обработки, основанные на применении фильтра Маджвика для фильтрации данных с гироскопа и акселерометра и кватернионов для определения положения датчика в реальном времени. По полученным данным достаточно просто определяется линейная скорость и направление вращения сферы.

Опыт в 360 видео

Еще одной задачей, которую мы решаем - это создание кроссплатформенного плеера видео в формате 360, обеспечивающего защиту контента и синхронный запуск на многих устройствах. Данная задача нами решается для сети кинотеатров видео в формате 360. Основные проблемы при решении этой задачи, с которыми мы столкнулись, заключаются в скорости распаковки видео высокого разрешения (4K, 8K) из форматов H264 и H265. Также нами реализовано потоковое шифрование видео и интеграция с различными системами трекинга, в том числе и с системой трекинга очков виртуальной реальности TotalVR, разработанных партнером.

Дополненная реальность

В области AR у нас есть наработки для нашего медицинского симулятора Теле-Ментор, где наряду с отслеживанием необходимого медицинского инвентаря мы добавили подсказки в режиме обучения.

Технологический стек

Мы используем библиотеки Windows Media SDK, FFMPEG и Intel Media SDK для работы с видео 360. OpenSSL для шифрования видеофайлов.

Unity в связке с C# и C++ в связке с Qt и OpenGL для реализации плеера под разные платформы. Open VR SDK и HidApi для работы с различными системами трекинга.

Для AR мы используем OpenCV в связке Google Tensor Flow и Open GL для отрисовки дополнений.

VR/AR

VR/AR и Complex Systems

Опыт в VR

Опыт в 360 видео

Дополненная реальность

Технологический стек

Проекты по VR/AR