Появились подробности по работе отслеживания рук и окклюзии Apple Vision Pro
В видеоролике, размещенном специалистом, разрабатывающим приложения для Vision Pro, демонстрируются возможности новой гарнитуры Apple по отслеживанию рук и окклюзии.
Apple Vision Pro, продажи которой запланированы в скором времени, предполагает использовать трекинг движения рук в качестве главного способа взаимодействия. Несмотря на то, что процесс управления на уровне самого устройства объединяет отслеживание движения рук с отслеживанием движения глаз для получения эффекта "смотри и нажимай", разработчики получают возможность разрабатывать приложения, обеспечивающие управление приложением непосредственно с помощью рук.
Технология отслеживания рук в Vision Pro подразделяется условно на 2 вида: "отслеживание рук" и "окклюзия рук".
Отслеживание рук - это расчетная 3D-модель руки, ее суставов и расположения кончиков пальцев. С помощью данной модели определяются моменты нажатия, захвата и взаимодействия с различными предметами.
Окклюзия рук отражает то, каким образом система отображает вашу реальную руку в виртуальном пространстве. В отличие от стандартной прорисовки 3D-модели виртуальной руки в сцене, Vision Pro использует изображение ваших реальных рук, отображая их непосредственно в виртуальной среде. Это добавляет еще больше реализма в виртуальном пространстве, потому что вы видите ваши реальные руки.
Разработчик приложений для Vision Pro на игровом движке Unity, разместил видеоролик, демонстрирующий работу системы отслеживания рук и окклюзии.
В представленном видеоролике показано отображение реальных рук в виртуальном пространстве, демонстрирующих систему окклюзии в действии, а зеленые точки отображают расчетное 3D-положение руки.
Можно заметить, что окклюзия рук работает весьма хорошо, однако не безупречно: в условиях большого количества виртуального контента и при быстром движении можно заметить артефакты по краям руки, появившихся вследствие обрезания изображения рук.
Вместе с тем, также отстает и фактическое положение руки - где-то на 100-200 мс. Впрочем, оценить реальную задержку отслеживания рук Vision Pro пока не удается. Ведь для оценки доступно только видео с окклюзионным отслеживанием рук (которое в свою очередь обладает определенной задержкой относительно реальных рук).
Разработчики на Unity подтвердили, что их первоначальные тесты с Vision Pro показали весьма значительную задержку трекинга рук, по сравнению с новыми технологиями трекинга рук в Quest.
Но нужно учитывать, что в представленном видеоролике продемонстрирована работа системы отслеживания рук на Unity. Следовательно, на работу системы отслеживания рук и задержку могут влиять дополнительные факторы, связанные непосредственно с Unity, которые могут отсутствовать при использовании фирменных решений разработки приложений для Apple Vision Pro. Также нужно учитывать, что гарнитура пока не выпущена, и перечисленные функции по-прежнему остаются на стадии разработки. Возможно, к моменту появления гарнитуры в продаже, в ней будут реализованы значительные улучшения механик отслеживания движения рук, в том числе при использовании сторонних приложений для разработки.
Рекомендуемые товары
Очки смешанной реальности Varjo XR-4
890000 ₽
Непревзойденная производительность смешанной реальности
Очки смешанной реальности Varjo XR-4 Focal Edition
1450000 ₽
Непревзойденная производительность смешанной реальности
Очки смешанной реальности Varjo XR-4 Secure Edition (Fixed Focus)
1450000 ₽
Непревзойденная производительность смешанной реальности




