Технология EgoTouch превращает ладонь в виртуальный контроллер

Инженеры из Института взаимодействия человека и компьютера Университета Карнеги-Меллона разработали инновационную технологию EgoTouch, которая превращает ладонь пользователя в виртуальный контроллер для работы в виртуальной и дополненной реальности.

Главной целью команды стало создание максимально удобного способа управления, исключающего необходимость в дополнительных устройствах. Предыдущие исследования показали, что использование виртуальных интерфейсов, размещенных на теле пользователя, значительно удобнее и точнее, чем жесты в воздухе. Однако подобные решения обычно требуют сложных камер глубины для отслеживания положения тела. Технология EgoTouch решает эту проблему, используя стандартные камеры.

Алгоритм EgoTouch обучен распознавать тени и деформации кожи, которые возникают при касании пальцем поверхности ладони. Камера фиксирует эти изменения, сопоставляет их с виртуальным интерфейсом, отображаемым на ладони, и определяет действия пользователя. Для обучения нейросети добровольцы выполняли серии касаний с установленным датчиком на пальце и камерой, фиксирующей каждое движение.

Тестирование технологии показало впечатляющие результаты: точность распознавания касаний достигла 96%, а силы нажатия — 98%. Это открывает перспективы для широкого применения EgoTouch, делая взаимодействие с виртуальной реальностью более интуитивным и доступным.