康奈尔大学 SciFi 实验室的想法与威斯康星大学麦迪逊分校的技术的结合,形成了一种独特的腕带设备,可以提供更精确的 VR 和 AR 手部跟踪体验。

该设备被称为 FingerTrak,看起来有点像射击游戏《蜘蛛侠》中的设备的升级版。根据 vrscout.com 的报道,它使用四个小型(9.30mm)同步热像仪来捕获手部动作,然后将数据传输到连接到计算机上由 Raspberry Pi 驱动的网络设备。然后,该计算机运行深度学习模型,预测所有 20 个手指关节位置。

每个热像仪都会跟踪您的手的顶部、底部、左侧和右侧的运动,然后将每个图像实时划分为单个缝合的热图像。因为 FingerTrak 使用热图像来跟踪手部运动,所以与诸如 Leap Motion 控制器或 Oculus Quests 之类的选件相比,该系统能够进行更精确的手部跟踪,例如翻阅笔记本,写日记,端着一杯咖啡以及拿起他们的移动设备。

但是,根据 SciFi 实验室的说法,在其产品投入批量生产之前,仍有大量工作要做。与大多数其他形式的消费者手部跟踪技术类似,FingerTrak 无法提供任何形式的触觉反馈,从而难以完成需要依赖用户“感受”周围世界的任务。【数字叙事 黎雾编译】