来自康奈尔大学和威斯康星大学的研究人员已经开发出FingerTrak这是一种戴在手腕上的装置，可以量化和记录整个人手的完整和复杂位置，而不需要直接看到手指。
相反，手的轮廓或轮廓是通过在人工智能的辅助下使用四个微小的低分辨率热成像相机从手腕推断出来的。
FingerTrak。图片由康奈尔大学
该系统将热成像相机收集到的图像传输到一个定制的深度神经网络，将这些图像“缝合”在一起，从而估算出3D空间中的20个关节位置。
“这是我们团队的一个重大发现，通过观察你的手腕轮廓，该技术可以非常精确地3D重建你手指的位置，”主任张程(音)助理教授说康奈尔大学未来交互智能计算机接口实验室。
虽然科学实验室本身也参与了多个与人手相关的人机交互项目，但FingerTrak是一个值得注意的里程碑。这个系统的独特之处在于，这是第一次用手腕的轮廓来重建整个手的姿势。
一篇描述工作结果的论文，指尖轨迹:通过腕部微型热成像相机捕捉的手部轮廓，通过深度学习进行连续3D手部姿态跟踪，发表在交互、移动、可穿戴和泛在技术计算机械协会学报。
腕式摄像头的早期实现
以前用于跟踪手部运动的腕带摄像头都依赖于使用摄像头直接捕捉手指的位置。事实证明，这些设备体积太大，没有实际用途，而且只能获取有限的信息。相比之下，FingerTrak使用热成像和机器学习来虚拟地重建手。
该设备由四台豌豆大小的热感照相机组成，每台稍大于三分之一英寸，可以拍摄多个“剪影”图像，形成手的轮廓。然后，这些图像被输入一个自定义的深度神经网络，该网络将重建整个手部的虚拟3D渲染图。通过FingerTrack，整个手部姿势的3D图像可以被捕获，即使是在手握一个实际的物理物体的时候。
研究结果
事实证明，FingerTrak能够连续重建包括20个手指关节位置在内的整个手部姿势，而不需要对所有手指进行成像。相反，该系统能够仅通过观察手的轮廓，从手腕的有利位置，使用低分辨率(32 x 24)热成像摄像机来估计整个手的姿势。
在相同背景下测试，FingerTrak的平均角误差为6.46°，在不同背景下测试，平均角误差为8.06°。
视频由康奈尔大学
上图取自一段解释FingerTrack功能的视频。左下角的图像是热成像相机捕捉到的实际图像。带有红色关节的手是系统给出的估计的手姿态并叠加在实际人手上。
最后，如图右下所示的蓝色人工手由FingerTrack控制。视频的观众将会注意到，这只人造手能够实时地模仿人手的动作，其精确度之高令人震惊。
指纹追踪技术的潜在用途
finger track的潜在应用包括通信、医疗可穿戴设备和手势识别。
张教授认为手语翻译是这项工作的一个重要潜力。
此外，据论文作者之一尹丽(音)说，“我们的手和手指的运动方式通常反映了我们的健康状况。”帕金森氏症和阿尔茨海默氏症等疾病可以通过研究手部运动的早期迹象和症状来更早地确诊。
当然，FingerTack对游戏和其他各种虚拟现实应用有重大意义。
