FasTac是一款曲面指尖传感器，将可见光与近红外成像集成于单摄像头，实现高速接触几何与三轴力重建。其FPGA处理流水线达到0.0415毫米的深度精度，完整感知周期仅需1.09毫秒，为灵巧机器人手提供实时触觉反馈的实用方案。
目录
研究人员构建了什么？
FasTac是一款曲面、指尖大小的触觉传感器，专为灵巧操作而设计。它由三个模块组成：一个导光骨架内嵌微型摄像头，一个柔性LED电路（包含红、绿、蓝和近红外光源），以及柔软的硅胶感知皮肤。摄像头采用OmniVision OV2736 RGB-IR传感器，其4x4彩色滤光片阵列可在单次曝光中捕获可见光和近红外光。由于两种光谱共享同一光学中心，图像在像素级别对齐，无需多摄像头系统的额外体积或配准成本。
感知皮肤由铂催化硅胶弹性体与软化剂按1:1:3比例混合而成，以实现高柔顺性。银色粉末反射涂层阻挡外部光线并增强对比度，而激光烧蚀的黑色标记点用于追踪皮肤横向运动。研究人员还构建了HyperForce，一种力估计模型，融合深度法向位移与标记切向位移，采用位置感知动态卷积。最后，整个流水线——图像采集、三维重建和力估计——部署在FPGA边缘处理器上，无需将原始图像流式传输到传感器外部。
关键结果有哪些？
在与CAD对齐的真值基准测试中，FasTac使用RGB-NIR照明和边界深度先验，接触几何重建的平均绝对深度误差为0.0415毫米，比仅使用RGB照明的0.0618毫米提高了33%。没有深度先验时，两种配置误差均漂移至约0.27毫米，证实边界约束是保持曲面重建稳定的关键。
HyperForce估计法向力的归一化平均绝对误差为2.74%，剪切力误差为2.39%。完整FPGA流水线每帧运行时间为1.09毫秒，相当于约900赫兹的可用触觉反馈。
| 三维重建深度误差 | RGB-NIR + 深度先验 | 仅RGB |
|---|---|---|
| 带深度先验（平均绝对误差） | 0.0415毫米 | 0.0618毫米 |
| 无深度先验（平均绝对误差） | ~0.27毫米 | ~0.27毫米 |
| 力估计（HyperForce） | 归一化平均绝对误差 |
|---|---|
| 法向力 | 2.74% |
| 剪切力 | 2.39% |
| 流水线性能 | 数值 |
|---|---|
| 图像到力的完整延迟 | 1.09毫秒/帧 |
| 等效更新率 | ~900赫兹 |
对真实物体的验证——草莓表面、指纹和微型LED阵列——表明RGB-NIR重建比仅RGB重建更完整地保留了精细表面凹坑、脊谷连续性和小组件细节。
FasTac如何工作？
基于视觉的触觉传感器通过观察可变形皮肤反射表面在负载下的变化来推断接触。FasTac利用光度立体视觉重建皮肤的3D形状：摄像头观察涂漆弹性体表面如何反射来自多个已知照明方向的光，强度变化揭示每个像素的表面法线。
曲面指尖打破了光度立体视觉的常规假设，即照明来自平面上的三个已知方向。FasTac通过增加近红外作为第四个独立光通道解决了这个问题。RGB-NIR传感器在单次曝光中捕获所有四种颜色，由于光源位于半透明骨架后方，骨架将光散射成柔和的漫射场，减少了镜面高光，提高了照明均匀性。
然后，流水线融合两个位移信号。从光度重建获得的深度图提供法向位移（皮肤被按压的程度），而激光标记点提供切向位移（皮肤横向拉伸的程度）。HyperForce的位置感知动态卷积显式建模曲面弹性体在不同区域刚度不同的特性，因此相同变形在不同位置映射的力不同。FPGA在传感器上处理整个流程，无需将原始图像传输到主机计算机即可产生力估计。
这对机器人技术有何意义？
快速、准确的触觉反馈是灵巧操作缺失的关键部分之一。FasTac以约900赫兹的有效吞吐量，为控制器提供足够快的触觉信号，用于滑动检测、抓握力调节和基于振动的纹理识别——所有这些都集成在适用于人形手架构的指尖尺寸曲面封装中。
边缘处理的意义不仅限于延迟：将图像数据保留在传感器上可减少电缆带宽、功耗和主机计算机负载，简化多传感器手的集成。这种精度、速度和形态的组合指向精密装配、易碎物体处理和仓库拣选等实际应用。评估现有机器人车队触觉升级的团队可以将FasTac类传感器与它们支持的平台进行比较，从浏览人形机器人到仓库机器人。
局限与开放问题
FasTac的精度依赖于边界深度先验；没有它，重建误差约增加6.5倍。这意味着传感器需要自身未变形皮肤的几何模型，这限制了其对异常接触形状或严重变形皮肤的泛化能力。柔软弹性体和银色反射涂层会随时间磨损，数百万次接触循环的长期耐久性尚未得到验证。FPGA实现还需要专门的硬件工程，且传感器仅覆盖一个指尖——全手触觉反馈需要协调这些传感器的阵列。力误差值是在论文测试条件下测量的，因此在整个真实世界抓取范围内的性能仍是一个开放问题。
常见问题解答
FasTac的三维形状重建精度如何？ 传感器在与CAD对齐的真值下，使用RGB-NIR照明和深度先验，实现0.0415毫米的平均绝对深度误差，比仅RGB照明提升约三分之一。
整个触觉感知流水线速度有多快？ 完整的FPGA流水线——图像采集、三维重建和力估计——每帧运行时间为1.09毫秒，相当于约900赫兹的闭环触觉反馈。
为什么使用近红外而不是仅用RGB光？ 近红外通道提供了第四个独立照明方向，用于曲面光度立体视觉，无需第二台摄像头。由于RGB-IR传感器在同一光学中心捕获两个光谱，通道在像素级别对齐。
FasTac提供哪些力信息？ HyperForce估计三轴接触力，法向力的归一化平均绝对误差为2.74%，剪切力为2.39%。它融合深度法向位移和标记切向位移，以考虑曲面皮肤位置相关的刚度。
结论
FasTac表明，基于视觉的触觉感知可以达到实时灵巧操作的精度和速度要求。其多光谱单传感器设计和FPGA边缘流水线使高保真触觉成为机器人控制的实用输入，而非事后测量。
900赫兹的触觉反馈会如何改变你的机器人处理易碎或滑动物体的方式？