视触觉传感器

本文介绍关于机器人视触觉传感器的相关入门内容。

视触觉传感器的原理

Tactip: 标记物位置 & 光度立体法

Tactip的凸起阵列模拟了人类皮肤，类似于人类的神经突触。如果用这些传感器去接触其他物体，上面的形变会被相机捕捉到，光学成像后送到卷积神经网络去处理，提取表面的状态和接触力。

Tactip还有半球形的设计，类似于上图，可以通过LED照明相机获取形变特征（特征剪切形变场）。

开源地址：https://softroboticstoolkit.com/tactip/fabrication

Gelsight & Digit 系列：多光源投射

这种传感器比较常见，在一些实验室或者展会上展出的夹爪都有多光源投射型传感器的身影。

如果说上述传感器是依靠下图方式成像，那么多光源投射传感器就是用不同颜色（能量）的LED光源投射到表面上。通常，使用红绿蓝三色光源。

202012181608257483781133

用相机识别出来的是触觉图像中局部强度的变化。

Tac3D：伪双目

将虚拟双目技术应用于触觉传感器。

怎么理解虚拟双目技术？

3-Figure3-1

虚拟双目技术（Virtual Binocular Technology）是一种模拟人类双目视觉系统来增强计算机视觉和图像处理能力的技术。人类的眼睛通过左右两个视角的差异来感知深度，从而实现立体视觉。虚拟双目技术模仿这一过程，通过创建两个虚拟的摄像头视角，计算出图像之间的视差，从而推断出场景的三维结构和物体之间的距离。