微扫视如何抵消视觉衰退的演示:建议将图像放大到至少 15 厘米 x 15 厘米,并将眼睛与屏幕保持 40 厘米的距离。注视红点几秒钟后,蓝色环和背景将褪色。这是因为微扫视在此期间受到抑制,因此眼睛无法提供有效的视觉刺激来防止周边褪色。另一方面,当在紫色点之间扫视时,环总是会出现,即使扫视很小,也可能褪色得更慢,通常为 0.5° 到 1.0°,具体取决于观看者与图形的距离。
受启发于人类视觉系统中的小眼跳(microsaccades)现象,前不久,来自浙大湖州研究院FAST-LAB实验室的研究人员设计了一种人工微扫视增强事件相机(Artificial MIcrosaccade-enhanced EVent camera AMI-EV),这一系统不仅集成了先进的硬件设计,还配套了独特的软件算法,构成了一个软硬件一体化的系统级解决方案。
AMI-EV的核心在于一个安装在事件相机光圈前的旋转楔形棱镜。这一设计巧妙地使入射光线持续变化并触发相机事件,同时通过精心设计的算法补偿棱镜旋转带来的图像运动。这使得AMI-EV能够在微秒级响应时间内,实现独立于外部运动的稳定纹理和高信息输出,从而保持了事件相机的所有优势。在传统RGB相机和事件相机难以胜任的场景中,AMI-EV展现出了卓越的性能。其不仅能够提供高质量的数据,还能在复杂环境中保持稳定的视觉感知,为机器人视觉系统的发展开辟了新的可能性。
该研究成果的相关论文以“Microsaccade-inspired Event Camera for Robotics”为题发表在国际机器人权威期刊《Science Robotics》上。马里兰大学计算机科学系博士研究生、FAST-LAB实习生何博涛为第一作者,浙江大学控制学院长聘副教授高飞为论文通讯作者,马里兰大学计算机科学系研究员Cornelia Fermüller为共同通讯作者。
接下来,一起来和机器人大讲堂深入探索这一研究成果! ▍AMI机制设计
为了在所有边缘上持续触发事件,研究人员巧妙地运用了楔形棱镜偏转器的工作原理。当棱镜开始旋转时,它精确调整入射光的方向,如图2B所示。最初,楔形棱镜设定在一个特定角度,对入射光进行固定角度的偏转,如下图B(1)所示。随后,执行器模块驱动光学偏转器模块沿相机的z轴(z_c)旋转,促使入射光在图像平面上以圆周轨迹持续改变其偏转角度,如下图B(2)所示。这种设计确保了入射光在移动过程中不断生成事件,如下图B(3)所示。因此,相机内连续变化的旋转运动得以产生。
整个系统概览,包括硬件和软件:( A ) 真实世界的硬件和计算机辅助设计 (CAD) 模型。( B ) 楔形棱镜旋转时入射光折射的图示。( C ) 事件生成和补偿过程,左侧的图像是通过累积右侧显示的事件流而产生的。( D ) 系统概述。
AMI的全方位覆盖使得相机能够捕获图像平面上的所有方向,从而确保输出的事件流包含了场景的详尽边界信息,如上图(C和D)所示。与先前的研究相比,研究人员此次设计的创新之处在于移动的是相机外部的组件,而非相机本身,从而避免了易碎部件如相机在高速旋转中可能受到的损害,使其更加坚固耐用。此外,相机的系统以恒定的速度进行旋转,相较于此前探讨的振动运动,其运行更为平稳和可靠。
在AMI补偿机制方面,研究人员的方法也展现出了显著的优势。通过分组短时间间隔内的事件以创建累积事件图像(见上图C),研究人员能够清晰地观察到未进行运动补偿时的模糊边界。同时,为了获得锐利的边缘,研究人员利用校准的楔形方向来补偿由楔形运动引起的事件空间位移,确保由相同入射光线方向触发的事件能够准确地对齐到同一像素上。由于执行器系统配备了绝对位置传感器(旋转编码器),补偿参数只需一次校准,便可直接应用于后续记录,极大地提高了操作的便捷性和准确性。