一、前沿速览

        来自韩国基础科学研究所（IBS）纳米粒子研究中心的研究人员及其合作者提出了一个利用鸟类视觉注视点和多光谱成像的人工视觉系统。近日在Science Robotics 上发表的文章引入了人工中央凹和垂直堆叠的钙钛矿光电探测器阵列，其设计通过理论模拟进行了优化，以展示中央凹和多光谱成像的功能。该人工视觉系统成功地识别了彩色和混杂色物体，并通过中央凹成像检测远距离物体。文章还讨论了这一视觉系统在无人机需要对远距离目标进行动态检测、跟踪和识别中的应用潜力。该系统的研发标志着生物启发式人工视觉领域的一个显著进步。

二、背景介绍

        基于生物启发式人工视觉的研究已经产生了许多非传统的成像系统，这些系统模仿了自然界中生物丰富多样的眼睛结构和功能特征。这些人工视觉系统展示了迷人的性能和潜力，尤其有利于下一代移动机器人。例如，受到人眼启发的曲面图像传感器阵列因其能够使用单个镜头生成低光学畸变的高质量图像而备受关注。类似地，受到水生物种独特视觉能力的启发，包括鱼类、乌贼和螃蟹在内的成像设备也备受关注。这些系统展示了广阔的视场、深度的景深、高光灵敏度、偏振成像能力和两栖视觉。昆虫中发现的复眼也促进了摄像机的发展，这些摄像机具有广阔的视场、几乎无限的景深和对运动的高灵敏度。尽管取得了这些进展，但鸟类眼睛的卓越目标检测和定位能力，特别是中央凹和多光谱成像能力，仍然未能有效地模仿。

        由于数百万年的演化，鸟类眼睛具有独特的眼部结构和视觉功能。与人眼中较浅中央凹相比，某些鸟类，如猛禽、燕子和燕鸥，具有较深的中央凹。这种深中央凹不仅能够有效地折射入射光，而且具有最高的视锥细胞密度。中央凹提供了对目标物体的视觉放大并简化其追踪过程。因此，猛禽能够在动态环境中有效地发现、瞄准和追踪远距离的物体。此外，鸟类眼睛具有对紫外光和可见光(红绿蓝)进行感知的四种锥细胞类型。由于紫外光在目标物体表面的强烈散射，鸟类可以从复杂的背景中收集丰富的信息，并有效地将目标物体与背景区分开来。

        鸟类眼睛的中央凹视觉是其显著特点之一。鸟类眼睛的较深的中央凹允许对视网膜图像的一小部分进行放大，而人类眼睛的中央凹由于其平坦的中心而无法提供这种放大。鸟类眼睛的视网膜图像具有不均匀的空间分辨率，因为锥细胞密度的变化。猛禽的中央凹锥细胞密度是人眼的两倍。这种鸟类视觉在中央凹区域产生了放大和高分辨率的图像，同时在外围区域保持了较低分辨率的更广阔视场。目标物体的运动敏感度在中央凹和外围区域之间的边界处较高。

        受到这些鸟类卓越视觉能力的启发，研究人员提出了一种基于中央凹和多光谱成像的人工视觉系统。该系统包括一个人工中央凹和一个垂直堆叠的多光谱图像传感器，使用光学模拟优化设计人工中央凹，并确定了光电探测器阵列中的空间像素分布，为了实现多光谱成像，研究人员首先垂直堆叠了四个带隙不同的钙钛矿光电探测器阵列，通过转移印刷集成进行了对准，随后将多光谱图像传感器与人工中央凹结合起来构建了受鸟类眼睛启发的人工视觉系统，并使用这种人工视觉系统展示了中央凹成像能力和多光谱成像的功能。该系统在无需额外滤光片的情况下能够识别彩色和混杂色的物体，并通过中央凹成像获得远距离物体的放大视图。这个新颖的视觉系统在无人机等移动机器人需要在动态环境中进行高精度检测、跟踪与远距离目标识别时具有广阔的应用潜力。

        图1  鸟类眼睛的结构和功能特点。A展示了显示鸟类的视觉生态，B展示了视网膜中深层中央凹的放大示意图。四种类型的锥细胞在深层中央凹下以不同的间隔排列。C为鸟类视觉的示意图，显示其关键特征：中央凹和多光谱视觉。D展示了鸟类眼睛中锥细胞的光谱敏感性。E为显示RGB和UV视觉的示意图。F和G为显示在没有和有中央凹的情况下在视网膜中形成图像的示意图。有中央凹时，松鼠的图像被中央凹放大和聚焦。H为光学模拟，展示了通过中央凹视觉检测物体运动的原理。

        图2  本文提出的人工中央凹模块的凹形成像光学模拟方法。A为隼的视网膜中心凹的横截面光学显微镜图像。该图像经过许可使用（源：A经过许可复制。版权所有为2017年 JOHN WILEY 和 SONS）。B为人工中央凹的横截面光学相机图像。C为人工中央凹模块的示意图。D展示了人工中央凹的光线追踪模拟。从0°到2°的视场角度对应于中央凹区域，入射光被人工中央凹的斜率折射。物体平面的等距视场角度导致图像平面中的像素间距（∆、∆、∆、∆和∆）。E和F展示了光学模拟结果显示中央凹区域E和人工中央凹模块外围区域F在不同物体距离（物体平面和主透镜之间的距离）下RMS点半径的变化。物体距离为(i) 300 mm和(ii) 200 mm。比例尺，50 μm。G展示了图像模拟结果显示两个区域中运动的差异。西门子星物体在中央凹区域由人工中央凹放大和聚焦。

        图3  多光谱图像传感器中单个像素的优化，实现无色彩滤光片的颜色检测。A显示了用于无色彩滤光片颜色检测的垂直堆叠的钙钛矿层。B为垂直堆叠的钙钛矿层的光学模拟结果。光学模拟在四个波长（390、470、532和635 nm）进行。C为多光谱图像传感器中单个像素的假彩色横截面扫描电子显微镜图像。D展示了单个像素在不同波长下的归一化响应度。E展示了单个像素在不同波长下的瞬态光响应。F展示了多光谱图像传感器中单个像素的开关电流。在目标波长下，光强为40 mW/cm2。误差棒表示10个单个像素的标准误差。

        图4  多光谱图像传感器的详细结构。A显示了每个层的多光谱图像传感器的爆炸视图。B显示了每个光电探测器阵列的顺序堆叠的单个像素的光学显微镜图像。C为多光谱图像传感器的8像素×8像素的光学相机图像。D和E展示了中央凹区域中像素（C中的红色框）D和外围区域中像素（C中的蓝色框）E的光学显微镜图像。DF 和 DP 分别代表中央凹区域和外围区域中每个像素之间的距离。F和G展示了光学模拟结果显示根据像素排列的图像差异：凹凸密度F和均匀密度G。

        图5  受鸟眼启发钙钛矿人工视觉系统的中央凹和多光谱成像演示。A为成像演示的测量设置示意图。四个物体（三角形、正方形、圆形和星形）放置在两个不同的距离上（ =  =  = 200 mm 和 = 300 mm）。B为中央凹和多光谱视觉的成像演示。插图显示从紫外线探测器获得的星形图像。比例尺，2 毫米。C为使用具有凹凸密度和均匀密度的多光谱图像传感器的成像演示。物体距离为 200 毫米。比例尺，2 毫米。D为从多光谱图像传感器的每个探测器获得的彩色图像。物体距离为 200 毫米。比例尺，2 毫米。E展示了通过将从多光谱图像传感器的每个探测器获得的彩色信息进行组合而重建的图像。插图显示物体的光学相机图像。比例尺，2 毫米。F为从重建图像中获取的强度剖面的图表。

        图6  鸟类眼睛启发的人工视觉系统的物体/运动检测能力。A和B展示了模拟结果显示原始图像和基于YOLO v5的中央视觉的对象识别能力。C为在150帧期间，中央视觉和原始图像的置信度的散点图。D和E展示了模拟结果显示原始图像和基于Farneback算法的运动检测能力。F为在第52帧期间，图像中心的运动幅度的散点图。

        以上文章转载于微信公众号CAAI认知系统与信息处理专委会，如有侵权，请及时联系我们修改或进行删除。