北京理工大学，Nature！（微信文章未删减版）

第一作者：Liheng Bian, Zhen Wang, Yuzhe Zhang

通讯作者：Liheng Bian，Jun Zhang

通讯单位：北京理工大学

DOI：

https://doi.org/10.1038/s41586-024-08109-1

研究背景

高光谱成像捕捉了物理世界的空间、时间和光谱信息，表征了每个位置的内在光学属性。与多光谱成像相比，高光谱成像获取了大量波长通道，从数十个到数百个不等，并且与光谱测量相比保持了更优越的空间映射能力。这种高维信息使得能够精确区分颜色相似但材料不同的物体，赋予其比人眼视觉更高光谱分辨率和更宽光谱范围的智能检测能力。凭借这些优势，高光谱成像在遥感、机器视觉、农业分析、医学诊断和科学监测等各个领域得到了广泛应用。高光谱成像提供了高维的空间-时间-光谱信息，展示了物质的内在特性。

研究问题

本文开发了一种具有高空间和时间分辨率的片上计算高光谱成像策略。通过在图像传感器芯片上集成不同的宽带调制材料，目标光谱信息以非均匀且固有的方式耦合到每个像素中，同时保持高光通量。使用智能重建算法，可以从每帧恢复多通道图像，实现实时高光谱成像。基于这一策略，本文利用光刻技术制造了一个宽带可见光-近红外（400–1,700 nm）高光谱图像传感器，平均光通量为74.8%，具有96个波长通道。该传感器的分辨率为1,024 × 1,024像素，每秒124帧。本文展示了其广泛应用，包括智能农业中的叶绿素和糖分定量、人类健康中的血氧和水质监测、工业自动化中的纺织品分类和苹果瘀伤检测，以及天文学中的远程月球探测。集成的高光谱图像传感器仅重数十克，可以安装在各种资源有限的平台上或与现成的光学系统结合使用。这项技术将高维成像的挑战从高成本制造和笨重的系统转变为通过片上压缩和敏捷计算可以解决的任务。

图文解析

图1| HyperspecI技术的工作原理

要点：

1.HyperspecI传感器由两个主要组件组成：一个BMSFA掩模和一个宽带单色图像传感器芯片（图1a）。BMSFA在光谱域中编码目标场景的高维高光谱信息，而底层的图像传感器芯片获取耦合的二维测量数据（图1d）。通过一个混合神经网络SRNet，可以从每一帧以高效率和高保真度重建多通道HSI。

2.本文开发了一种光刻技术来制造BMSFA。首先，本文基于具有不同光谱响应的有机材料制备了宽带材料。然后，通过将这些宽带材料与负性光刻胶结合，本文制造出了适用于光刻的宽带光谱调制材料（图1c）。这些材料被选中用于最佳的宽带光谱调制特性。接着，本文使用改进的光刻工艺，在高透光率的石英基底上根据预先设计的掩模固化光谱调制材料，形成BMSFA（图1b）。光刻工艺包括一系列步骤，包括掩模设计、基底准备、光刻胶涂布、软烘焙、紫外曝光、曝光后烘焙、显影和硬烘焙。为了满足不同光谱范围的需求，本文设计和制备了具有不同材料体系和空间排列的BMSFAs。本文将制造的BMSFAs分别与CMOS（互补金属氧化物半导体）和InGaAs（铟镓砷）图像传感器芯片进行了集成（图1a）。

图2| HyperspecI传感器的高光谱成像性能

要点：

1.本文进行了一系列实验来验证HyperspecI传感器在定量和定性性能方面的表现。首先，探究了HyperspecI传感器的光谱分辨率和空间分辨率。图2a显示了以合成RGB格式重建的高光谱影像(HSIs)。还将在合成RGB图像中黄色标记位置处由商业光谱仪收集的相应地面真值与重建的光谱进行了比较。本文展示了间隔为0.2 nm的单色光的重建结果，并将HyperspecI传感器与商业光谱仪在单峰单色光下的重建结果进行了比较（图2b）。单色光的半高全宽（FWHM）为2 nm。HyperspecI-V1和HyperspecI-V2传感器的平均光谱分辨率分别为2.65 nm和8.53 nm（图2b（iii）和（iv））。

2.此外，还使用双峰单色光（FWHM 2 nm）根据瑞利判据校准传感器的光谱分辨能力。结果表明，HyperspecI-V1和HyperspecI-V2的平均可分辨双峰距离分别达到3.23 nm和9.76 nm。其次，为评估空间分辨率，使用HyperspecI传感器和相应的单色相机（具有相同的传感器芯片和镜头配置）拍摄了USAF 1951空间分辨率测试图的图像。本文在图2c中展示了HyperspecI-V1的结果作为演示。结果显示，HyperspecI传感器能够区分第三组的第四个元素，其中图表上三条线的宽度约为0.26 mm，占据图像中的9个像素，从而得到每毫米11.31线的空间分辨率，这与商用单色相机相当。此外，图2d展示了几种代表性高光谱成像技术的光通量比较。比较显示，HyperspecI-V1和HyperspecI-V2的平均光通量分别为71.8%和74.8%，远高于普通RGB彩色相机（<30%）、马赛克多光谱相机（<10%）和CASSI系统（<50%）。

图3| 高分辨率、高光通量和实时能力的高光谱成像性能演示

要点：

1.本文进行了不同大小小点目标的成像实验（图3a）。结果表明，即使目标半径小于一个超像素，HyperspecI传感器也能实现稳定且准确的光谱重建。在图3b中，还比较了HyperspecI传感器、一款商用镶嵌多光谱相机（Silios, CMS-C）和一款扫描式高光谱相机（FigSpec, FS-23）在低光条件下的高光谱成像性能。光源是Thorlabs SLS302，照度水平为290 lux。这些实验表明，本文的传感器在低光环境下表现出卓越的高光谱成像质量，这归功于其更高的光通量和信噪比（SNR）。

2.本文进一步展示了HyperspecI-V1传感器在47帧每秒（fps）的帧率下的实时成像性能（图3c）。作为对比，展示了使用扫描式高光谱成像相机的成像结果。结果比较验证了HyperspecI传感器能够以高帧率实现底层图像传感器芯片的完整时间分辨率动态成像，而传统的扫描式高光谱相机无法捕捉动态场景。

图4| HyperspecI传感器在智能农业中的应用

图5| HyperspecI传感器在血氧和水质监测中的应用

要点：

1.对健康问题日益关注促使健康监测设备大量涌现，但其发展受到分辨率、实时能力和便携性的限制。为了展示HyperspecI在动态、高分辨率能力方面的优势，本文进行了血氧检测和水质评估实验，展示了其作为传统笨重复杂设备的替代品在实时健康监测中的潜力。对于血氧饱和度监测，开发了一种原型设备，用于检测由于脉搏跳动而在特定波长下动脉血吸收的变化（图5a）。当被测手指放入设备时，使用宽带光源和HyperspecI传感器获取透射光谱。通过减少HyperspecI传感器中有效像素的数量，可以实现高达100 Hz的采集帧率。随后，处理获取的数据以获得手指某一区域的系列光谱轮廓。最后，从光容积描记图信号的两个特征波段（780 nm和830 nm）中提取脉动成分（AC），从而得出血氧饱和度。图5b显示了HyperspecI传感器与商用血氧仪测量结果的比较。

图6| HyperspecI传感器在纺织品分类和苹果瘀伤检测中的应用

要点：

1.为了展示传感器的近红外高光谱成像能力和准确性，将其应用于纺织品分类和苹果瘀伤检测。在纺织品分类中，使用HyperspecI传感器获取了纺织品的反射光谱（图6a）。之前的研究表明，棉织物的特征光谱带（在1,220 nm、1,320 nm和1,480 nm处）和聚酯织物的特征光谱带（在1,320 nm、1,420 nm和1,600 nm处）具有明显区别，有助于它们的分类（图6b–d）。在实验中，准备了204个样本，包括各种棉和聚酯织物，分为训练集（75个棉和75个聚酯）和测试数据集（27个棉和27个聚酯）。由于这些样本外观多样，通过目视检查进行分类具有挑战性（图6b）。随后，本文使用支持向量机（SVM）算法进行自动织物类别分类（图6c）。在测试阶段，总体分类准确率达到了98.15%。

总结展望

本研究介绍了一种片上高光谱图像传感器技术，称为HyperspecI，该技术遵循计算成像原理，实现集成且高通量的高光谱成像。HyperspecI传感器首先通过集成BMSFA和宽带单色传感器芯片获取编码的高光谱信息，然后利用深度学习重建高光谱图像。与经典的扫描方案相比，HyperspecI传感器保持了底层传感器芯片的全部时间分辨率。与现有的快照系统相比，所报道的技术展示了更轻量化和紧凑尺寸的增强集成能力。广泛的实验证明了HyperspecI传感器在高空间-光谱-时间分辨率、宽光谱响应范围和高光通量方面的优越性。这些优势在低光条件下检测、动态场景目标和现有方法难以达到的小或远程目标检测等高光谱成像应用中提供了巨大好处。本文展示了HyperspecI传感器在智能农业监测和实时人类健康监测等方面的广泛应用潜力。不同的应用验证了HyperspecI技术的多功能性、灵活性和鲁棒性。

研理云服务器