数字显微镜相机的基础知识
今天，大多数显微镜都配备了数字相机用于数据采集。通过使用数字设备，用户可以实时观察屏幕上的样本或标本，或获取和存储图像、视频和可量化的数据。从基本的明场成像到先进的超分辨率技术，广泛的应用都需要相机。
数字显微镜相机的性能和种类已经大幅提升，提供了广泛的探测器以满足用户需求。数字成像传感器的选择会对图像特性产生重大影响，因此了解它们的工作原理及相互之间的差异是很重要的。
成像传感器的任务是将光信号转换为电信号。这种成像传感器的原理基于所谓的光伏效应，该效应描述了光子如何与材料相互作用以释放电子，从而导致电荷的积累。用于可见光谱成像（405-700 nm）的相机包含由硅（Si）制成的传感器。在所有情况下，电子都是通过光子的吸收从其束缚状态中释放出来的。
这里介绍了数字相机技术的基本原理，这些技术通常用于显微镜成像。
位深度
T相机传感器的位深度描述了其将来自像素阵列的模拟信号转换为数字信号的能力，该数字信号以灰度级或灰度值为特征。这是AD转换器的一个特性。位深越大，可输出的灰度值就越多，图像中可复制的细节就越多。
位深度与动态范围相关，但不应与之混淆，它指的是模拟信号如何被数字化——或切割——成灰度值或灰度级。数码相机传感器的动态范围取决于其满阱容量（FWC）和噪声。位深度取决于模数转换器将生成的电子数量转换为灰度值的能力。它能够输出的灰度值越多，能够重现的细节就越多（参见图1）。一些相机提供的灰度值超过了光子能够生成的最大电子数量（例如，16 位数字化将信号切割成约 65K 灰度单位）。在极端情况下，传感器可能在低于 1000 光子/像素的情况下饱和，但图像仍然显示 65,000 个灰度值。
此外，大多数计算机显示器仅显示8位或10位数据。因此，超过8或10位的相机信号必须缩小以进行显示。用户可以通过查找表（LUT）影响此过程。它通常可以揭示图像中的隐藏细节。
计算清算
THUNDER成像技术采用了一种称为计算清晰的方式，以消除厚生物样本的宽场显微镜图像中的失焦模糊或雾霭。 [1-3].通常，这通过反卷积方法完成，但计算清除超越了反卷积。它实时检测并去除模糊区域中的不必要信号，清晰地揭示出感兴趣的清晰区域中的所需信号。它通过标本特征的大小差异区分了失焦信号和清晰信号。特征大小和所有相关的光学参数会自动考虑。THUNDER成像仪可以成功地可视化通常不适合使用标准宽场系统成像的样本的细节，具有清晰的焦点和对比度。此外，它可以与图像修复方法结合使用。
动态范围
显微镜摄像头的动态范围提供了传感器可以同时记录的最低和最高强度信号的信息。对于低动态范围传感器，强信号会使传感器饱和，而微弱信号会在传感器噪声中丢失。大动态范围对荧光成像尤为重要。因为动态范围与满井容量（FWC）直接相关，因此可以用数学术语表示为FWC除以相机噪声：
动态范围直接受到施加增益的影响。在这里，“增益”一词用于表示生成信号的放大。如果传感器的增益加倍，则FWC实际上减半，这反过来又减少了动态范围。因此，通常需要在灵敏度和动态范围之间进行权衡。许多相机提供不同位深模式，具有针对特定应用（速度、灵敏度和动态范围）优化的默认增益设置。因此，在某些情况下，调整相机上的位设置也可能影响动态范围，这可能并不总是对用户显而易见。
如果传感器的固有动态范围不足以满足应用或样本或标本的需求，可以考虑进行“高动态范围”（HDR）采集。在此过程中，获取一系列具有不同曝光强度的图像。最终图像是通过应用不同的算法计算得出的（请参见图3）。这种方法的缺点是获取图像所需的时间较长。因此，对于快速移动或光敏感的样品来说，这并不是一个理想的选择。
满阱容量 (FWC)
满阱容量（FWC）在很大程度上取决于像素的物理大小。它指的是单个像素的电荷存储容量。这是它在饱和之前可以收集的最大电子数。达到满阱容量可以比作一个装满水的桶（参见图4）。较大的像素具有比小像素更大的 FWC（通常 6.45 µm 像素为 45,000 e-，而 24 µm 像素为 300,000 e-）。为了获得更大的 FWC，牺牲了空间分辨率，这反过来又影响了动态范围一些现代传感器优化了像素设计，因此相对较小的像素可以容纳相对较大的动态范围。
噪音
噪声是所有测量中固有的一个不良特性。噪声是科学成像中关注的主要问题之一，毕竟噪声会影响到人们对感兴趣的信号进行量化的能力。成像时需要考虑的最重要参数是信噪比，即图像中的噪声与要采集的信号量的比值。噪音可以分为几类：
光学噪声
通常由高背景染色引起的有害光信号，导致样本制备不良或样本高自发荧光。在黑暗环境中设置显微镜进行成像也会对光学噪声产生显著影响。
暗噪声
电子在传感器中的热迁移，与积分长度成正比。暗噪声可以通过冷却成像传感器或缩短曝光时间来克服。也称为暗电流，它是传感器中存在的一种基本噪声。暗噪声是由硅中的热能随机产生电子在像素中引起的。在曝光时间内，黑暗噪声在像素中积累。以每像素每秒电子数（e-/px/sec）表示。对于短曝光时间的快速应用，这并不是一个大问题。当涉及到长时间曝光时，例如对于微弱荧光信号的曝光时间为一秒或更长，暗噪声可能成为一个主要问题。通过冷却传感器来减少暗噪声，每降低 8 °C，暗电流减半（参见图 6）。
读噪声
在从相机传感器读取电荷时引入到信号中的电噪声源。通过降低传感器读出速率，可以减少读噪声，从而降低可实现的最大帧率。大多数现代CMOS传感器能够快速读取（每秒10帧），同时提供低读出噪声。一些高性能CMOS传感器的读噪声低于1电子。它源自于参与信号量化的传感器的电气读出电路。这个像素读出速率定义了从传感器读取电荷的速度（单位为MHz）。一些相机提供了更改读出模式的可能性，使相机能够针对快速读出模式或较慢的低噪声模式进行优化，以适应低光应用。读噪声的单位是e-，与积分时间无关。读噪声与暗噪声一起可以用来判断特定相机是否适合低光荧光应用。
光子散粒噪声
任何光学信号中固有的噪声是由于光子撞击传感器的随机特性造成的。这仅在非常低光照应用中引起关注。收集更多信号可以减少图像中散粒噪声的影响。这是另一种噪声源，基于对 incoming photons 计数的不确定性。换句话说，它源于光子撞击传感器的随机特性，但并不是由传感器本身引入的。最好的解释是想象有人试图用桶接雨滴。即使每个桶的大小和形状完全相同，它们也不会完全捕捉到相同数量的雨滴，因此在芯片上检测光子可以被视为泊松分布。
在低光照条件下，例如在信号强度较低的荧光成像中，不同的噪声源可能会对图像质量产生重大影响，因为它影响信噪比（SNR）。为应用选择合适的相机对于捕捉良好图像至关重要。提高信噪比的最简单方法是通过延长集成时间或增加照明强度来收集更多信号。这些方法并不总是可行，此时需要使用低噪声相机。
像素
像素是相机传感器的基本光敏单元。这适用于所有二维阵列传感器，包括CCD、EMCCD和CMOS显微镜相机。 传感器上的像素数量是一个常被引用的单位，即一台500万像素（MP）相机具有5,000,000个像素。像素的数量常常与传感器的分辨率混淆，因为不同传感器类型的单个像素大小可能有显著差异。。像素的主要元素是光敏光二极管，硅与电子存储井相耦合（参见图7）。硅负责生成电子，这些电子随后可以被收集、移动，并最终转换为数字信号。
光子撞击光电二极管（像素）被转换为电子。对于CMOS传感器的情况（参见图8及下文），这些电子被读出到像素放大器。列放大器读取来自列中像素的累积电压信号，邻近的模数转换器（AD）进行数字化并产生等效的数字信号。
在像素中产生的电荷与照射传感器的光子数量成正比，这通常受到光照时间（积分时间）、检测到的波长以及最重要的光强度的影响。作为经验法则，像素大小定义了可以收集而不饱和的电子数量。显微成像传感器的像素大小通常在 1 到 16 µm²之间变化。
由于典型的像素架构，像素的整个表面并不是光敏感的。 图像传感器的填充因子描述了像素的光敏区域与其整体区域的关系。微透镜可以添加到像素上，以更好地将光聚焦到光敏区域，从而提高填充因子。
一个完整的数字成像传感器由数百万个像素组成，这些像素以几何阵列的形式排列。像素的数量常常与“分辨率”混淆。值得注意的是，决定相机芯片分辨率的并不仅仅是像素的数量，而是它们的大小。一般来说，较小的像素会比较大的像素提供更高的分辨率。最终，显微镜系统的分辨率不仅取决于传感器阵列，还取决于整个光学系统，其中主镜头的数值孔径（NA）是决定分辨率的主要因素。
量子效率 (QE
传感器的量子效率（QE）表示其灵敏度。更准确地说，量子效率描述了在给定波长下，撞击传感器的光子中有多少百分比会被转化为电子。传感器的量子效率曲线显示了在特定波长下的变化情况。
在理想情况下，可以假设 100 个光子能够产生 100 个电子。当光子与传感器相互作用时，可能会被吸收、反射，甚至直接穿过。传感器吸收并将特定波长的光转换为电子的能力称为量子效率（QE）。
传感器的量子效率受到多个因素的影响，包括：
- 填充因子
- 微透镜的添加/性能
- 抗反射涂层
- 传感器格式（背面或前面照明）
量子效率始终是入射光波长的函数。用于科学成像的硅探测器最常见，能够探测到可见光范围之外的波长（约400到1000纳米）。通过观察QE曲线，可以看出特定传感器将特定波长转换为信号的效率（请参见图9）。
显微镜相机的传感器类型（CCD、EMCCD、CMOS、sCMOS）
上述大多数特性和参数对于所有类型的数字显微镜相机中的成像传感器都是通用的。然而，根据历史发展和技术进步，用户可以选择不同类型的摄像头传感器。它们在主要架构（例如，CCD与CMOS）和增强信号的能力（例如，EMCCD与CCD）上有所不同。
CCD显微镜相机
基于电荷耦合器件（CCD）的显微镜相机（参见图14）在如今变得不那么常见，因为CMOS技术在很大程度上取代了CCD。与其他数字相机传感器一样，其单个像素在光照射下会产生电荷，最终转化为数字信号。使用CCD时，像素中产生的电荷会从一个像素移动到另一个像素，沿着表面进入串行寄存器。从串行寄存器中，电荷一个接一个地传递到读出电子设备，在那里信号被转换为电压，放大并数字化。这种架构意味着由CCD传感器捕获的数据通过单个输出节点读取，与CMOS传感器形成对比，从而实现出色的图像均匀性。
EMCCD显微镜相机
简单来说，EMCCD（电子倍增电荷耦合器件）传感器是一种CCD传感器，增加了一个特殊的EM增益寄存器，该寄存器位于传感器和读出电子设备之间（参见图14）。该寄存器放大信号。此外，EMCCD传感器可以进行背面减薄，并达到典型的峰值量子效率（QE）超过90%。这些类型的相机用于极低光照应用，并且可以对单个光子敏感。它们的价格可能比普通的CCD相机贵得多。
CMOS显微镜相机
互补金属氧化物半导体（CMOS）传感器（参见图14）最初用于手机和低端相机，因为图像均匀性差。近年来，CMOS传感器的图像质量得到了极大的提升，以至于几乎所有的科学和商业相机都在使用它们。与CCD相比，CMOS传感器在每个像素中处理电压转换。 读取和数字化过程在每一列的末端通过读取节点进行了大规模并行化。与仅使用单个读出节点的传统CCD传感器不同，这种架构使CMOS传感器能够更快地读取高像素计数阵列，而不会增加读出噪声。
信噪比
T信噪比（SNR）衡量图像的整体质量。信噪比越高，图像越好（参见图15）。信号是指来自样本或标本的感兴趣区域（ROI）的光子数量，这些光子被传感器收集并转换为电信号。噪声是指由探测器本身引入的或来自背景光学信号的非期望信号。
参考文献
- L. Felts, V. Kohli, J.M. Marr, J. Schumacher, O. Schlicker, 计算清算导论：一种去除失焦模糊的新方法，科学实验室（2020）徕卡微系统。
- J. 施马赫，L. 贝特朗，清晰对比且无雾的3D标本实时图像：技术说明 THUNDER 成像仪：它们是如何真正工作的？科学实验室（2019）徕卡显微系统。
- E. Darling，计算清算 - 增强3D标本成像：免费网络研讨会，科学实验室（2020）徕卡显微系统。
