人工智能和共焦显微镜 - 需知信息

AiviaMotion通过人工智能（AI）技术强化动态信号增强（DSE）降噪的效果。AiviaMotion还进一步提升了STELLARIS平台的活细胞成像性能，兼顾保持细胞活性、采集速度、图像质量和多维度成像。

DSE将滚动平均计算作为核心算法。相邻成像帧之间的噪声是随机的，但生物信号是持续发生的。相应地，使用滚动窗口得出多个相邻图像帧的平均值，可增强相关的生物信号，并对多余的噪声求平均值。更专业的解释是，DSE可以提高信噪比（SNR），进而实现更好的图像质量。

我们现在使用AiviaMotion为DSE提供了一种全新的选择。它使用AI来内插获得的“原始数据帧”之间的“AiviaMotion帧”。借助AiviaMotion帧为滚动平均计算提供的其他信息，DSE现在可以同时达到更高的SNR和更好的时间动态。

AiviaMotion基于一种称为卷积神经网络（CNN）的专业类型的深度神经网络架构。AiviaMotion的实施基于“CAIN”网络（Channel Attention Is All You Need for Video Frame Interpolation, Choi et al., 2020）

• 适用于哪些运动？
  AiviaMotion帧插值最适合小型物体的线性位移。
• 适用于哪些样本？

AiviaMotion基于大量的训练数据进行训练。我们使用了来自100多个不同的显微镜时间片段的6000多张图像三联体，对特定领域的数据（从细胞培养中的细胞骨架到斑马鱼视网膜的细胞膜染色）的基础深度神经网络进行了微调。因此，我们认为AiviaMotion可以在各种各样的样本和应用中得到很好的推广。

• 适用于哪些成像数据？

AiviaMotion可以在涉及时间维度的成像数据上工作，例如，在xyt和xyczt扫描上。此外，AiviaMotion还适用于高分辨和共振扫描头，以及STELLARIS平台的不同模式，如共聚焦、多光子成像和光片成像。对于TauSense工具来说，AiviaMotion适用于所有的强度数据，也就是说，适用于那些采集时使用了荧光信息但不属于最终生成图像一部分的图像（例如，它适用于TauSeparation，但不适用于TauContrast）。

DSE（包括AiviaMotion）可以与LIGHTNING结合使用。这种组合在与共振扫描头结合使用时，可以快速、温和地进行多荧光团活细胞成像。此外，DSE和LIGHTNING的处理可以是连锁的，也就是说，用一个“开始”命令就可以开始计算这两个图像处理步骤。

AiviaMotion有三个不同的强度：“1”、“2”和“3”。AiviaMotion强度控制在图像系列上应用多少次AiviaMotion迭代，例如，在AiviaMotion强度为1的情况下，应用一次AiviaMotion迭代（以此类推）。
然而，AiviaMotion级别并不直接表示在各个获得的原始数据帧之间插入的帧数量。在AiviaMotion强度1的单次迭代中，只有一个图像被插入到各个获得的原始数据帧之间。对于AiviaMotion强度2，在第一次迭代中，只在两个相邻的原始数据帧之间插入一个AiviaMotion帧，在第二次迭代中，又增加了两个AiviaMotion帧（一个在“左”原始数据帧和第一次迭代的AiviaMotion帧之间，另一个在第一次迭代的AiviaMotion帧和“右”原始数据帧之间）。因此，在选择AiviaMotion 强度2时，总共有三个AiviaMotion帧插入了。最后，按照与上面完全相同的推理，但有三次迭代，AiviaMotion强度3总共在两个相邻的原始数据帧之间增加了七个帧。更普遍的说法就是，在两个相邻的原始数据帧之间插入的帧数可以用2i-1计算，其中参数i是AiviaMotion的迭代次数。

沿着这些思路，经常就需要知道在给定的滚动平均窗口大小和AiviaMotion强度下使用的总帧数。因此，这里有一个使用5个原始数据帧的DSE设置以及在不同的AiviaMotion强度下用于滚动平均计算的总帧数示例。

表：用于DSE滚动窗口计算的总帧数（t）是给定的AiviaMotion强度（i）和原始帧数（n）的函数；t = n+（2i-1）*（n-1）。

使用更高的AiviaMotion强度的比率是，通过计算更多的AiviaMotion插值帧的平均值，有可能进一步提高SNR。当滚动窗口的大小不能增加时（即使用更多的原始图像进行计算是不可行的），这种策略尤其适用，因为最佳的时间动态对实验非常关键。

不，AiviaMotion不会增加输出帧数，也就是说，无论AiviaMotion选项是否被激活，动态信号增强（DSE）的输出帧数都不会改变。但是，AiviaMotion确实暂时增加了帧数，也就是说，用于计算DSE滚动窗口的输入的帧数有所增加。然而，由于滚动窗口的移动方式考虑了AiviaMotion的强度（即，它与相邻的原始数据帧之间插入的帧数成正比），输出帧数与选择的AiviaMotion强度无关，因此是不变的。总之，AiviaMotion有助于更好地保存标本的时间动态，它能够缩小滚动窗口的大小（参见常见问题2），但不会增加帧率。

目前，AiviaMotion只可以对t维度进行插帧。由于AiviaMotion只在动态信号增强中增加了一个参数（t插值迭代的次数），所以，AiviaMotion很容易使用，只需点击一下就可以激活。

从科学的角度来看，用动态信号增强（DSE）和AiviaMotion对数据进行去噪是否可行？

DSE将滚动平均计算作为核心算法。使用滚动平均法已被广泛认为是消除噪音的方法，其应用领域包括成像数据到股票图表，范围极广。AiviaMotion选项为DSE处理增加深度神经网络。与许多其他用于去噪的深度学习算法相比，AiviaMotion不是在单个图像和数据空间域上操作，而是在多个输入图像和时间域上操作。因此，AiviaMotion在处理数据的“时间一致性”方面表现出色。此外，由于AiviaMotion“只”增加了一些用于DSE滚动窗口计算的帧，所以，原始数据帧总是会和用于去噪的AiviaMotion帧相混合。最后，用户始终可以选择对有无AiviaMotion的DSE结果进行比较。因此，特别是对于定量分析（例如，测量荧光强度水平），用户可以轻松确认AiviaMotion的操作是否正确。

AiviaMotion的算法可以被训练吗？

目前，我们还未向您提供训练AiviaMotion插值算法的机会。但是，我们为AiviaMotion提供了预先训练好的深度学习模型，这个模型最先在广泛的公开视频数据集上进行了训练，然后通过转移特定领域显微镜数据集上的学习进行了微调。因此，我们认为AiviaMotion可以在各种各样的样本和应用中得到很好的推广。

动态信号增强（DSE）的权重参数对AiviaMotion的帧插值是否有影响？

对DSE来说，并不是所有的帧都被同等计算在内。在DSE中使用了一个“权重”参数，它决定了靠近滚动窗口中心的帧数量以及多少更远的帧对这个计算有贡献。

然而，当通过帧插值生成AiviaMotion帧时，并没有考虑权重参数，因为在任何情况下， AiviaMotion算法只使用两个相邻的帧。当在原始数据帧和AiviaMotion帧上应用滚动窗口计算时，按照上面滚动窗口计算的描述考虑权重参数。总之，权重参数不用于AiviaMotion帧插值，而是在随后的滚动平均计算中使用。

处理时间如何随AiviaMotion迭代次数变化？

每一轮AiviaMotion所需的时间是不统一的。由于每一次AiviaMotion迭代实际上都会使下一次迭代的输入图像数量加倍，所以，接下来的AiviaMotion迭代所需要的时间是上一轮的两倍。因此，当第二次迭代需要两倍于第一次的时间间隔时，第三次迭代则需要四倍于第一次的时间间隔。当与LIGHTNING结合时，动态信号增强（DSE包括AiviaMotion）和LIGHTNING的处理时间只是简单的相加，因为它们是按顺序执行的。此外，由于AiviaMotion帧只是瞬时的（即，无论AiviaMotion强度如何，DSE的输出帧数是不变的——），LIGHTNING的处理时间与采用的AiviaMotion级别无关。