人工智能推动超分辨率显微镜技术发展

生成式人工智能(AI)最出名的可能是ChatGPT或StableDiffusion等文本或图像创建应用程序。但除此之外，它的用途正在越来越多的不同科学领域得到体现。

来自德累斯顿-罗森多夫亥姆霍兹中心(HZDR)高级系统理解中心(CASUS)的研究人员在他们最近的工作中发布了arXiv预印本服务器，并计划在即将召开的国际学习表示会议(ICLR)上展示。与伦敦帝国理工学院和伦敦大学学院的同事合作，提供了一种新的开源算法，称为条件变分扩散模型(CVDM)。

该模型基于生成式人工智能，通过随机重建图像来提高图像质量。此外，CVDM的计算成本低于已建立的扩散模型，并且可以轻松适应各种应用。

随着大数据以及新的数学和数据科学方法的出现，研究人员的目标是使用逆问题方法来破译生物学、医学或环境科学中尚未解释的现象。逆问题涉及恢复导致某些观察结果的因果因素。您有图像的灰度版本并且想要恢复颜色。这里通常有几种有效的解决方案，例如，浅蓝色和浅红色在灰度图像中看起来相同。因此，这一逆问题的解决方案可以是浅蓝色的图像或浅红色衬衫的图像。

分析显微图像也可以是一个典型的逆问题。“你有一个观察结果：你的显微图像。应用一些计算，你就可以了解更多关于你的样品的信息，而不是第一眼看到的，”GabrieldellaMaggiora博士说。CASUS学生，ICLR论文的主要作者。

结果可以是更高分辨率或更优质的图像。然而，从观察(即微观图像)到“超级图像”的路径通常并不明显。此外，观测数据通常是有噪声的、不完整的或不确定的。这一切都增加了解决反问题的复杂性，使它们成为令人兴奋的数学挑战。

像Sora这样的生成人工智能模型的力量

生成式人工智能是解决逆问题的强大工具之一。生成式人工智能模型通常会学习给定训练数据集中数据的底层分布。一个典型的例子是图像生成。训练阶段结束后，生成式人工智能模型会生成与训练数据一致的全新图像。

在不同的生成人工智能变体中，一个名为扩散模型的特殊家族最近在研究人员中受到了欢迎。使用扩散模型，迭代数据生成过程从基本噪声开始，这是信息论中用于模拟自然界中发生的许多随机过程的效果的概念。

关于图像生成，扩散模型已经了解了训练数据集图像中哪些像素排列是常见的和不常见的。他们一点一点地生成新的所需图像，直到像素排列与训练数据的底层结构最一致。

美国软件公司OpenAI的文本转视频模型Sora就是展示扩散模型威力的一个很好的例子。实现的扩散组件使Sora能够生成比AI模型之前创建的任何视频都更加真实的视频。

但有一个缺点。CASUS青年研究小组组长、ICLR论文的通讯作者ArturYakimovich博士表示：“长期以来，人们一直认为扩散模型的训练计算成本昂贵。一些研究人员最近正是因为这个原因而放弃了它们。”

“但是像我们的条件变分扩散模型这样的新发展可以最大限度地减少‘非生产性运行’，而这不会导致最终的模型。通过降低计算量和功耗，这种方法还可以使扩散模型的训练更加环保。”

聪明的训练能起到作用，不仅仅是在运动中

“非生产性运行”是扩散模型的一个重要缺点。原因之一是该模型对控制扩散过程动态的预定义时间表的选择很敏感：该时间表控制如何添加噪声，太少或太多，错误的地点或错误的时间-有很多可能以训练失败而告终的场景。

到目前为止，这个时间表已被设置为一个超参数，必须针对每个新应用程序进行调整。换句话说，在设计模型时，研究人员通常会通过试错的方式来估计他们选择的时间表。

在新论文中，作者将训练阶段已有的时间表纳入其中，以便他们的CVDM能够自行找到最佳训练。该模型比依赖预定义时间表的其他模型产生了更好的结果。

除其他外，作者证明了CVDM对科学问题的适用性：超分辨率显微镜，一个典型的逆问题。超分辨率显微镜旨在克服衍射极限，这是由于显微系统的光学特性而限制分辨率的限制。

为了在算法上克服这一限制，数据科学家通过消除记录的有限分辨率图像中的模糊和噪声来重建更高分辨率的图像。在这种情况下，CVDM与常用方法相比产生了可比甚至更好的结果。

“当然，有几种方法可以增加显微图像的意义——其中一些依赖于生成式人工智能模型，”亚基莫维奇说。“但我们相信，我们的方法具有一些新的独特特性，将对成像界产生影响，即与其他扩散模型方法相比，具有可比甚至更好的质量的高灵活性和速度。

“此外，我们的CVDM在重建不太确定的情况下提供了直接提示——这是一个非常有用的特性，它为解决新实验和模拟中的这些不确定性奠定了基础。”

GabrieldellaMaggiora将于5月8日10:45在年度国际学习表征会议(ICLR)的海报会议3上以海报形式展示该作品。网站上提供了关于该论文的预先录制的简短演讲。该会议自2017年以来首次在欧洲举办，即在维也纳(奥地利)举办。无论是现场参加还是通过视频会议，都需要付费通行证才能访问内容。

“ICLR通过OpenReview门户使用双盲同行评审流程，”Yakimovich解释道。“评论附有同行建议的分数;只有得分高的论文才会被接受。因此，我们的论文被接受就等于受到了社区的高度重视。”