「GPT-4只是在压缩数据」，马毅团队造出白盒Transformer，可解释的大模型要来了吗？

　　本文来自于微信公众号 机器之心(ID:almosthuman2014)，作者:机器之心。

　　RNA3D 结构预测是一个长期存在的挑战。

　　受最近蛋白质结构预测领域突破的启发，南开大学、山东大学以及北京理工大学的研究团队开发了 trRosettaRNA，这是一种基于深度学习的自动化 RNA3D 结构预测方法。

　　trRosettaRNA 流程包括两个主要步骤:通过transformer网络进行1D 和2D 几何形状预测;以及通过能量最小化进行的3D 结构折叠。基准测试表明 trRosettaRNA 优于传统的自动化方法。

　　在 CASP15和 RNA-Puzzles 实验的盲测中，对天然 RNA 的自动 trRosettaRNA 预测与人类的顶级预测具有竞争力。当通过均方根偏差的 Z 分数进行测量时，trRosettaRNA 的性能也优于 CASP15中其他基于深度学习的方法。

　　该研究以「trRosettaRNA: automated prediction of RNA3D structure with transformer network」为题，于2023年11月9日发布在《Nature Communications》。

　　学界对 RNA3D 结构预测的需求与日俱增

　　核糖核酸(RNA)是活细胞中最重要的功能分子类型之一。它参与许多基本的生物和细胞过程，例如，作为遗传信息的转录本，发挥催化、支架和结构功能。过去几十年来，随着每年新型 ncRNA 的发现，人们对非编码 RNA (ncRNA)，例如转移 RNA (tRNA) 和核糖体 RNA (rRNA)，结构和功能的兴趣与日俱增。

　　与蛋白质类似，ncRNA 分子的生物学功能通常由其3D 结构决定。然而，由于灵活的主链和弱的长程三级相互作用引起的内在结构异质性，通过实验解决RNA的结构比蛋白质更具挑战性。例如，蛋白质数据库 (PDB) 中仅存放了约6000个 RNA 结构，远少于存放的蛋白质结构的数量(约190，000个)。因此，迫切需要开发有效的算法来预测 RNA3D 结构。

　　当前 RNA3D 结构预测仍有巨大挑战

　　目前的 RNA3D结构预测方法可以分为两类:基于模板的方法和从头方法。基于模板的方法使用 PDB 中的同源模板来预测目标结构。例如，ModeRNA 和 MMB 等代表性方法通过减少同源结构的采样空间来工作。一般来说，当PDB中存在同源模板时，基于模板的方法预测的结构模型是准确的。然而，由于已知RNA结构的数量有限以及RNA序列比对的困难，基于模板的方法进展缓慢。

　　相反，从头方法通过从头开始模拟折叠过程来构建3D 构象。通过分子动力学模拟或片段组装，FARNA5、FARFAR、FARFAR2、SimRNA、iFoldRNA、RNAComposer 和3dRNA 等方法对于某些小 RNA(<100个核苷酸)效果良好。然而，由于不准确的力场参数和巨大的采样空间，很难为具有复杂拓扑的大RNA生成精确的3D结构。为了部分解决这个问题，通过直接耦合分析(DCA)预测的核苷酸间接触已被用来指导结构模拟。

　　此外，考虑到 RNA 结构折叠的层次性质，一些方法从二级结构衍生出3D 结构，例如 Vfold 和 MC-Fold。它们非常快，但建模精度很大程度上取决于输入二级结构的质量。RNA-Puzzles 实验表明，准确预测具有复杂结构的大 RNA 的结构仍然是一个巨大的挑战。

　　深度学习用于 RNA3D 结构预测

　　深度学习最近被用来改进从头 RNA3D 结构预测。残差卷积网络(ResNet)预测的核苷酸间接触比 DCA 准确约两倍，在一定程度上改善了3D 结构预测。结果表明，通过从基于几何深度学习的评分系统 (ARES) 中选择模型，FARFAR2协议在 RNA-Puzzles 实验的盲测中预测了四个目标的最准确模型。受 AlphaFold2成功的启发，科学家开发了一些新的基于深度学习的方法，例如 DeepFoldRNA、RoseTTAFoldNA 和 RhoFold。

　　在最新的工作中，南开大学、山东大学以及北京理工大学的研究团队开发了 trRosettaRNA，一种基于深度学习的自动化 RNA3D 结构预测方法。它的部分灵感来自于深度学习在蛋白质结构预测中的成功应用，特别是在 AlphaFold2和 trRosetta 中。基准测试和盲测表明 trRosettaRNA 有希望增强 RNA 结构预测。

　　trRosettaRNA 的结构如图1所示。从 RNA 的核苷酸序列开始，首先分别通过程序 rMSA 和 SPOT-RNA 生成多重序列比对 (MSA) 和二级结构。然后将它们转换为 MSA 表示和配对表示，然后将其输入 transformer 网络(名为 RNAformer)以预测1D 和2D 几何形状。与 trRosetta 类似，这些几何形状被转换为约束，以指导基于能量最小化的3D 结构折叠的最后步骤。除非另有说明，下面提到的 RMSD 是通过使用 RNA-Puzzles 社区提供的评估工具包考虑所有原子来计算的。

　　研究人员使用两个独立的数据集和两个盲测对 trRosettaRNA 进行了严格评估。基准测试表明，trRosettaRNA 预测的模型比其他自动化方法更准确。trRosettaRNA 在两个实验中进行了盲评估:RNA-Puzzles(3个目标)和 CASP15(12个目标)。RNA-Puzzles 实验表明，trRosettaRNA 的自动预测与人类对三分之二目标的预测具有竞争力。CASP15实验表明，trRosettaRNA 在基于 RMSD 的累积 Z 分数方面优于其他基于深度学习的方法。该方法在8种天然 RNA 上达到了与顶级人类群体相当的准确性，尽管没有任何人为干预。

　　局限性与未来

　　然而，研究人员注意到 CASP15盲测中天然 RNA 的平均 RMSD(第一个模型为14.8 Å)高于两个基准数据集 RNA 的平均 RMSD (30个独立 RNA 为8.5 Å，之前20个 RNA-Puzzles 靶标为10.5 Å)。

　　建模准确性的差异可以通过目标难度和新颖性来解释。

　　(1)目标难度。大多数CASP15RNA表现出高度的灵活性，可以采用多种构象(R1116和R1117除外)。此外，还有两个二聚体(R1107、R1108)和两个具有许多单链区域的蛋白质结合RNA(R1189、R1190)。这些特征对 SPOT-RNA 预测可信二级结构提出了挑战。为了说明这一点，与20个 RNA-Puzzles 目标相比，来自 CASP15的8个天然 RNA 的 SPOT-RNA 预测二级结构的平均 F1分数要低得多(分别为0.62和0.72)。

　　(2)目标新颖。非冗余基准数据集中的很大一部分 RNA(三分之二，30个中的20个)与之前已知的 RNA 表现出高度相似性 (TM-scoreRNA > 0.6)，这使得它们很容易通过数据驱动方法(如 trRosettaRNA)进行预测。相反，CASP15的 RNA 没有表现出如此程度的相似性。

　　这反映了与 trRosettaRNA 和该研究中采用的基准测试相关的局限性。首先，trRosettaRNA 的性能容易受到预测二级结构质量的影响。其次，尽管 trRosettaRNA 在内部基准测试中实现了令人鼓舞的准确性，但其在新型 RNA 上的性能仍然有限。此外，合成 RNA 的自动结构预测仍然具有挑战性。

　　CASP15实验中的盲测表明，RNA 结构预测的深度学习方法仍处于起步阶段。然而，随着持续发展，深度学习应该有望推进 RNA 结构预测。将基于物理的建模融入深度学习是未来改进的方向之一。

　　最直接的替代方案之一是将其与其他传统方法相结合，并针对未来那些代表性不足的 RNA 结构优化算法。例如，为了克服对已知 RNA 折叠的偏见，可以利用神经网络(例如基于物理的神经网络)来学习力场或识别/组装局部图案，而不是直接预测全局3D 结构。