Pandora:根据自然语言指令生成动作和视频的通用世界模型

　　Pandora 是一个研究通用世界模型(GWM)的重要进展，其目标是通过生成视频来模拟任何领域的世界状态，并提供自然语言的实时控制。

　　与之前的文本到视频模型不同，Pandora 可以接受自由文本的动作输入，实现在视频生成过程中对视频内容的实时控制。这种实时控制的能力实现了世界模型的互动内容生成承诺，并增强了强大的推理和规划能力。比如生成视频的过程中，用户可以输入指令如“让汽车向左转弯转”、“汽车前方发生爆炸事故”，Pandora 会即时地根据这些指令调整视频内容，实现动态控制。

　　Pandora 还能够生成基于相同初始状态但不同动作的多个替代未来的视频。用户可以通过输入不同的动作来控制视频的发展方向，实现对未来的自主控制。这种能力使得世界模型不再只是模拟替代未来，而是能够真正实现对未来的控制。

　　Pandora 能够在各种通用领域生成视频，包括室内 / 室外、自然 / 城市、人类 / 机器、2D/3D 等场景。通过使用高质量数据进行指导和训练，模型可以学习有效的动作控制，并在不同领域中实现迁移学习。例如，Pandora 在训练时只接触过2D 游戏 Coinrun，但可以无缝地将学到的动作应用于其他2D 游戏。

　　Pandora 将视频模型与自主生成的 Pandora 背骨结合在一起，可以生成更长的视频，甚至可以达到无限长度。通过这种结合，Pandora 能够生成长达8秒的视频，即使训练时的视频长度最多只有5秒。

　　然而，作为通向 GWM 的初步步骤，Pandora 仍然存在一些限制。它可能无法生成一致的视频，模拟复杂场景，理解常识和物理定律，以及遵循指令 / 动作。

　　Pandora 是通向通用世界模型的重要一步，它通过自然语言动作和视频状态的模拟生成，实现了对未来的自主控制，为交互式内容生成、强大的推理和规划能力提供了支持。