香港科技大学和清华大学研究团队推出的全新AI框架DimensionX。这个框架可以仅凭一张图片生成充满细节的3D和4D场景,为游戏开发、虚拟现实和影视制作领域带来了革命性突破。它的核心魔法是可控视频扩散技术,让我感到非常惊叹和兴奋。
DimensionX是一款AI框架,能从单张图片中提取空间和时间信息,生成连续的视频帧,最终组合成完整的3D或4D场景。
DimensionX配备了S-Director和T-Director两个强大的“魔法棒”,分别控制空间维度和时间维度,让用户可以自由操控视角和物体运动。
DimensionX还引入了轨迹感知机制和身份保持去噪策略,优化真实场景生成,确保3D和4D场景更加真实可信。