GTX580老旧显卡也能训练 GPT-4，成本高达惊人的十倍

　　Epoch AI 最近推出了一款互动模拟器，揭示了使用老旧显卡 GTX580训练 GPT-4的可能性，尽管成本高达现代硬件的十倍。

　　研究表明，训练 GPT-4所需的浮点运算次数在1e25到1e26之间，且随着模型规模的扩大，效率通常会降低。

　　使用 GTX580显卡训练 GPT-4的成本是现代硬件的十倍，效率较低。

　　模拟器可以分析不同 GPU 的性能差异，并支持复杂的多数据中心训练模拟。

　　该研究旨在深入理解未来硬件需求，以支持大型 AI 模型的训练。