谷歌下一代大模型Gemini 算力已达GPT-4的5倍

　　要点:

　　谷歌的下一代大模型Gemini的训练算力已达GPT-4的5倍。

　　谷歌拥有大量TPU芯片，其中的TPUv5数量已超过OpenAI等公司总GPU数。

　　Gemini正在TPU上快速迭代，表现优于GPT-4，有望成为新一代顶级大模型。

　　知名的SemiAnalysis最近再次爆料，称谷歌大模型Gemini的训练规模已达GPT-4的5倍。Gemini初代版本可能是在TPUv4上训练，使用14个pod，训练FLOPS达1e26，而GPT-4的FLOPS仅2e25左右。更令人震惊的是，Gemini的下一代版本已经开始在TPUv5上训练，算力高达1e26FLOPS，是GPT-4的5倍。

　　谷歌拥有大量自主研发的TPU芯片，其中TPUv5的数量已经超过了OpenAI、Meta、CoreWeave等公司总GPU数量。相比GPU，单片TPUv5性能略弱，但谷歌可以利用庞大基础设施发挥规模效应。此外，Gemini在模型架构上也较GPT-4优秀，如拥有增强的多模态能力。

　　Gemini一直在TPU上快速迭代，先是TPUv4，现已升级到TPUv5，性能表现也优于GPT-4。OpenAI的算力只是谷歌的一小部分，Gemini有望成为新一代顶级大模型，在与OpenAI的竞争中占据优势。总体来看，谷歌已经正式介入大模型竞赛，凭借雄厚算力优势全面碾压OpenAI。这场竞争才刚刚开始，未来几个月将见证谷歌的胜利。