科技魔方

Meta悄然发布Llama 2 Long AI,在某些任务上击败GPT-3.5 Turbo和Claude 2

大模型

2023年10月04日

  Meta Platforms在9月29日发布了一篇计算机科学论文,介绍了其新发布的Llama2Long AI模型。该模型在某些任务上击败了GPT-3.5Turbo和Claude2,这表明Meta的开源方法在生成人工智能领域取得了重大进展。

  Llama 2 Long是基于Meta的开源Llama2模型,经过改进后能够更好地处理长文本和复杂任务。该模型的改进主要包括:

  增加了长文本数据集:Llama2Long的数据集比Llama2大了4000亿个token,其中包括大量的长文本。

  修改了位置编码:Llama2Long使用了RoPE编码,该编码能够更好地处理长文本。

  使用了强化学习:Llama2Long使用了强化学习来提高其性能。

  在测试中,Llama2Long在生成长文本、翻译语言、编写代码等任务上都取得了优异的成绩。例如,在生成长文本的任务中,Llama2Long的表现比GPT-3.5Turbo和Claude2都更好。

  Llama2Long的发布是一个重要里程碑,表明Meta在生成人工智能领域取得了重大进展。该模型的开源性也表明,开源方法在这一领域具有竞争力。

+1

来源:站长之家

延展资讯