Meta Platforms在9月29日发布了一篇计算机科学论文,介绍了其新发布的Llama2Long AI模型。该模型在某些任务上击败了GPT-3.5Turbo和Claude2,这表明Meta的开源方法在生成人工智能领域取得了重大进展。
Llama 2 Long是基于Meta的开源Llama2模型,经过改进后能够更好地处理长文本和复杂任务。该模型的改进主要包括:
增加了长文本数据集:Llama2Long的数据集比Llama2大了4000亿个token,其中包括大量的长文本。
修改了位置编码:Llama2Long使用了RoPE编码,该编码能够更好地处理长文本。
使用了强化学习:Llama2Long使用了强化学习来提高其性能。
在测试中,Llama2Long在生成长文本、翻译语言、编写代码等任务上都取得了优异的成绩。例如,在生成长文本的任务中,Llama2Long的表现比GPT-3.5Turbo和Claude2都更好。
Llama2Long的发布是一个重要里程碑,表明Meta在生成人工智能领域取得了重大进展。该模型的开源性也表明,开源方法在这一领域具有竞争力。