科技魔方

Together AI 推出 Llama-2-7B-32K-Instruct:扩展上下文语言处理能力

大模型

2023年08月22日

  TogetherAI 发布了 Llama-2-7B-32K-Instruct:一项在语言处理中扩展上下文的突破。这项创新具有重大意义,特别是在需要对复杂上下文细微差别有深刻理解的任务中。

  该模型通过巧妙地利用 Together Inference API 的能力,成功地处理了长篇指令,同时在短篇情境下表现出色。

  经过一系列严格的步骤,Llama-2-7B-32K-Instruct 的成功得益于多样的数据集,包括对话、人类指令和 Llama-2-70B-Chat 的输出。

  模型经过精细调整后,通过在各种任务中的表现进行评估,并与现有基准模型进行比较,如 GPT-3.5-Turbo-16K、Llama-2-7b-chat、Longchat-7b-16k 和 Longchat-7b-v1.5-32k 等。

  结果显示,Llama-2-7B-32K-Instruct 在处理长篇指令时表现出色,并在各种基准测试中取得了优异的成绩。这一突破将为语言处理带来新的进展,架起了理解复杂上下文和生成相关回应之间的桥梁。

+1

来源:站长之家

延展资讯