科技魔方

加州大学伯克利分校推出MemGPT,解决大模型输入限制

大模型

2023年10月17日

  据 Arxiv 页面显示,大模型聊天工具的输入和输出限制一直影响着他们的能力发挥,为了解决这个问题,加州大学伯克利分校的研究者们推出了一款名为MemGPT 的大语言模型系统。

  研究团队通过借鉴传统操作系统中的层次内存系统,提出虚拟上下文管理技术,通过在快速和慢速内存之间移动数据,提供大内存资源的外观。

  MemGPT 系统智能地管理不同的内存层次,以在 LLM 的有限上下文窗口内有效提供扩展上下文,并利用中断来管理自身与用户之间的控制流。

  实验显示,MemGPT 在多会话聊天和文档分析实验中表现出良好的性能,有效克服了现有方法在有限上下文中性能的限制。

+1

来源:DoNews

延展资讯