字节跳动豆包大模型技术突破，全面对齐GPT-4o

　　字节跳动旗下豆包大模型今日公布了2024年全领域的技术进展。自5月15日首次亮相以来，豆包大模型在通用语言、视频生成、语音对话、视觉理解等方面已跨入国际第一梯队。

　　截至2024年12月，最新版豆包通用模型Doubao-pro-1215的综合能力较5月提升了32%，全面对齐GPT-4o。在数学、专业知识等复杂场景任务中，其表现甚至优于GPT-4o，同时推理服务价格仅为GPT-4o的八分之一。这一成就得益于海量数据优化及模型架构的创新，包括提升模型稀疏度、引入强化学习等，使模型的理解精度和生成质量大幅提升。

　　此外，豆包大模型首次披露了其300万字窗口的长文本能力。该模型能够一次轻松阅读“上百篇”学术报告，每百万tokens处理延迟仅15秒。这一能力背后包括STRING等上下文关联数据算法，大幅提升了LLM利用海量外部知识的能力，稀疏化及分布式方案将时延降到十秒级。