哈工大团队发表50页综述 梳理LLM幻觉问题

　　近期，哈尔滨工业大学和华为的研究团队发表了一篇长达50页的综述，深入梳理了通用型LLMs在专业领域中存在的幻觉问题。虽然这些模型在通用领域任务中表现出色，但由于主要在广泛的公开数据集上进行训练，它们在专业领域的专业知识方面受到了内在限制。文章围绕LLM的幻觉问题进行了分类，包括事实型和忠实度幻觉。

　　综述指出，数据问题是导致幻觉的主要原因之一。这包括错误信息和偏见，特别是在对大规模语料库进行启发式数据收集时，可能会引入错误信息和社会偏见。

　　同时还详细解释了由于重复信息和社会偏见引起的幻觉，以及数据分布差异可能导致的问题。研究人员还指出，LLMs通常存在知识边界，尤其是在特定领域和最新事实知识方面，模型表现出明显的幻觉。

　　在解决这些问题方面，综述提到了数据质量的重要性，强调了增强模型对事实知识学习和回忆的能力的紧迫性。此外，文章还讨论了LLM在训练阶段的挑战，包括预训练阶段和通用表征学习。研究人员呼吁改善数据质量，以便更有效地学习和回忆事实知识，从而减轻专业领域中的幻觉问题。