Meta AI：新记忆层助LLM提升知识准确性

Meta AI 研究人员提出 "可扩展记忆层" ，助力大型语言模型提升知识准确性

面对大型语言模型 (LLM) 在应用中常出现的“知识错误”和“幻觉”问题， Meta AI 研究人员提出了一种新方案： “可扩展记忆层”。 这项技术旨在提高 LLM 的知识掌握能力，并减少错误输出。

传统语言模型主要依赖“稠密层”来处理信息，这种结构虽然能学习复杂函数，但参数过多，计算成本高。而 "可扩展记忆层" 则利用简单的稀疏激活和键值查找机制，更有效地存储和检索知识。

Meta 研究人员在论文中指出， "可扩展记忆层" 的优势在于：

• 轻量级计算: 它们与稠密网络相辅相成，提高知识获取能力的同时减少计算成本。
• 可有效扩展: 通过共享键值查找结果，可以有效地将“可扩展记忆层”应用于大型模型中。
• 性能优异: 在多种任务测试中，"可扩展记忆层" 模型的表现显著优于传统稠密模型，甚至与使用更大计算资源的 MoE 和 PEER 模型相当。

研究人员通过在 Llama 模型中替换部分稠密层为 "可扩展记忆层" 进行实验，结果表明：即使参数规模较小的“可扩展记忆层”模型也能接近更大、训练时间更长的 Llama-2-7B 模型的表现。

未来，Meta AI 将继续探索新的学习方法，进一步提高 "可扩展记忆层" 的效能，帮助 LLMs 更精准地理解和处理信息，减少错误输出。