麻省理工学院的研究人员提出了递归语言模型 你将在2026年听到更多关于这个的消息。 这有什么重要性？ 如果LLM能够处理比其上下文窗口长100倍的输入呢？ 上下文长度是一个硬性约束。 你可以通过架构变化来扩展它，但总是有一个限制。大多数方法试图将更多内容挤入窗口或压缩不适合的内容。 这项新研究采取了不同的方法。与其与上下文限制作斗争，不如在程序上绕过它。 递归语言模型（RLM）将长提示视为外部环境。模型可以检查提示，将其分解为多个部分，并对片段进行递归调用。这是在上下文长度上应用的推理时间扩展。 与其强迫所有内容在一次传递中通过注意力，不如让模型战略性地划分和处理信息，通过多个递归调用进行处理。 结果令人印象深刻。RLM成功处理的输入量比模型上下文窗口多两个数量级。一个具有8K上下文的模型可以有效处理800K个标记。 但令人惊讶的是：即使对于适合上下文的较短提示，RLM在四个不同任务中也显著超越了基础LLM和常见的长上下文支架。 这暗示了一些有趣的事情。 也许对整个输入进行顺序注意并不总是最佳策略，即使在技术上是可能的。程序化分解和递归处理可能在某些任务上根本更好。 这种方法在每个查询的成本上与替代的长上下文方法相比，达到了可比或更低的成本。 上下文长度限制约束了代理可以做的事情。处理整个代码库、长文档或扩展的对话历史需要变通方法。RLM提供了一种通用的推理策略，将上下文限制转变为软约束，而不是硬约束。