MITの研究者が再帰的言語モデルを提案 2026年にはこの件についてさらに詳しく聞くことになるでしょう。 なぜそれが重要なのでしょうか? もしLLMがコンテキストウィンドウの100倍の長い入力を処理できたらどうでしょうか? コンテキストの長さは厳しい制約です。 アーキテクチャの変更で拡張することはできますが、常に限界があります。ほとんどの方法は、窓に詰め込んだり、収まらない部分を圧縮しようとします。 この新しい研究は異なるアプローチを取っています。コンテキスト制限と戦うのではなく、プログラム的に回避しましょう。 再帰的言語モデル(RLM)は、長いプロンプトを外部環境として扱います。モデルはプロンプトを調査し、それをセクションに分解し、スニペットに対して再帰的に自己呼び名を呼び出すことができます。これは文脈の長さに適用された推論時間スケーリングです。 すべてを一度に注意に通すのではなく、モデルが複数の再帰呼び出しに戦略的に情報を分割・処理させましょう。 その結果は印象的です。RLMはモデルコンテキストウィンドウを最大2桁超える入力を正常に処理します。8Kのコンテキストを持つモデルは、実質的に80万トークンを処理できます。 しかし驚くべきことに、文脈に合う短いプロンプトでも、RLMは4つの多様なタスクにおいて基礎的なLLMや一般的な長文脈の足場を劇的に上回る性能を発揮しています。 これは興味深いことを示唆しています。 入力全体に連続して注意を向けることが、技術的に可能であっても必ずしも最善の戦略とは限らないかもしれません。プログラム的分解や再帰処理は、特定のタスクにおいて根本的に優れているかもしれません。 このアプローチは、他の長文脈手法と比較して同等かより安価な1クエリ1回のコストを実現しています。 コンテキストの長さの制限はエージェントの行動を制限します。コードベース全体、長いドキュメント、または長い会話履歴を処理するには回避策が必要です。RLMは、文脈制限を硬い制約ではなくソフト制約に変える一般的な推論戦略を提供します。