MIT araştırmacıları Özyinelemeli Dil Modelleri öneriyor 2026'da bu konuda daha fazla bilgi duyacaksınız. Neden önemli? Ya LLM'ler girdileri bağlam pencerelerinden 100 kat daha uzun süreyle işleyebilseydi? Bağlam uzunluğu kesin bir kısıtlamadır. Mimari değişikliklerle genişletebilirsiniz, ama her zaman bir sınır vardır. Çoğu yaklaşım pencereye daha fazla sıkıştırmaya veya sığmayan şeyleri sıkıştırmaya çalışır. Bu yeni araştırma farklı bir yaklaşım benimsemektedir. Bağlam sınırıyla mücadele etmek yerine, programatik olarak aşmayı başar. Özyinelemeli Dil Modelleri (RLM'ler) uzun istmleri dış bir ortam olarak ele alır. Model, promptu inceleyebilir, bölümlere ayırabilir ve kendini snippetlerde özyinelemeli olarak çağırabilir. Bu, bağlam uzunluğuna uygulanan çıkarım süresi ölçeklendirmesidir. Her şeyi tek bir geçişte dikkatten geçirmek yerine, modelin stratejik olarak bilgiyi birden fazla özyinelemeli çağrı arasında bölmesine ve işlemesine izin verin. Sonuçlar etkileyici. RLM'ler, model bağlam pencerelerinin ötesinde iki büyüklük mertebesine kadar girdileri başarıyla yönetir. 8K bağlamına sahip bir model, 800K tokenı etkili bir şekilde işleyebilir. Ama şaşırtıcı olan şu: bağlama uygun kısa promptlar için bile, RLM'ler dört farklı görevde temel LLM'leri ve yaygın uzun bağlamlı iskeleleri dramatik şekilde geride bırakıyor. Bu ilginç bir şey gösteriyor. Belki de tüm girdiye ardışık dikkat her zaman en iyi strateji değildir, teknik olarak mümkün olsa bile. Programatik ayrıştırma ve özyinelemeli işleme, bazı görevler için temelde daha iyi olabilir. Bu yaklaşım, alternatif uzun bağlamlı yöntemlere kıyasla karşılaştırılabilir veya daha ucuz sorgu başına maliyet sağlar. Bağlam uzunluğu sınırlamaları, ajanların ne yapabileceğini sınırlar. Tüm kod tabanlarını, uzun belgeleri veya genişletilmiş konuşma geçmişlerini işlemek için geçici çözümler gerekir. RLM'ler, bağlam sınırlarını sert bir kısıtlama yerine yumuşak bir kısıtlamaya dönüştüren genel bir çıkarım stratejisi sunar.