MIT:n tutkijat ehdottavat rekursiivisia kielimalleja Tulet kuulemaan tästä lisää vuonna 2026. Miksi sillä on väliä? Entä jos LLM:t voisivat käsitellä syötteitä 100 kertaa pidempään kuin niiden kontekstiikkuna? Kontekstin pituus on kova rajoite. Voit laajentaa sitä arkkitehtonisilla muutoksilla, mutta aina on raja. Useimmat menetelmät pyrkivät puristamaan enemmän ikkunaan tai puristamaan sitä, mikä ei mahdu. Tämä uusi tutkimus lähestyy asiaa eri tavalla. Sen sijaan, että taistelisit kontekstirajoituksen kanssa, kierrä se ohjelmallisesti. Rekursiiviset kielimallit (RLM) käsittelevät pitkiä kehottimia ulkoisena ympäristönä. Malli voi tarkastella kehotusta, jakaa sen osiin ja kutsua itseään rekursiivisesti katkelmiin. Se on päättelyaika-skaalaus kontekstin pituuteen. Sen sijaan, että kaikki pakotettaisiin huomion läpi yhdellä kierroksella, anna mallin jakaa ja käsitellä tietoa strategisesti useiden rekursiivisten kutsujen kesken. Tulokset ovat vaikuttavia. RLM:t käsittelevät onnistuneesti syötteitä jopa kahdella kertaluokalla mallikontekstin ikkunoiden ulkopuolella. Malli, jossa on 8K-konteksti, voi tehokkaasti käsitellä 800K tokeneita. Mutta tässä on yllättävää: jopa lyhyemmissä kehotuksissa, jotka sopivat kontekstiin, RLM:t päihittävät huomattavasti perus-LLM:t ja yleiset pitkän kontekstin rakenteet neljässä eri tehtävässä. Tämä viittaa johonkin mielenkiintoiseen. Ehkä peräkkäinen huomio koko syötteestä ei aina ole paras strategia, vaikka se olisi teknisesti mahdollista. Ohjelmallinen hajotelma ja rekursiivinen käsittely voivat olla perustavanlaatuisesti parempia tietyissä tehtävissä. Lähestymistapa saavuttaa vertailukelpoisia tai edullisempia kustannuksia per kysely verrattuna vaihtoehtoisiin pitkän kontekstin menetelmiin. Kontekstin pituuden rajoitukset rajoittavat agenttien mahdollisuuksia. Kokonaisten koodipohjien, pitkien asiakirjojen tai laajojen keskusteluhistorian käsittely vaatii kiertoteitä. RLM:t tarjoavat yleisen päättelystrategian, joka muuttaa kontekstirajoitukset pehmeäksi rajoitteeksi kovien sijaan.