LMARENA, světově proslulý seznam soutěží velkých modelů, počítá všechny modely, které se od poloviny roku 2023 dostaly na vrchol seznamu velkých modelů Od GPT-4 může model zůstat na pozici č. 1 v průměru jen asi 35 dní. Nový model překoná ne půl roku, ne rok, ale více než měsíc. Co je ještě přehnanější, mnoho modelek vypadne z Top 5 asi 5 měsíců po dosažení vrcholu a je těžké udržet se v Top 10 za 7 měsíců. Pohled na konkrétní příklady bude mít větší dopad: O1, která byla kdysi krásná, je nyní na #56; Claude 3 Opus, který byl tehdy považován za "nejsilnější model uvažování", klesl na #139 Všechny bývaly: Špičkový model je velmi diskutovaný a je považován za produkt "vedoucí generace" Nikdo nemůže stát na vrcholu seznamu dlouho a výhodné okno se zkracuje na jednotku "měsíců". Když lze model překonat další generací v průměru za 35 dní, dokonce překoná iterační cyklus některých AI produktů... 😄 To může znamenat klíčovou věc: základní schopnosti modelu se zlepšují ještě rychleji než iterační cyklus většiny produktů. Produktová vrstva je "reverzně zploštěna" schopnostmi modelu.