1/10🧵 @nousresearch nyligen publicerat en intressant studie som visar att öppna modeller använder 2-3 gånger fler tokens än slutna modeller för resonemangsuppgifter. Vi testade om dynamisk tokenallokering kunde bidra till att åtgärda denna effektivitetsklyfta. Det här är vad vi lärde oss 👇
Nous Research
Nous Research15 aug. 04:30
Mätning av tankeeffektivitet i resonemangsmodeller: Det saknade riktmärket Vi mätte tokenanvändningen i olika resonemangsmodeller: öppna modeller ger 1,5-4 gånger fler tokens än slutna modeller på identiska uppgifter, men med stor variation beroende på uppgiftstyp (upp till 10 gånger på enkla frågor). Denna dolda kostnad förnekar ofta prisfördelar per token. Tokeneffektivitet bör bli ett primärt mål vid sidan av riktmärken för noggrannhet, särskilt med tanke på användningsfall som inte är resonerande. Läs den grundliga genomgången av resonemangseffektivitet i det öppna och slutna modelllandskapet i vårt senaste blogginlägg i samarbete med vår gästforskare, Tim. Se mer av deras arbete här:
8,11K