Lite djupa eftertankar kring affärsmodellen för frontier-modellen. Allt detta grundar sig i siffror som läckt av The Information, NYT, etc. 🔵Kärnan: Det är en datorbränningsmaskin I grunden är modellen brutalt enkel: nästan alla kostnader kommer från beräkningar – inferens, och särskilt träning. Utbildningen följer något som en skalningslag. Låt oss anta att kostnaderna ökar ~5 gånger varje år; och ROI på utbildningskostnader är dubbelt så bra. Det skapar en konstig dynamik: Kostnad för utbildning under år 1: 1 År 2:s intäkter från den modellen: 2 Men år 2:s utbildningskostnad för nästa modell: 5 Netto: +2 - 5 = -3 Kör det framåt och det blir värre: Intäkter för år 3: +10 År 3:s utbildningskostnad: -25 Net: -15 Frontier-modellerna, som de används idag, är snöbollar med negativt kassaflöde. Varje generation bränner mer pengar än den föregående. För att detta någonsin ska kunna övergå till positivt kassaflöde kan bara två saker logiskt förändras: A. Intäkterna växer mycket snabbare än dubbelt så, eller B. Tillväxten i utbildningskostnaderna saktar ner från 5 gånger per år till ungefär <2 gånger Anthropics VD Dario Amodei har brutit ner scenario B ("utbildningskostnaderna slutar växa exponentiellt") i två möjliga verkligheter: 1/ Fysiska/ekonomiska begränsningar: Du kan helt enkelt inte träna en modell fem gånger större — för få chip, för lite kraft, annars närmar sig kostnaden världens BNP. 2/ Avtagande avkastning: Du skulle kunna träna en större modell, men skalningskurvan planar ut. Att spendera ytterligare 10 gånger är inte värt det. Vad siffrorna från OpenAI och Anthropic avslöjar: Båda företagens läckta finansiella prognoser bekräftar i princip detta ramverk. OpenAI: OpenAIs plan utgår i praktiken från att den totala beräkningskapaciteten slutar växa efter 2028. Översättning: marginalerna förbättras eftersom utbildningskostnaderna planar ut. Detta är scenario B. Antropisk: 1/ De antar att ROI per modell ökar varje år. Spendera 1, få tillbaka till exempel 5 istället för 2. 2/ Deras tillväxt i datoranvändning är också mycket mer dämpad. Från räkenskapsåret 2025 till 2028: OpenAI:s beräkningskostnadstillväxt >> Anthropics Med hjälp av ramverket ovan räknar de med både A:s intäktsökning och B:s långsammare kostnadstillväxt. 🔵 $NFLX är den närmaste analogin Inom teknik är kapitalintensiva modeller sällsynta, men inte utan motstycke. $NFLX är en bra liknelse: under flera år hade det ett djupt negativt kassaflöde som försämrades varje år. De var tvungna att satsa pengar på innehåll direkt, och dessa tillgångar sjönk under fyra år. På många sätt liknar det datacenter- och modellträningsekonomi. Topp av kontantförbränning 2019: -3 miljarder Kassaflöde 2020: +2 miljarder Varför den plötsliga positiva svängningen? COVID stoppade produktionen. Innehållsutgifterna slutade växa. Kassaflödet vände omedelbart. 🔵Slutspelet: Marginaler kommer när kostnadstillväxten saktar ner $NFLX slutade inte helt investera i innehåll – det slutade bara *växa* den investeringen aggressivt när den nådde ~300 miljoner globala prenumeranter. På den skalan är stickigheten hög, och de behöver bara behålla sin position, inte utöka innehållsutgifterna tio gånger per år. Jag tror inte att OpenAI eller Anthropic någonsin kommer att sluta träna helt. Men de behöver inte öka träningskostnaden med flera för alltid. Vid någon tidpunkt: ROI per modell ökar, eller skalningsgränser träder in, eller båda delarna. Och så fort den årliga utbildningskostnaden slutar öka fem gånger per år, syns vinstmarginalerna nästan omedelbart. Det är det märkliga med LLM-ekonomi: Det är en brännmaskin... tills det plötsligt inte är det. Källor: ++ Fullständig artikel: