Litt dyp refleksjon rundt forretningsmodellen med grensemodell. Alt dette er basert på tall lekket av The Information, NYT, osv. 🔵Kjernen: Det er en Compute-Burn-maskin I bunn og grunn er modellen brutalt enkel: nesten alle kostnader kommer fra beregning – inferens, og spesielt trening. Opplæringen følger noe som ligner en skaleringslov. La oss anta at kostnadene øker ~5 ganger hvert år; og ROI på opplæringskostnader er 2 ganger. Det skaper en merkelig dynamikk: År 1 opplæringskostnad: 1 Inntekter for år 2 fra den modellen: 2 Men opplæringskostnaden for neste modell i år 2: 5 Nettopp: +2 - 5 = -3 Kjør det fremover, og det blir verre: Inntekter for år 3: +10 Opplæringskostnad for år 3: -25 Netto til: -15 Frontier-modellene, slik de drives nå, er snøballer med negativ kontantstrøm. Hver generasjon bruker mer penger enn den forrige. For at dette noen gang skal snu til positiv kontantstrøm, kan bare to ting logisk endres: A. Inntektene vokser mye raskere enn 2 ganger, eller B. Veksten i opplæringskostnadene avtar fra 5 ganger i året til noe som <2 ganger Anthropics administrerende direktør Dario Amodei har brutt ned scenario B ("opplæringskostnadene slutter å vokse eksponentielt") i to mulige realiteter: 1/ Fysiske/økonomiske begrensninger: Du kan rett og slett ikke trene en modell fem ganger større — for få brikker, for lite kraft, ellers nærmer kostnaden seg verdens BNP. 2/ Avtagende avkastning: Du kan trene en større modell, men skaleringskurven flater ut. Å bruke ti ganger til slutter å være verdt det. Hva tallene til OpenAI og Anthropic avslører: Begge selskapenes lekkede økonomiske prognoser bekrefter i praksis dette rammeverket. OpenAI: OpenAIs plan forutsetter i praksis at total datakapasitet slutter å vokse etter 2028. Oversettelse: marginene øker fordi opplæringskostnadene flater ut. Dette er scenario B. Antropisk: 1/ De antar at avkastningen per modell øker hvert år. Bruk 1, få tilbake for eksempel 5 i stedet for 2. 2/ Veksten i deres beregningsutgifter er også mye mer dempet. Fra regnskapsåret 2025 til 2028: OpenAIs beregningskostnadsvekst >> Anthropics Ved å bruke rammeverket ovenfor, regner de med både A-inntektsøkning og B langsommere kostnadsvekst. 🔵 $NFLX er den nærmeste analogien I teknologibransjen er kapitalintensive modeller sjeldne, men ikke uten sidestykke. $NFLX er en god analogi: i flere år hadde den dypt negativ kontantstrøm som forverret seg årlig. De måtte investere penger i innhold på forhånd, og disse eiendelene ble avskrevet over fire år. På mange måter ligner det datasenter- og modelltreningsøkonomi. Toppforbruk av kontanter i 2019: -3 milliarder Kontantstrøm for 2020: +2 milliarder Hvorfor den plutselige positive svingningen? COVID stengte produksjonen. Innholdsforbruket sluttet å vokse. Kontantstrømmen snudde umiddelbart. 🔵Sluttspillet: Marginene kommer når kostnadsveksten avtar $NFLX sluttet ikke helt å investere i innhold – de sluttet bare å *vokse* den investeringen aggressivt da de nådde ~300 millioner abonnenter globalt. På den skalaen er klebrigheten høy, og de trenger bare å opprettholde posisjonen sin, ikke øke innholdsforbruket ti ganger i året. Jeg tror ikke OpenAI eller Anthropic noen gang vil slutte å trene helt. Men de trenger ikke å øke treningsbudsjettet med flere for alltid. På et tidspunkt: ROI per modell øker, eller skaleringsgrenser trer inn, eller begge deler. Og i det øyeblikket det årlige opplæringsbudsjettet slutter å vokse fem ganger i året, vises fortjenestemarginene nesten umiddelbart. Det er det merkelige med LLM-økonomi: Det er en brannmaskin... Inntil det plutselig ikke er det. Kilder: ++ Hele artikkelen: