Trochę głębokiego myślenia na temat modelu biznesowego frontier-model. Wszystko to opiera się na liczbach wyciekłych z The Information, NYT itd. 🔵Rdzeń: To maszyna spalająca obliczenia W swojej istocie model jest brutalnie prosty: prawie wszystkie koszty pochodzą z obliczeń – wnioskowania, a zwłaszcza treningu. Trening podlega czemuś w rodzaju prawa skalowania. Załóżmy, że koszty rosną o ~5x co roku; a ROI na kosztach treningu wynosi 2x. To tworzy dziwną dynamikę: Koszt treningu w roku 1: 1 Przychód z tego modelu w roku 2: 2 Ale koszt treningu w roku 2 dla następnego modelu: 5 Netto: +2 - 5 = -3 Jeśli to pociągniemy dalej, będzie jeszcze gorzej: Przychód w roku 3: +10 Koszt treningu w roku 3: -25 Netto: -15 Modele frontier, jak obecnie działają, są śnieżnymi kulami z ujemnym przepływem gotówki. Każda generacja spala więcej gotówki niż poprzednia. Aby to kiedykolwiek zmieniło się na dodatni przepływ gotówki, tylko dwie rzeczy mogą logicznie się zmienić: A. Przychody rosną znacznie szybciej niż 2x, lub B. Wzrost kosztów treningu spowalnia z 5x rocznie do czegoś w rodzaju <2x CEO Anthropic, Dario Amodei, rozłożył scenariusz B („koszty treningu przestają rosnąć wykładniczo”) na dwie możliwe rzeczywistości: 1/ Fizyczne/ekonomiczne ograniczenia: Po prostu nie możesz trenować modelu 5x większego — nie ma wystarczająco dużo chipów, nie ma wystarczająco dużo mocy, lub koszt zbliża się do światowego PKB. 2/ Spadek zwrotów: Możesz trenować większy model, ale krzywa skalowania się spłaszcza. Wydawanie kolejnych 10x przestaje być opłacalne. Co ujawniają liczby OpenAI i Anthropic: Wyciekłe prognozy finansowe obu firm zasadniczo potwierdzają ten framework. OpenAI: Plan OpenAI zasadniczo zakłada, że całkowita zdolność obliczeniowa przestaje rosnąć po 2028 roku. Tłumaczenie: marże poprawiają się, ponieważ koszty treningu się spłaszczają. To jest scenariusz B. Anthropic: 1/ Zakładają, że ROI na model rośnie z każdym rokiem. Wydaj 1, otrzymaj powiedzmy 5 zamiast 2. 2/ Ich wzrost wydatków na obliczenia jest również znacznie bardziej stonowany. Od FY25 do FY28: wzrost kosztów obliczeniowych OpenAI >> wzrost kosztów Anthropic Korzystając z powyższego frameworku, liczą na zarówno A wzrost przychodów, jak i B wolniejszy wzrost kosztów. 🔵 $NFLX jest najbliższą analogią W technologii modele kapitałochłonne są rzadkie, choć nie bezprecedensowe. $NFLX jest dobrą analogią: przez lata miało głęboko ujemny przepływ gotówki, który pogarszał się co roku. Musieli inwestować pieniądze w treści z góry, a te aktywa amortyzowały się przez cztery lata. W wielu aspektach przypomina to ekonomię centrów danych i treningu modeli. Szczytowe spalanie gotówki w 2019 roku: -3B Przepływ gotówki w 2020 roku: +2B Dlaczego nagły zwrot na plus? COVID wstrzymał produkcję. Wydatki na treści przestały rosnąć. Przepływ gotówki natychmiast się odwrócił. 🔵Gra końcowa: Marże pojawiają się, gdy wzrost kosztów spowalnia $NFLX nie przestał całkowicie inwestować w treści – po prostu przestał *agresywnie* zwiększać tę inwestycję, gdy osiągnął ~300M globalnych subskrybentów. Na tym poziomie, przywiązanie jest wysokie, a oni muszą tylko utrzymać swoją pozycję, a nie zwiększać wydatków na treści 10x rocznie. Nie sądzę, aby OpenAI lub Anthropic kiedykolwiek całkowicie przestali trenować. Ale nie będą musieli zwiększać wydatków na trening o wielokrotności na zawsze. W pewnym momencie: ROI na model wzrasta, lub ograniczenia skalowania wchodzą w grę, lub jedno i drugie. A w momencie, gdy roczne wydatki na trening przestaną rosnąć o 5x rocznie, marże zysku pojawiają się niemal natychmiast. To jest dziwna rzecz w ekonomii LLM: To maszyna spalająca… aż nagle przestaje.