Некоторое глубокое размышление о бизнес-модели frontier-model. Все это основано на цифрах, утекших от The Information, NYT и т.д. 🔵Ядро: Это машина для сжигания вычислений В своей основе модель крайне проста: почти все затраты связаны с вычислениями – выводом и, особенно, обучением. Обучение следует чему-то вроде закона масштабирования. Предположим, что затраты растут примерно на 5 раз каждый год; а ROI на затраты на обучение составляет 2x. Это создает странную динамику: Затраты на обучение в 1-й год: 1 Доход во 2-й год от этой модели: 2 Но затраты на обучение во 2-й год для следующей модели: 5 Чистый: +2 - 5 = -3 Если продолжить, становится еще хуже: Доход в 3-й год: +10 Затраты на обучение в 3-й год: -25 Чистый: -15 Модели frontier, как они сейчас работают, являются снежными комами с отрицательным денежным потоком. Каждое поколение сжигает больше наличных, чем предыдущее. Чтобы это когда-либо изменилось на положительный денежный поток, могут логически измениться только две вещи: A. Доход растет намного быстрее, чем 2x, или B. Рост затрат на обучение замедляется с 5x в год до чего-то вроде <2x Генеральный директор Anthropic Дарио Амодеи разбил сценарий B ("затраты на обучение перестают расти экспоненциально") на два возможных реальности: 1/ Физические/экономические ограничения: Вы просто не можете обучить модель в 5 раз больше — недостаточно чипов, недостаточно энергии, или стоимость приближается к мировому ВВП. 2/ Убывающая отдача: Вы могли бы обучить более крупную модель, но кривая масштабирования выравнивается. Тратить еще 10x перестает быть целесообразным. Что показывают цифры OpenAI и Anthropic: Утечка финансовых прогнозов обеих компаний в основном подтверждает эту структуру. OpenAI: План OpenAI фактически предполагает, что общая вычислительная мощность перестанет расти после 2028 года. Перевод: маржа улучшается, потому что затраты на обучение выравниваются. Это сценарий B. Anthropic: 1/ Они предполагают, что ROI на модель увеличивается каждый год. Потрать 1, получи обратно, скажем, 5 вместо 2. 2/ Их рост затрат на вычисления также гораздо более умеренный. С FY25 по FY28: рост затрат на вычисления OpenAI >> рост затрат Anthropic Используя приведенную выше структуру, они рассчитывают как на рост доходов A, так и на замедление роста затрат B. 🔵 $NFLX – ближайшая аналогия В технологиях капиталоемкие модели редки, хотя и не беспрецедентны. $NFLX – хорошая аналогия: в течение многих лет у него был сильно отрицательный денежный поток, который ухудшался ежегодно. Им приходилось вкладывать деньги в контент заранее, и эти активы амортизировались в течение четырех лет. Во многих отношениях это похоже на экономику центров обработки данных и обучения моделей. Пиковое сжигание наличных в 2019 году: -3B Денежный поток в 2020 году: +2B Почему резкий переход к положительному? COVID остановил производство. Расходы на контент перестали расти. Денежный поток мгновенно изменился. 🔵Конечная игра: маржа появляется, когда рост затрат замедляется $NFLX не прекратил полностью инвестировать в контент – он просто перестал *агрессивно* увеличивать эти инвестиции, как только достиг ~300M глобальных подписчиков. На этом уровне удержание высоко, и им нужно только поддерживать свою позицию, а не увеличивать расходы на контент в 10 раз в год. Я не думаю, что OpenAI или Anthropic когда-либо полностью прекратят обучение. Но им не нужно будет вечно увеличивать расходы на обучение в несколько раз. В какой-то момент: ROI на модель увеличивается, или ограничения масштабирования вступают в силу, или и то, и другое. И в тот момент, когда ежегодные расходы на обучение перестанут расти на 5x в год, прибыльные маржи появятся почти мгновенно. Вот в чем странность экономики LLM: Это машина для сжигания… пока вдруг не станет ею. Источники: ++ Полная статья: