継続的な学習において最も難しい課題は、文脈の抽出に適したベンチマークや製品体験を見極めることです

考慮すべき方法のリストはかなり限られており、体制によってトレードオフがあります。ただ、それらを互いにどう評価するか、あるいは最初にどの問題に解決策を展開するかが現時点ではあまり明確ではありません

一つの極端な例:6か月単位の離散的なブロックでの「継続的」学習で、直感的な世界知識を完全に獲得するために トレーニング前後のトレーニングを続けるだけで、通常のトレーニングをやり直す以上のものがあると本当に期待しているのでしょうか?

例えば、古いトレーニング後チェックポイントを新しいCPTチェックポイントに重み合わせて節約できるかもしれませんし、特定のレイヤーやエキスポントをCPTで行うこともできますし、どのバージョンが最も実用的か高価に実験することもできますが、設計空間は既に分かっています

ここで言う「コンテキスト・ディスティレーション」とは、チャットの書き起こし、ウェブテキスト、リポジトリ履歴などの情報ダンプを取り込み、生のフォームよりも中・後のトレーニングに役立つもの(例:基本的なQ&A)にまとめる自動パイプラインのことです