la question ouverte la plus difficile pour l'apprentissage continu est de déterminer les bons benchmarks et les expériences produit pour la distillation de contexte

il existe une liste assez limitée de méthodes que vous voudriez envisager, qui auront des compromis dans différents régimes. il n'est actuellement pas très évident comment les évaluer les unes par rapport aux autres, ou quel problème spécifique vous déploieriez initialement une solution.

un extrême : l'apprentissage "continu" par blocs discrets de 6 mois, pour une connaissance intuitive complète du monde attendons-nous vraiment à ce qu'il y ait quelque chose de mieux que la formation pré/post-formation sur l'ensemble d'Internet + la reprise de la formation normale ?

comme sûr, peut-être que vous pouvez faire une fusion de poids de l'ancien point de contrôle pré-entraîné avec un nouveau point de contrôle CPT pour obtenir des économies, peut-être que vous pouvez juste CPT certaines couches/experts, et nous pourrions expérimenter de manière coûteuse sur quelle version de cela est la plus pratique, mais l'espace de conception est connu

par "distillation de contexte", je veux dire que vous aurez besoin d'un pipeline automatique qui prend des décharges d'informations (transcriptions de chat, texte web, historiques de dépôts) et les transforme en quelque chose de plus utile pour l'entraînement intermédiaire/post-entraînement que la forme brute (par exemple, questions-réponses basiques)