أصعب سؤال مفتوح للتعلم المستمر هو تحديد المعايير وتجارب المنتجات المناسبة لاستخلاص السياق

هناك قائمة محدودة جدا من الطرق التي ترغب في أخذها بعين الاعتبار، والتي سيكون لها مقايضات في أنظمة مختلفة. لكن حاليا ليس واضحا جدا كيف تقارن بينهما، أو ما المشكلة المحددة التي ستنشر لها حلا في البداية

أحد الطرفين: التعلم "المستمر" على كتل منفصلة لمدة 6 أشهر، للحصول على معرفة عالمية حدسية كاملة هل نتوقع حقا أن يكون هناك شيء أفضل من الاستمرار في استخدام الإنترنت بالكامل قبل ومنتصف التدريب + إعادة التدريب الطبيعي بعد التدريب؟

مثلا، ربما يمكنك دمج أوزان نقطة التفتيش القديمة بعد التدريب مع نقطة تفتيش CPT جديدة للحصول على بعض التوفير، وربما يمكنك فقط CPT لطبقات معينة/خبراء، ويمكننا تجربة مكلفة على أي نسخة من هذا هي الأكثر عملية، لكن مجال التصميم معروف

ب "تقطير السياق" أعني أنك ستحتاج إلى خط أنابيب تلقائي يجمع المعلومات (نصوص الدردشة، نصوص الويب، تاريخ المستودعات) ويجمعها لتصبح أكثر فائدة في التدريب المتوسط أو بعد التدريب من الشكل الخام (مثل الأسئلة والأجوبة الأساسية).