Una cosa bastante atrevida que hace DeepSeek es mostrar a Engram funcionando muy bien hasta 27B, y luego 40B que prácticamente no mejora más, y dicen «eh, está poco entrenado». Creo que el perfil de capacidad de las capas de Engram frente a los FFNs tiene efectos no triviales a diferentes escalas.

Me recuerda a DS-MoE, donde consideraron la variante «medio activada» como algo muy ambicioso, llevando la idea al límite. Naturalmente, eventualmente V2 tuvo exactamente esta proporción de esparcimiento, y V3 fue más escaso.