ok donc :
engram est moe sur la mémoire ngramée
mHC est moe sur le flux résiduel
NSA est moe sur l'attention
MoE est moe sur les FFNs
... je sens un thème ....
ma partie préférée des 2 derniers articles de DeepSeek était ces pages avec les hyperparamètres. Cela a permis des reproductions réelles (tentatives) des articles à une échelle significative
