好的,所以: engram 是 moe 超过 ngramed 记忆 mHC 是 moe 超过残差流 NSA 是 moe 超过注意力 MoE 是 moe 超过 FFNs ... 我感觉到一个主题 ....
(我知道限制选择并不是 _字面上_ 的 moe,但这样说起来更好)
225