好的,所以: engram 是 moe 超過 ngramed 記憶 mHC 是 moe 超過殘差流 NSA 是 moe 超過注意力 MoE 是 moe 超過 FFNs ... 我感覺到一個主題 ....
(我知道限制選擇並不_字面上_是 moe,但這樣說聽起來更好)
224