начал испытывать волнение по поводу следующего обновления nmoe

ок, так что: engram — это moe над ngramed памятью mHC — это moe над остаточным потоком NSA — это moe над вниманием MoE — это moe над FFN ... я чувствую тему ....

моя любимая часть последних 2-х статей DeepSeek — это страницы с гиперпараметрами. Это позволило фактически воспроизвести (попытки) статьи в значительном масштабе