حسنا، إذا: إنغرام هو MoE فوق ذاكرة ngramed mHC هو moe فوق التيار المتبقي وكالة الأمن القومي تفضل الانتباه MoE هو moe بدلا من FFNs ... أشعر بوجود موضوع ....

(أعلم أن اختيار البوابات ليس _حرفيا_ مو لكن يبدو أفضل أن نقولها بهذه الطريقة)