（来源：上观新闻）
一个训练了两🇰🇼🕋个万亿参数😚📕MoE的团队公开🇨🇦🌮承认「我们不知♌🎸道为什么这➕🥚两个trick管🔏⏭用」，在2😂🍷026🚏年已经🌭🇲🇵网络书源是一件挺稀罕🇹🇭的事🖕🐦。（2）对 RTL🥳 和时序的理解🔻 我们观↗🇹🇴察到一些模🏖🖨型将 Ver✍ilog（一🚮🤷♂️种事件驱动语言🙅♂️🏷）视为🎱❗顺序代码进行推🇦🇪🍊理🕷。
顶层是"指挥🎗官"，中间层🧰😵是四个专业🀄领域的"🥅专家代理🇸🇮🔕"，必要时每个专🕚家还可以召唤🎤更专注的"子👣🥓代理"来处理👩具体小任务🎴。
1M场景下，V4🇸🇭™-Pr🆚o的单toke🎼🐚n FL🥺🚣OPs只有V3⏏♻.2的27%，💥KV c🧗♀️🇾🇪ache只有🇲🇭10%🏕🙃。
