（来源：上观新闻）
对 Trans💺👍former 🕹架构来说，也可👨👩👦👦能会出🗳📿现提高层间🏊😴信息流动的新趋🛵👩🎨势🐗。但他并不💦🔗对此感到非常焦🎿🍂虑，他认为🧠，虽然🤨AI未来可能重🇧🇼🔆构、甚至颠覆整🖲👛个软件开发行业的📎运行逻辑，但☔📹总归这个最后还是🇷🇴需要解决👩⚕️人的需求🚪。那你们观🚧察到各家的差🇳🇬🎳异是什🇲🇵么？ 🇸🇧赵晨阳：🔬开源模🇧🇫🈚型里，Dee🏅🦎pSeek 🛐🇨🇴和 K🐲imi 取向👣比较接近，‼👩🦳工程和创🧛♀️👨🏫新性都做得比🎆较极限，比☝🚝百度竞价推广如大 MoE🇨🇫🌒、低激活🇬🇩🤝、长上下文和极🥇🇳🇷致成本优化♦🍴。
基座基本🥅💍都是 MLA🥅😍，优化器也类😈似，之🚰💱前大家用 Ada🇩🇴mW 或者👨🦰 AMSGr♓ad（Adam🎴⛄ 的一个变🇪🇪体，通👾过保留🏦🌆历史二阶矩估计🤬的逐元素最大值🛸◻，限制自适应学👨👧🧥习率波动🇹🇹，从而改🤳善收敛稳定性🧥🔅），现在陆续转🌦向 Muon🇯🇲🚖 或基🇫🇲于 Muon 微🦜调🇵🇸。这不是因为你🍇是坏人，而💿♏是因为你0️⃣同事的痛苦🦸♀️🌾可以直接🕞🇹🇰激活你大脑里🦊的镜像神经元，而🇸🇷那数万人的苦难🤞🇪🇺，对你的📹神经系统而言只是🤪🏁两个抽象🔲数字的🤷♂️📎组合🐂🕓。
