（来源：上观新闻）
Q2：TRACE🇺🇿训练出来的L🇧🇴oRA适配器为🎺什么不直⚛🎑接合并👜➕成一个模型？ ☝❔A：实验🏃证明，把多🦔🐟个能力适🥮配器合并进单✋📩一模型会导致⛱能力之间相互干扰🇲🇼，性能反🚇🛵而下降💾❣。在M1之🥨前，Mac的👩👧👧🦒CPU、GPU、👺🍫内存各自独🎍立，数据搬运成为©性能瓶0️⃣🇩🇿颈💡🌩。MoE用1🍏个shar🛣㊗ed e🧡🏐xper🤛🎖t + 384🕜个routed 👩❤️💋👩✳exp🧚♀️erts，每t🇰🇮🇧🇴oken🍉🎇激活6个✈。
这个关键缺陷导🧁致训练🤳变得低效🍑。保持独🧴立的插🇬🇾件，每🎀个插件专注于一🐜✡种能力🇵🇷🇲🇬，反而🏢🧓能让每种能力🦞都达到最佳状态🧘♂️👭。从训练速度的角度🌥🇹🇹来看，差距更为↔🇨🇭直观⚔🏑。今天的 AI🐸 圈也一样🇳🇮。这组数据背📣🇦🇶后的逻辑🇸🇮🔲是：当🇨🇭训练场景🇵🇰与目标场景完全💖一致（即直接在🇿🇲目标场💂🇺🇿景上做☮😝GRP🔲👨💻O）时，模型很容👨👩👦👦🐹易陷入过拟合🇹🇳✌或训练不稳定的状👩🌾态——它学到🎧的可能是特定题目🇧🇦的答案，而非通🙃🚴用的能力；🇻🇳百度代运营而TRACE的🐴🛑练习场景经过🏬专门设计🤥😑，每道题都由随机😤🛵种子程序生成🇧🇩，变化无穷🇨🇭，AI练🐯的是"能力本🇳🇷身"而非"特🇳🇮🧯定题目"，🐬因此能够随着训练↘👨🦱轮次的增加持续稳😷步提升🇦🇴🧼。
第一个🏳️🌈局限是 P🏜🇼🇸ANDA 作💤为基线模型的简洁👩🦰性🛹。郭靖宇的🧔脱口秀表演♈😁 现在再谈抵制，🥯为时已晚，🇸🇹🔇伪人们早已🧡🛎批量入侵👖内娱🦎。在选中的🇰🇲ℹ这top-♓k压缩🏛KV块上做Mu🇧🇲lti-Que👨🦰👹ry Att🍓🇲🇸enti🍱on，🗄得到注意力输🇭🇹出6️⃣🛠。在未来的⛽迭代中，我们将🏄🏙进行更全🌤🙆面、更有原🧢🏑则的研究，🇰🇳把架构精简到🍦⚖最本质的部🌝分🤮。
