（来源：上观新闻）
一些细节🏆🔚微调包🍥括，af👿fin🇰🇵ity scor🎄e的激活函数从S🇮🇹🌇igmoid换👹🚯成了Sqr🇨🇻🌨t(Soft🧾plus(·🇦🇴))，去掉了🐂🌏rou🇱🇧ting 🍇🇲🇽targ💧📨et 🇸🇰👩👩👦👦nodes的数🍹🌓量约束，前几🏐👊层den🧙♀️⛴se FFN换成⚓🏴了用H🎶🇲🇦ash😇 routin🔓g的MoE层👩🦱✡。最难的"Har🙈🐅d"级别🍺🇭🇹，两张图⛽片都是混合失真🔷模式，每个🐃区域的失真类🍊9️⃣型和严重程度都🇮🇹可能各不🇪🇹🧚♂️相同🔞🛒。该板块旨🧗♀️在直接调用基座🤯🗝能力，借🚦助现有渠🚽道快速实🇵🇹👴现规模化落地，是⚽撬动更广阔市场🍞✊的战略杠杆🗡。
202✋5年，Moon🧖♂️🤾♀️shot用M🇬🇺🈂uon（加上他🇱🇸们自己的QK🌻-Clip变种🇨🇫，合称M🧝♀️🍆uonClip🔍🎑）训了一🤦♂️🛥个1T参数🇧🇱🇸🇬的MoE🦃，15.5T t🇺🇳💅oken，全🇸🇷程零崩溃🚴。现在我☺🤜想的是把团队所有🙎♂️人都拉🇦🇼进一个群，每个人🇳🇪的虾也都🚅进来‼💰。凭借在河🥋😆北唐山🇨🇮建有年产3万套一👨👦体化关节的规📟🇧🇦模化生产☔线，在🥽👨🚀同等算力与👨👨👧硬件配置下，👩👧汇博机器人的🦸♂️👊物料成本低👂😜于依赖🇨🇲📯外采的同行，具备🌥☑更大的价格🚻➖战略纵深🎣🇨🇷。
