（来源：上观新闻）
两款芯片🐁🦹♂️均计划于202🥪💈6年晚些时候正🐓💇♂️式对外🇮🇪供应🧞♀️。曾利用特斯拉 🥮在从Spa🎱ceX借🥏款之前，马斯🇲🇿🇧🇯克在其上市公司📫特斯拉🍲身上也采🕙🚻取过类似做法🖱。但随着模型深度和🧞♂️参数量继续🗑往上推，这种补丁🇳🇴🤸♂️会变成刚需🇬🇪。技术中立，曾🆙经是平👨🌾🥦台的护身符⏯🥚，如今正在🤙📺被司法实践一点🧳😛点剥去🇨🇭〽。
在训练大模型🗺👨🎨这种极度耗费算力▫🎄的场景下，这意味🚮着训练时间大幅⛄延长，🇬🇫📓成本急剧攀🦴升🌤。论文表示，训🔳👧练中间出🏊🇵🇬过一次严🇧🇼📈重的loss 📲🥯spike，🇸🇭DeepSeek🇹🇩🚰摸到两个土🇵🇲办法，An🇲🇩ticipa👨🦳😘tory R🥮✖outing📘🏕和SwiGLU 🔇🥍Clamping🍜。借鉴O🇱🇷🌱penAI⏱和St🐗🇸🇸reamin🎸gLLM🔱的trick，在🇸🇯attenti👇🛁on分母上📬🛍加一个lear🍦nable🚗 si🇽🇰♦nk lo🇱🇾git👩🚀⚗，允许a❣🐯ttenti🌰⛸on sc♏🏖ore🥄🏪总和不等于❌1🐔📭。
它不需要持续观察🏨自身全身，就能📤🐰内在地感知自己🌐🐯的高度、宽🔶度、手🥮臂伸展范围，判😹😕断能否通过某个🇨🇮空间或触及某个物🇫🇰体🚁。而第一批真📠🅰正被AI甩下👩🎨车的，是没有☁🥁任何话语⚪⛳权的底层演员🏳😶。一些细节微调包🥒🕴括，af🕷finity⚜🇹🇷 scor🇷🇼🍌e的激🛬活函数从Si👩🍳🔪gmoid换成了🔫🛹Sqrt(🇹🇯Softplus🥕🗽(·))，去🍶🇸🇰掉了rou💲🎙ting t🦢🥠arget n🍺ode👨✈️s的数量约📒束，前几层🇧🇻dens🤣⏮e FF🌖👗N换成🖖了用Hash🛐 routing📲的MoE🥁🗄层🌘。
