（来源：上观新闻）
重视开放权重模型🤹♂️🖍的英伟达，也把🍔OpenAI🤦♂️⚙ gp🍬🔹t-oss 🌓🛳开源权重模型纳🎲入其生态，为🚵♀️🏔英伟达Ten🇧🇹sorRT👯♂️-LLM 和包括🐞 vLLM🥿 和 Ol🏐lama 📭在内的生态👩🦲👝系统框架优化了🧝♀️🏒模型权重🌕。2012 年🎒我第一次创业，拿🚨到 YC 的 🚾Fly 🚕Out（实🌃🥽地面试🗝👾邀请）🌵的时候🐝🚀，那时候 YC 🚕在加速器🌯🌜这个赛道上，几乎🐾👮♀️一枝独秀，🍴🏁sem投放选出来的公👪📦司往往🤶代表着 “🧛♂️下一个方向”🤼♀️。随后，🐓Kimi 发来✒了一份陌生人👨👩👧🇲🇷的个人简历，🦅🇹🇨包含了姓名、电🖋🏊话、邮箱、求职🇲🇴者完整的工作经⛴🇫🇲历、项目经历、🔥📞核心业绩👩🍳🇰🇳等信息，张先🇸🇮生对这些信息🚕🎊进行了交叉查证，😬🌞发现并非🇻🇪虚构📱😹。
所以，🍈如果说构建 🥢🚽Cowo😚🇩🇿rk 的🍹核心难点，我🔇9️⃣倒不觉得有什么🐣技术细👳♀️🇦🇷节特别👳♀️难💋。就像一个😳很聪明🤯🎫的人入职新🏌️♀️公司，通常也需✅要 onboa⛲rding，需要🚀有人告诉他：这里🇦🇷事情是怎么做的👩🎨。MegaMo🍇E的核心🐤🏄在于对专家并💄🇱🇨行（MoE）中💟🍪的计算与通信进🐓行更细粒度的👨❤️💋👨重排，两📜🐅者重叠👯♂️👨🦱（overl♓👙ap）以在执🇭🇰🙅sem投放行过程中“隐藏”🇦🇪通信延迟，从而🈵缓解互连带🚮宽带来😵的瓶颈🥨。
