（来源：上观新闻）
MoE🔈🐯用1个s♾️hared ex🥔pert + 2🕯🇬🇺56个🥁🦷rout👿ed exper🇸🇹ts，🛡每token激活🏝6个🏖🚴♀️。因为物理规律在😈不同环境中是🤛🚳一致的，WALL👱♀️🧿-B进入任何一个⏰🍏从未去过的🍉家庭，都能利用对🎣🎢物理常识的理解来👉应对新场景⏱🇭🇷，不需要重新训🦀🥯练🇿🇼0️⃣。
可以把🇻🇮每个令牌理🤺🚆解为一😱个"标◀🔘签贴纸"，系🥖🤕统会为图片中的🇦🇱每个区域随机分👩✈️配一个🇰🇿这样的贴纸，然🇸🇿后把贴纸和区域的👩🔬形状信息🇬🇫🥰相结合，再与🇲🇴图像的👩❤️👩😄深层特征🛡🥊融合，👧从而为🐖每个区域生🐼🆙成一个"🛩🕷个性化"的特征👩🔧👨🚒表示🤼♀️。
在1.🐏5B规模（😻15亿🇧🇼☮参数）的模型👀🍘上，标准PP🏀👨👨👧O的综⏱🗃合平均分是44.😀🎯06，甚至🌭低于未经训练💿的基础模🔅型（4📈4.9📅6）🇻🇬。该知识库包含在⛔👨🚒主内存系统🔥🤕中☎。一个月🐀🇬🇦后，马斯克📺🤣宣布SpaceX🍜🔒将收购🙆xAI，后者正🇦🇮🥳花费数十亿美元投🥚资AI研发🤪。
