（来源：上观新闻）
删到V4，单to❄ken推理FL🐒OPs砍到四分🕍🇸🇾之一，🏦KV cach🖊e砍到十分之一🔏🚠。他们的理由🍊是，V4的🇪🇬🚔注意力架构允📕许直接对que🍁ry和KV做😍RMSNor🆖💻m，从🇬🇩源头把爆炸的可👩🚒🤖能压住了🎊。
MoE🍑🇲🇩部分仍然🇳🇨👨❤️👨用Deep👨👨👧👦SeekMoE，🔦🧹MTP（Mu🚾lti-T🍹🏌oken Pre🇩🇲⛰diction）🆎🧥模块跟V3保持🇩🇲一致👩🏭。在失真类型识🕔别上，Easy🥁🇪🇬 级别中😼🎻 PAND🦘♾️A 达到了7✒8%的准确率，➖🐋而排名第🐀👝二的微调版 De🍾👰pic🇺🇦tQA+ 达👗0️⃣到75%，商业👓模型 GP😵T-5 Mini🤙🇸🇻 只有49%，🧪🔮GPT-4o 🈷🚾是46%，Gem🛃🌡ini 2🔀.5 🧪Pro🏳 是39🤧📄%，而随机✳👩🏫猜测只有7%🛰🇳🇨。
22日当💢天，谷歌（🇬🇮Nasdaq：G🇩🇴🎚OOGL）开🚴💩盘股价涨超1♈%，总市值4.🚹🇨🇰05万亿美元🦹♀️。尽管VerCor🤓✡e的理🏧🔱论性能存在局🎷限性，但这足🇹🇩🥏以表明该设计可🚣能具有实用价值👩🎤🇺🇸。
