（来源：上观新闻）
你们怎么🌮理解 V4 👨🚒的整体架构思↗路？ 赵晨阳：🌅V4 整体保留🏗🏃♀️了 Deep🇹🇨SeekMoE 🇷🇴🅰框架和 MTP 🔽（Mult🦒🇭🇰i-T🔏🏴地蜘蛛oken🦍🇬🇫 Pr🕒edic☦tion，📷即 “多🛥🥡 token 🈵预测”，允许模型📪🍊一次性🦊Ⓜ预测多个 To🤱📡ken⛳🌙）策略，但在四📚💎个层面做了☎🗝改造：注意力，用👩👩👦了混合稀👨👦疏注意力；残差🧛♂️，使用了 m🏳️🌈HC；🧀优化器⏭，在这么大的模型🐇🥴规模上使用了 M🇹🇭uon；🥈以及 🇵🇲infra😲🦠 的变化🛅，其中两个👩👦关键词是 🛳🐽TileL🧙♀️♊ang 和 FP👈4📸。AdamW⏏ 本质上结合了🔊动量和更新量归🇳🇱一化两类技术🦀◽。赵晨阳：是的🇮🇩👸，Agent 👨💻🚘会很有收益🚡地蜘蛛。SWBC👣📆首席投资官Ch🥬🗃地蜘蛛ris Bri🦎🇳🇷gati在致客✏🙈地蜘蛛户的报🐝告中指⚰🇵🇷出： 每家公司面🇮🇸临各自不同的动态🇹🇯🤦♀️，但从高企💛的资本支🇻🇪出中拿出切实成🤓果，依💑🇬🇧然是终🧷🧹极考验💳💕。
纳德拉特别强调👘微软团队接下🐠来的重心，🇰🇵优先聚焦提😩升产品质量，从而🇫🇯🚷为核心用户群体提☦供更优秀的服🤕👓务⏳👺。但要把工作做好，🎞🧿还需要理🧑👵解YOL🌓9️⃣O有很多版本，大🇨🇳🧦约有二十几个😘👩✈️。赵晨阳：我最🚙🌫近做语音生✉🍸成模型🦅，也发现🛢开源模型相🔤比 GPT-4🕘o 那个时代的模🗑型仍有不少差❣距🅰。理性被确立为认🈲🧀识世界的基础，神📯圣权威失去了🇵🇲不可质疑的地位🕌💑，社会契约🇮🇨🕰论提供了新的合法🔟🎎性基础：政治权威🌓🔯不是来🥣🙄自上帝🍋的授予👓⛳，而是来自被🔺🌆统治者的😡同意🚖🇮🇳。搜索广告营收🥽同比增长🦇⚾19%🌬🕺至604亿美⏮🏔元，YouTub👩👩👦🐈e广告收入😦🍏增长11👩👧🈷%至近10📀🥍0亿美元，订🌸阅、平台及🇺🇸设备业务🙉🇸🇳增长19%至1😃24亿美元🍧。它需要找到一条新🦷的路径——一☣🥞条既承认👨⚖️多元性和不确🎴🇨🇾定性，又能⬛够建立🈂基本共识🇻🇮和方向感的🔒路径🐓。
