（来源：上观新闻）
前沿探索和对🍑比验证的实验成本🌑，人力和数⛳如何制作一个自己的网站据成本🔯才是主要开支🇬🇱🏴☠️。这笔账值不值得，🍱📟取决于团💻队的工程水平🥼↪、显卡数量👼和模型规模🏥🇸🇩。为什么模型更新🛌🔊后，解决同🥶一问题的推理📓 toke🇬🇧🇨🇾n 消耗反👷🇫🇯而变多了？ 🕌🍫赵晨阳：我之前在✡小红书发过一篇文🇦🇲章，说现在的 🐮🧗♀️token 浪费🦋有种 “拿高压🚭水枪浇花” 的美🧻🤸♀️感👂🇭🇲。4月2💂🏆9日同一天🇸🇽🛎，谷歌、🗃Meta、📷微软、亚马逊四家🏭✡科技巨头都公布了🤞财报，且全部超出🤓华尔街预期，但☕市场却只奖🕖🍸励了其中一家🧔。
人类的许多“🕹🦠特色能力✋🚲”，本质上👩🚀也是这个逻辑的🇮🇴产物：它们是🎮😎在资源匮乏🥁🌐、信息有限、威🚌🔦胁具体可👳♀️🇨🇮见的远古环境📒📖里被反😄复筛选出来的解👨👨👧👦👩🦲决方案👰🗒。你们怎么理解 📺V4 的整🇻🇮⤵体架构思路？ 🧡赵晨阳：V4🇦🇺 整体保留了 D🙉eepSeekM🤭🐠oE 框架和 😱🌷MTP™ （Mul🚷ti-To🍺ken Pre🇰🇷如何制作一个自己的网站dictio♒n，即 🏸▫“多 t✝🇲🇷oken 预测”👨👦👦💝，允许模🇱🇮型一次性预测🔎多个 T🚡🙍oken👗）策略，但🇱🇮🧸在四个层面做了改👨👨👧👦✡造：注意🤔🔍力，用🈴📉了混合稀疏注意🇹🇦力；残差，使用🎌了 m🍱🏨HC；优化🥧器，在这么大的🚒模型规模上🎠🍍使用了 👮Muon；以及🏴☠️💡 inf☀🇩🇴ra 👮♀️🇽🇰的变化，其中两个🧡关键词是 Til🌚eLan🥡😶g 和 👩💘FP4↙。
