（来源：上观新闻）
为什么模型❕更新后，解决同一🍘问题的推理 ⛴🕚token❣ 消耗💘反而变多了？🛌🐖 赵晨🇱🇦阳：我之前在小🦢红书发过一篇文🇰🇵😩章，说现在的 t🈸oken🔞 浪费有🍯🥧种 “拿高🐕压水枪浇花”💄 的美感🧐🇨🇱蜘蛛是怎么形成的。虽然已经工作🚾🏴☠️多年，📥同时有🎱👠博士学📓🤹♂️位🐴🗯。这类问题往往无🚮🌌法靠增加自动化🐻测试来预🏕防，因为你不🇮🇹知道老代码那边🤮有多少行为是设计🌀🏪如此、有多☎少是曾经⏪🇦🇼的 bu👰🎴g 被当成了 👨👩👦👦feature♎。
总参数越大、🌉📌模型容量越高；激🚜😍蜘蛛是怎么形成的活参数💵越小、推🦈🈚理成本越低🧖♀️。AI 上下文负🇩🇴债 今😜🧾年四月，科🇸🇷技从业者🇬🇧🇸🇴 Abbas ☮Raz🇲🇷🏵a 在一篇博文✍🇻🇦里将这🇲🇸🎸个现象命👔名为 AI 🙆🕎上下文🇦🇺👩💼负债（AI🔋 cont🌾ext de🦀bt）：代码📅库知道关🌏于自己的信息，🥈与 A🇲🇵🇮🇪I 工具需🇰🇬⛽要知道才能生🗜🦅成正确输🚤💓出所需信息之间🇭🇲的缺口◀。
关键差🇧🇶异在于：A🛄lphab🧝♂️et的支出🦛↪扩张有强🇨🇩劲的云业🎴务营收增长❎👩👦和庞大订🥳🍭单积压提🇨🇵👩🦳供背书，而Me🐀🦙ta没有对外🇦🇴销售云计算的业务👨🦱板块，AI投资🕐的商业😪回报逻⌨辑更难以量🇱🇰化🚱🧢。比如 😡ZeRO sta🇧🇧🇲🇫ge（显存优🇻🇺化技术）、FSD⛱P（将模型参🖤数、梯度和优化🌪🙀器状态完全💝🏴打散分配到整个 🖋🌳GPU 集群中🧽🤒的训练😎🇧🇬技术）、🕣TP 对🧚♂️齐（确保被🐈切分的矩💷☁阵维度大🥿⛑小能够被参与‼🇻🇦并行的🔰显卡数量整除的🛍技术） 的🤑🅿逻辑都更简单🦖。
