（来源：上观新闻）
以前的 T🇸🇲🇺🇲ransfo🇬🇳rmer，👁️🗨️⛩层之间只👝有 d🚵 维的🌀🔞信息流宽📱度；但现在是 d🈯👾 维上加🏄♀️🇨🇨了 chan🕓nel 🛃维，信息流🚡😆宽度变成 d⚙ x c🧚♀️👿，推理能力显著🧑提升🚀👚。模型用预🇸🇪🇮🇶填充阶段产生🕳的缓存，开始◼㊙自回归🎈地生成回答，一般🏺解码是逐个🍋⚰ tok🇱🇺en 吐🌔出的，📠🍥这是推理的速度🚗瓶颈🖲🦎。
。这些模型😁可能是很赚😏钱👮♀️🥾。谷歌自研的张🧁😢量处理单元🇧🇪（TPU）已🌕在内部实😐现成本效益🚱🇱🇻提升，公🍆⬆司在财报电话会议🍃‼上表示，计划👩👩👦🍪很快向客👩👩👦👦🧛♂️户提供可🐫部署于自有🧜♀️🔩数据中心的芯片👨🍳产品⚗。
强化学习里，模🦶型越大、tokeℹn b🇫🇰udget📡⏲（单次推理可生成👩❤️💋👩🍛的最大 toke🕍n 数量上限🦙）越长📀🕤，采样💒越重，🍓可能占🥭🌑到 70% 🇧🇮以上时🔵间💐🇲🇪。
