（来源：上观新闻）
**当🇭🇹🥯AI做🚍数学题，"打👃分员"却失灵了🏁🦸♂️** 假🔪👨🦳设你正在教一🛬个学生🧱做数学题，你的评🇦🇮🌽分方式是：等🍹他把整道题全⛓部写完，🦝才告诉他🙎🏌️♀️"对"或😥"错"🇬🇫🗂。
我们认为🦚这是由于 L🚵♀️LM 👘的预训练和后🈂🌦训练中🆚都存在大量🇨🇻🧨软件代码🧥造成的🎠。实现上🇦🇽❔用Sinkho👨🎤rn-Knopp✴迭代，交🧭替做行归一化🗿和列归一化🛃，迭代👿20次收敛❣🈷。至于为什么🛬产生这样的构图、🕊文字为什么乱码、🇬🇭角色为💘什么崩坏——你🚤永远不知道，也🧑无法干🦑🌕预😃。
前三个头使用🌏交叉熵损失函🏆数（适合分👤类任务）🧛♀️😼，第四个头使🚰用L1损失函数（🆑适合数值回🇹🇱归任务）🇩🇪。更关键的问题⛺🤶在于，这些👤模型通过"监督微🔺🥑调"（👩💻可以理解为"刷💌Ⓜ题训练"）的💇🇲🇪方式习得👨👨👦👡了固定的回答📽模板，就像一个学🇫🇰生死记硬背了几🎺🤝套答题🃏🙇公式，一❇旦遇到没见过的🇦🇱🍙题型就不知🇬🇦🧁所措♏。
