（来源：上观新闻）
真正的信息要等😕🧢到实验⌚跑完才能看到：结🥙🔢果对不上论文🚽🥗中的数字，但是到🗨底是哪里🎹🛎出了问🌯🇨🇵题——是数🦈🍖据预处理🔬📃、模型结构📞、超参🎬数设置，还是⚔环境配置——很难⚜📮一眼判断🏊👂。研究团🍾队还提出了👲🥙一个有趣的未🌃来方向🏈：把失真图作🇧🇩为推理链的中间🇸🇬🚣步骤，让模👴😠型先生成失🕰🎭真图，再基于失👨✈️📴真图给出最终的自🇯🇵然语言描⚔🇩🇲述💮。在Lun🗺arLande🐷r上，S🆑PPO保持了*️⃣🐄稳定上升的学习®曲线，🐽而标准PPO则出💃现了明😓♉显的波动和👷♀️倒退✝。
Muon是前几年🇰🇷🤖Kell📙er J▪orda✝👩👧👧n那批🚎🇻🇨人（他现在在Op🥫enA🦷🐘I）在小模🦙🔎型上验证过的优🇿🇲💞化器，基于矩阵🛡🏢正交化🔱🚈。Q2：PA🇪🇦🇱🇧NDA模型和G🔞🇩🇪PT-4o这类大🇦🇪模型相比有什么🇸🇰🧭优势？ A🇵🇫：PA🍉⬜NDA的参🐍☪数量只有0.🧮🐓028👨🔧亿，处理一对图🇱🇮❕片仅需🙇♀️3.5🚪3秒；而GP🏳T-4o等大模🗺🌈型参数量达🚫数百亿甚至🔖更多，且在👞区域级🦋质量比较任务上🇼🇸🐨准确率🔱😝仅26%，接6️⃣近随机🇸🇰🕹猜测的20%👨✈️。与此同时，"♐条件推理"🎾🇽🇰、"数值计算"🌱🏏、"早🗡期终止"等🏝其他候选能🥠力只出现了少数几4️⃣☎次，无法通过📘⁉筛选阈值，⛈🌙说明它们虽然偶🇸🇩🚲尔出现在🚟😹失败案📴🇨🇫例中，但并不是区🐃🇩🇰分成败的关键因素🥵。
第一，引🥮🍇入mHC（M👨🔧👩🎤anif🅰old-🧝♂️♓Cons🌗🎶trained 🔅🏠Hyper-Co🕦🥜nnect🏹ion🍔⏳s）强🌯🇩🇰化残差连接➡🌌。在模型架构😽🇻🇮上，V👗🔯4-Fl👱🔗ash，43层，👏隐藏维度4096🥔2️⃣。V4还引入了👱♀️🇬🇱三档re🐨asonin🌵g effo🖋rt mode，🇩🇲Non-🥪think🇵🇦🆚、Th🥂ink High↗、Th🕴🐪ink💔🇻🇮 Max，💜每档输出长🇲🇾🍀度不同👨👧。
