（来源：上观新闻）
V4-Pro和V💺4-F👡🇦🇪lash，😠1.6万🕯亿参数/2840🈸🧙♀️亿参数，上下文都⛎是1M🏎🐿。mHC（🔙🤲流形约束超连😛🔪接）：20🇸🇭🕗25年🐁🍺12月3🧥🐕1日上传🥢arXiv，梁🗽🕋文锋挂名🏤🧖♀️。一位机👵🇮🇲器学习方向的博士🇻🇬生，拿到一篇论文🕵🇬🇹后，需♏🏊♀️要先读懂🚵♀️它，再搭建运行环🧐🤸♀️境，接着动手写代🛀码，然后🤶🎇跑实验、🥦看结果、👟🛑发现问题、修🔑🌖改代码、再跑……🈹这个循环往往🐯🙊持续好几天🇬🇵📒，中间任何一🦜🖌步出了🏟岔子，↙都可能前🏞功尽弃🆒📍sem运营。
它的设计🗂🦃思路，很像当年苹🐔🍇果M1芯片的统一📖内存架🐃🇬🇭构👯↗。如今，📺🐸人工智能芯片设计📙👗初创公⏏☄司Verko🇧🇸💔r.i👔🀄o宣称取得🦸♀️💇了更大🎳🐰的里程😂碑式成就🚚：他们开🏴🏆发出一款完全由人📕工智能🇲🇨系统自主设计📀🇨🇲的RISC🧝♀️-V C🥁PU内核🇯🇲。Herme👨🏭🇹🇿s则走向选择性🦡👟记忆🚹🧣。在训练超参数🏤🦆方面，研究团队对🐾🐖损失函数中四🦡🤺项任务的权重系🖌🇬🇶数进行了🇬🇱🇦🇬网格搜索，最终📤确定的配🦉置为：区域比较🏯⛲关系损失💲🇦🇮权重0🇪🇨.1、失真类型♒🙆识别损失权🐣重1.0、严重🦄🚞程度分类👽🎋损失权重0.1🈵🔟、质量🌑评分回归损🗯💖失权重1.0🇸🇰😲。
因为KV ent🏞ries既做🦐🇨🇲key又做📂value，na🚊sem运营ive的RoPE👇会让输1️⃣🦊出带上绝对位置信💓息，所以在😘🇰🇼output🇻🇨端也对应施🚴🍟加一个位😭置为-🎰i的RoPE♈🇬🇫来抵消，只保留🈶相对位🇪🇬置信息🇭🇷🤽♀️。保持独🇳🇮🐟立适配器，在📱🤪使用时根🍎据任务类😑🐸型动态🛣选择对应的适🌪🏸配器，能让🙇♀️🦏每种能🐣力都维持最佳状🐶态，整体0️⃣通过率🍈🔲比最强合并方🤨🍗案高出6.1🥨个百分点🏴☠️。
