（来源：上观新闻）
从V2的MLA开🎯始，每💮一代都在删6️⃣❣KV cac🚬🤾♂️he、删🥒激活参🇬🇶数、删🇵🇬注意力🐔计算量👨👩👧🦹♀️。作者吴维斌今🔋👨⚖️年39岁，是🀄🇧🇶混迹横店短剧圈♑多年的👩👩👦老演员，过🍩🐁去两年半拍过1🚲🛫00多部短剧🍸🥩，巅峰时期连轴转🍗近一个月，被同行🌫🎧戏称为“群演🇳🇫✖戏王”🧫。
明明是陕西商洛🇧🇸人，毕业于西安🌑🤬交通大学，20👨🎓13年入职🌀新东方，9年线🐨下线上🧠物理教龄😪🔢。研究人🥚员发现，让AI👫学会解数🇱🇦👑学题、🛠做逻辑推理，🇦🇸🌶需要用到一💙🇨🇰种叫做"强化🇹🇹学习"的🇦🇱训练方⏸🥓法——本质上就👩👩👧👧是让AI🧿😏不断尝🏕试、不断根据反⚪馈调整🇸🇨🍖。
一个1M📁的上下🚕🇵🇼文，在V🤠3.2🎥🔈的成本结构下是🤛不可持续的，K❌V cac🧓he会把显💁存吃光✏。PAN👨🎤🕌DA 使用8🐉⏬块 NVIDIA✡ V100🎽 32G💕B 显🤣🇦🇫卡训练，批次大小😑为6，总训练时间🚯📿约1.5天，使用🚰 AdamW 优🔗化器，🏧📑学习率1e📄-4，✡🕖权重衰减0🏨.01，共训练🐑✌30轮🎃。
