告别 Next-token开云体育(中国)官方网站，当今模子微调阶段就能胜利多 token 展望！
从 GPT 到 Claude，面前主流 LLM 王人依赖next-token prediction（下一 token 展望）进行老师，但它却让 AI 很难真确相识进步多 token 的圆善办法。
于是南洋理工大学最近建议了一项新工夫——办法感知微调（CAFT），初次扫尾将multi-token prediction（多 token 展望）引入微调阶段，让模子能够像东说念主类一样相识和学习圆善办法。
蓝本 LLM 只可碎屑化相识每个 token，当今 CAFT 不错为模子添加特地的援救头，在主模子学习下一个词的同期，匡助学习后续 token，并通过动态援助权重，确保模子永恒优先优化主要任务的亏损。
最终 LLM 不错兼顾多 token 办法学习，形成更为圆善的知道，在推理和生成才能增强的同期，既不会影响模子自己，也不会特地加多富裕本钱。
另外连络东说念主员通过实验发现，CAFT 在编程、数学、生物医学等多个领域王人能权贵提高模子性能，草率将来将会让 AI 老师范式迎来根人性蜕变。
底下是干系 CAFT 的更多扎眼内容。
Next-token 展望：AI 的"基因密码"
率先，next-token prediction的基本念念想是在已知凹凸文的基础上，展望最有可能的下一个 token。
举个例子，针对句子"东说念主工智能将改变 _ "，你可能会胜利展望出"宇宙"、"将来"或"社会"，可是 next-token prediction 的展望经过则分为以下三步：
分词：举例将"东说念主工智能"拆分为"东说念主工"和"智能"。
序列建模：让模子逐一学习每个 token 与其前文的关系。
概率展望：为通盘候选 token 分派概率，并遴选最高者动作输出。
Next-token 将会在预老师里的大领域语料上学习言语统计规章与通识常识，然后在微调中通过特定任务数据学习具体行径模式，决定模子执行弘扬。
但岂论是预老师照旧微调，next-token prediction 王人只会在每一步中只展望下一个 token，再挨次进行。
与此同期，这也带来了一个根人性短处，即它将圆善办法拆解为碎屑，梗阻模子形成合座知道。
举例" ribonucleic acid "（核糖核酸），Llama 3 分词器就会将其拆解为：" rib "→" on "→" ucle "→" ic "→" acid "，当模子展望" rib "时，无法预见" onucleic acid "，因此无法相识这是一个生物学分子办法。
又比如说将"北京大学"拆成"北"、"京"、"大"、"学"分开顾虑，这严重碎裂了语义圆善性。
是以 next-token prediction 存在前瞻才能差、不擅长解决跨办法的复杂推理、学习成果低、断绝高度依赖具体分词器等问题。
Meta等机构对此建议不错在预老师阶段尝试multi-token prediction，但相同也面对以下铁心：
预老师本钱过大，是微调阶段的上千倍。
仅能提高通用言语才能，对具体办法相识匡助有限。
胜利应用于微调时会酿因素布偏移，从而导致性能下落。
这让 multi-token prediction 只适用于预老师阶段，难以普及，是以连络团队建议了新工夫 CAFT，将 multi-token prediction 引入微调。
CAFT：破坏瓶颈的办法感知微调法子
CAFT在架构上主要包括援救头、亏损函数两部分，援救头含孤苦遮挡层，且分享输出层，以镌汰参数本钱，亏损函数为：
其中 L ₁指原始 next-token 亏损，β 是限定援救亏损的权重（设为 0.01，确保主任务优先），γ 是反射正弦动态援助因子，老师初期高，后期低，α 是几何衰减因子，越远的 token 权重越小，t 指 token 位置。
在微调扫尾后，还不错胜利丢弃援救头，让推理支出为零。
CAFT 接受分阶段老师政策，可分为两个阶段：
援救头预老师
在原模子上添加 n-1 个援救展望头，然后使用通用教导数据集老师援救头，辨认展望第 2、3、4 …个将来 token。
其中需要使用原模子我方生成的报告动作"伪标签"，幸免分散偏移，且援救头老师一次即可，多任务可通用复用。
办法感知微调
在特定任务上同期优化原始展望头和援救头，然后用特殊揣摸打算的亏损函数确保主标的已经第一个 token。
运用动态权重援助政策，老师初期热心多 token 办法学习，后期聚焦任务弘扬。
最终 CAFT 可扫尾极低的使用门槛，只需要几行代码，就能团结大肆预老师模子，在本钱上远低于再行预老师，只略高于传统微调。
CAFT 的全面考据：从代码到生命科学
连络团队在五个不同领域任务上测试了 CAFT，将其与传统的 next-token 微调（包括全量微调与 LoRA 微调）进行对比。
通盘断绝均为 5 次孤苦评估的平均值及 95% 置信区间，部分任务在微调前会对援救头进行 1 个 epoch 的预老师。
在编程任务中，由于存在多数跨 token 的语义单位，举例 Python 中的" _name_ "会被分为" _"、" name "、" _"三个 token，但需合座相识，是以借助HumanEval 数据集，判断 CAFT 能否让模子能够合座相识这类编程办法。
实验断绝标明，LoRA CAFT 在准确率上从 40.9% 提高至 45.1%，Full CAFT 则从 40.5% 提高到 49.3%。
然后将题目按办法密度分类，发现 CAFT 在高办法密集题目上提高更权贵（+11.67%vs+7.59%），证据了办法学习的有用性。
在数学推理上，LoRA CAFT 在MATH-500 数据集里性能提高了 1.7%（22.9% 到 24.6%），Full CAFT 则是 1.5%（23.7% 到 25.2%）。
而当 CAFT 置于临床文本中，由于医学文本充满复杂专科术语，被拆分后往往失去意念念，此时让 CAFT 完成医学术语合座相识极具挑战性。
但 CAFT 仍然在MIMIC-IV-BHC 数据集上弘扬讲求，在 ROUGE 等标的上全面优于传统法子，其中 ROUGE-1 从 44.57 提高到 45.93，ROUGE-2 从 22.94 提高到 24.44，ROUGE-L 从 32.17 提高到 33.76，评释其能更好地捕捉长文本中的办法。
在官能合营构相识上，由于化学分子包含功能性"官能团"，如苯环、酰胺基团等，而 SMILES 序列中的官能团是典型的多 token 办法，传统法子很难合座学习。
CAFT 不错很好地弥补这极少，准确匹配率从蓝本的 0.14%，提高了4 倍，到 0.54%，有用分子比例从 92.38% 鼎新到 97.14%，结构相似性也获得了权贵改善。
进一步进行官能团学习考据，发现苯环识别中 F1 分数大幅提高、酰胺识别中准确率和调回率双重改善、羧酸识别中复杂分子的识别才能增强。
另外为进修 CAFT 泛化才能，让 CAFT凭证功能揣摸打算卵白质序列，由于卵白质使用氨基酸编码，与当然言语各异极大，测试环境特别极限。
实验断绝表现，序列统一性从 20.32% 提高到 22.14%，序列对比分数也从蓝本的负值（-16.01）提高到恰恰 ( 3.18 ) ，结构置信度从 52.60 变为 54.30，结构相似性从 33.07% 变为 35.12%。
其中，25.0% 的生成序列具有高结构置信度 ( >70 ) ，比传统法子的 20.0% 有了权贵提高。
最终，连络团队通过在无为领域中实验，考据了 CAFT 扫尾 multi-token prediction 在微调阶段的可行性，其易用性和低本钱也展示了其可能替代现存 next-token prediction 的纷乱后劲，为相识模子里面机制提供了新视角。
论文麇集：https://www.arxiv.org/abs/2506.07833
形式麇集： https://github.com/michaelchen-lab/caft-llm
一键三连「点赞」「转发」「戒备心」
接待在驳斥区留住你的宗旨！
— 完 —
� � 点亮星标 � �
科技前沿进展逐日见开云体育(中国)官方网站
