关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro1463人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

间谍入住海景民宿拍军港敏感画面 被民宿店主识破上报

央视新闻客户端 浏览 9042

太猛了!保险巨头炒股竟大赚300多亿

财通社 浏览 2826

乌克兰将在德国和丹麦设立武器出口办事处

上观新闻 浏览 2460

StereoAdapter:北大首提自监督,适配水下双目深度估计

新智元 浏览 2753

北约:将考虑对俄罗斯发动“先发制人”的打击

环球网资讯 浏览 15603

聚焦第五届上海知识产权创新奖——中国科学院上海微系统与信息技术研究所成果转化处

上观新闻 浏览 2724

闫学晶毫发无伤?辽宁卫视关评不回应

萌神木木 浏览 1742

造议员假丑闻、给假新闻链接,谷歌 Gemma AI模型遭投诉后下架

IT之家 浏览 2480

“虚胖”的高德,不像地图了

蓝鲸新闻 浏览 1878

早有预兆!浙江老板遭刑事强制,一个多月前已有小道消息

壹只灰鸽子 浏览 2757

日本拟引进乌无人机 其防卫预算首次突破9万亿日元

扬子晚报 浏览 104555

北约举行一年一度“坚定正午”核演习

极目新闻 浏览 2848

《向往》收视回暖!黄磊动手做饭,明星干农活

萌神木木 浏览 2619

AI大战打到太空!前脚H100入轨,TPU后脚上天,中国玩家笑而不语

量子位 浏览 2507

连券商首席都被妈妈“科普”,商业航天太火了

财通社 浏览 1672

马德兴:U15国少已在深圳集训,周海滨正组织大规模选拔

懂球帝 浏览 1537

港中深突破:AI推理模型实现自我纠错能力

科技行者 浏览 2793

浩坤昇发资产观点:学会适应一个“正常上涨的市场” 潮落潮起终有信,再攀千点启新程

经理人杂志 浏览 2517

98年翻版金城武,“正统男港星”终于又出现了

时尚COSMO 浏览 2075

美国电动汽车遭遇“断崖式”下跌

电动知家 浏览 2579

多省份公布金融数据:居民储蓄高增,浙江人均存款超17万元

第一财经资讯 浏览 1716
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1