关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro1455人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

足球报:曾有公司有意收购广西平果,但因欠账问题方面没谈拢

懂球帝 浏览 1925

与中国“交好”,拿盟友“开刀”,战略已明朗

浏览 25621

“苏超”MVP范厚泰:感恩亚泰,感恩泰州,感恩“苏超”平台

懂球帝 浏览 2284

印度稀土转卖丑闻曝光,伪造文件骗取稀土转卖老美

大国观察眼 浏览 1384

乌称1200名乌被俘人员将获释 俄方暂无回应

新京报 浏览 2408

万科A:第三季度净利润亏损160.69亿元

网易财经 浏览 2183

塔吉克斯坦总统强烈谴责塔阿边境地区武装袭击事件

环球网资讯 浏览 2202

王涵 : 从资本市场视角看四中全会公报——提振信心,后市可期

首席经济学家论坛 浏览 2797

梦想100万亿美元,追觅CEO却忙着网络通缉

金角财经 浏览 1478

银行长期限存款“退场”背后

北京商报 浏览 2450

特朗普称"阻挠达成和平协议的人是泽连斯基" 克宫回应

环球网资讯 浏览 1680

美国11月密歇根大学消费者信心创逾三年新低,短期通胀预期上升

华尔街见闻官方 浏览 2508

奥迪A5L Sportback限定版上市 售33.49万元

车质网 浏览 1616

俄称已接近解决乌克兰危机 但不会在两个问题上让步

上观新闻 浏览 1628

一文解读杨振宁的百年人生密码 曾与爱因斯坦做同事

北京日报客户端 浏览 4922

俄白“西方-2025”联合军演结束

环球网资讯 浏览 3613

谢林汉姆:加纳乔非常有天赋,但不确定他能否在蓝军取得成功

懂球帝 浏览 2877

18.68万起!新款小鹏G7/P7+增程版上市

网易汽车 浏览 1800

智己汽车2025全年销售81,017台 创历史新高

网易汽车 浏览 1958

剧版《西虹市首富》首波口碑出炉了!观众打分评价都“一针见血”

娱乐圈笔娱君 浏览 1430

债市,大调整!

米筐投资 浏览 2182
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1