meta和加州大学圣地亚哥分校的研究者提出了一种名为coconut（连续思维链）的新型范式，提升大型语言模型（llm）的推理能力。该方法巧妙地修改了传统的思维链（cot）过程，不再依赖语言模型头和嵌入层将隐藏状态与语言token映射，而是直接使用最终的隐藏状态（连续思维）作为下一个token的输入嵌入。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

这种改变使得推理摆脱了语言空间的限制，并允许通过梯度下降进行端到端优化，因为连续思维是完全可微的。研究采用多阶段训练策略，利用语言推理链指导训练过程，从而增强潜在推理能力。

Coconut 的推理机制高效且独特。与基于语言的推理不同，连续思维可以同时编码多个潜在的下一步，类似于广度优先搜索（BFS）。即使模型在初始阶段可能出错，它也能在连续思维中保留多种可能性，并逐步排除错误路径，最终找到正确答案。这一过程由隐含的价值函数引导，超越了传统的CoT方法。

实验结果表明，Coconut显著提升了LLM的推理能力。在数学推理（GSM8k）和逻辑推理（ProntoQA、ProsQA）任务中，Coconut及其变体在准确率和效率方面均优于基于语言的CoT方法，尤其在需要更强规划能力的逻辑推理任务中表现突出。 在社交媒体平台X上，这项研究也引发了广泛关注。

Coconut方法概述：

Coconut在语言模式和潜在模式之间切换：

• 语言模式：模型如同标准语言模型，自回归生成下一个token。
• 潜在模式：模型直接利用最后一个隐藏状态（连续思维）作为下一个输入嵌入。

特殊token ⟨ 和 ⟩ 分别标记潜在思维模式的开始和结束。

训练过程：

研究采用多阶段训练策略，利用语言CoT数据监督连续思维的训练。初始阶段在常规CoT实例上训练，后续阶段逐步用连续思维替换CoT中的推理步骤。

推理过程：

类似于标准语言模型解码，但在潜在模式下，直接使用最后一个隐藏状态作为输入嵌入。模型可以通过训练二元分类器或设置固定长度来决定潜在模式和语言模式的切换。

实验结果与分析：

实验涵盖数学推理（GSM8k）和逻辑推理（ProntoQA, ProsQA）。Coconut在各个数据集上均取得了显著提升，尤其在ProsQA上超越了CoT方法。 实验还比较了不同版本的Coconut，包括无课程学习、无思维和思维替换版本，证明了多阶段课程学习策略的重要性以及连续思维的有效性。

通过分析Coconut的推理过程，研究者发现连续思维可以同时探索多个推理路径，类似于搜索树，并逐步收敛到正确答案。 这解释了其在规划密集型任务中的优势。

这项研究为LLM的推理能力提升提供了新的思路，也为未来的研究方向指明了道路。 更多细节请参考原文：https://www./link/73926ad475a40a4cb676b8d4516cd767

相关文章： 文心一言全新升级，揭秘内容创作新亮点,ai图案凹凸  AI美颜新体验，AI最火模型下载安装全攻略,ai钢笔工具显示  三星发布AI大模型新，引领智能体验新高峰,ai简历模板  AI智能模型国内排名，技术创新与产业应用巅峰对决盘点,文心一言Ai智能写作  人工生成文章赋能内容创作的新革命  揭秘文心一言AIPPT，AI写作助手实操技巧大解析,ai换脸免会员  AI写作助手，文心一言的历史轨迹与隐私守护之道,ai少女syoujyo  AI引领漫画创作革新，关键词、模型深度解析与应用展望,bin ai贝贝  好用的AI写作软件免费推荐：创作新境界！  苹果CMS追剧：让你追剧不再错过每一集的精彩  AI赋能，动作制作革新，效率与创意双飞跃,研究生论文ai写作方向  画科比寺庙拜佛，文心一言中的之旅,圆球ai  特斯拉AI大模型，引领电动汽车智能,ai计划云顶  轻松解锁文心一言创作之旅，邀请码获取攻略大揭秘！,神龙ai绘画  AI大模型浪潮席卷，技术革启产业变革新时代,a521520ai  AI赋能艺术，大模型绘画，解锁无限创意之门,实时热点ai写作软件  一键安装AI换脸，打造个性化新风尚,冰心AI  AI赋能金融安全，构建风险检测的生态圈,ai职业冲击  SEMSEO是啥？全面解析这两大数字营销策略  AI赋能，掘金小模型训练，引领投资新趋势,科顺ai  AI芯片驱动下的模型训练革新，揭秘核心动力与优势,oasis ai  如何识别文章是否由AI撰写？揭开智能写作的秘密  自媒体与伪原创：时代下的“创意”迷雾  探索智能未来，AI大模型引领时代变革之路,ai写作文心一言  如何用AI改文章，让写作更高效、精准，提升内容质量  华为发布大模型，人工智能领域的全新里程碑,小米ai通话接通要听吗  豆包AI智能体引领角色训练迈入新,me ai  轻松获取知乎精华内容，知乎文章采集器助你一键收集优质知识  苹果AI模型之谜，自主研发还是借鉴OpenAI？,Ai更换论文  怎么用AI缩写文章，轻松提高效率的全新方法  AI赋能，智能时代软件创新,鞠躬ai  豆包AI智能体，人工审核在智能助手中的关键作用,ai修改成字体px  网站站内信功能，让用户沟通更加高效与便捷  摘要AI生成：高效工作的新时代利器  AI重塑户外设计，探索智能化生成模型的性进展,ai圆形放射空间教程  AI赋能，大模型应用开发引领技术革新与产业融合新,ai智能导论  文心独运，一语千钧——创新报告总结的艺术呈现,苹果猪ai  文心一言，如何制作出令人惊的海报？全方位攻略解析,ai幼儿教材  文心一语，揭秘人工智能的文学创造力,ai制币  华为HarmonyOS Engine，揭开华为AI模型，引领智慧生活新篇章,ai条形码制作  文心一言实时联网创新，壁垒，开启智能对话新时代,战锤高精ai  AI与大型模型，解析异同之处,ai有渐变怎么切割  AI赋能未来，行业变革的AI数据模型训练力量,恋爱机器人ai  SEM和SEO的区别：如何根据需求选择适合的网络营销策略  打造内容创作新时代：有言AI生成助力创作者释放灵感  AI写作新，文心一言4.0深度解析与功能升级,知网推出AI写作选题  揭秘文档问答AI模型，技术内核与应用全景,ai开汉堡  AI模型部署策略揭秘，最佳位置与关键技巧,AI领域分布  整理文章的AI：提升写作效率的智能助手  AI模型技术全景报告，前沿动态、实战应用与未来趋势解析,怎么样ai写作文